作者：LeonLok

編譯：ronghuaiyang

導(dǎo)讀

本文來(lái)自github，很實(shí)用的一個(gè)應(yīng)用。

git倉(cāng)庫(kù)地址：https://github.com/LeonLok/Multi-Camera-Live-Object-Tracking

這個(gè)存儲(chǔ)庫(kù)包含了我的目標(biāo)檢測(cè)和跟蹤項(xiàng)目。所有這些都可以托管在云服務(wù)器上。

由于有ImageZMQ，你還可以使用自己的異步處理IP相機(jī)。

Deep SORT 和 YOLO v4

Check out我的Deep SORT repository：https://github.com/LeonLok/Deep-SORT-YOLOv4，查看我使用的跟蹤算法，其中包括Tensorflow 2.0、異步視頻處理和低置信度跟蹤過(guò)濾。

交通流量計(jì)數(shù)

這個(gè)項(xiàng)目是目標(biāo)計(jì)數(shù)應(yīng)用的一個(gè)擴(kuò)展。

功能

• 使用DETRAC數(shù)據(jù)集生成的244,617幅圖像進(jìn)行訓(xùn)練?？梢栽谶@里找到我創(chuàng)建的轉(zhuǎn)換代碼。
• 我把這篇論文：https://ieeexplore./document/8909903作為數(shù)據(jù)準(zhǔn)備和訓(xùn)練的指南。
• 每個(gè)跟蹤id只計(jì)數(shù)一次。
• 通過(guò)查看被跟蹤目標(biāo)的路徑與計(jì)數(shù)線的交叉點(diǎn)對(duì)目標(biāo)進(jìn)行計(jì)數(shù)。
• 因此，那些跟丟了但用相同的ID重新跟蹤的仍然會(huì)被計(jì)數(shù)。
• 使用低置信度濾波進(jìn)行跟蹤，來(lái)自上面同樣的論文。
• 提供更低的假陽(yáng)性率。
• 跟蹤目標(biāo)顯示平均檢測(cè)置信度。
• 跟蹤的類別由最常見(jiàn)的檢測(cè)類別確定。
• 顯示檢測(cè)結(jié)果是可選的(但是隱藏了平均檢測(cè)置信度)。
• 可以使用多個(gè)IP攝像頭。
• 方向計(jì)數(shù)可以配置為基于角度。
• 每一小時(shí)的間隔記錄計(jì)數(shù)。
• 總的計(jì)數(shù)
• 基于類別的計(jì)數(shù)
• 記錄每個(gè)計(jì)數(shù)目標(biāo)的交叉詳細(xì)信息。
• 交叉時(shí)間
• 交叉點(diǎn)坐標(biāo)
• 交叉角度
• 可以托管在云服務(wù)器上。

注意，由于DETRAC不包含任何摩托車，它們是唯一被忽略的車輛。此外，DETRAC數(shù)據(jù)集只包含中國(guó)的交通圖像，因此由于缺乏訓(xùn)練數(shù)據(jù)，它很難正確地檢測(cè)出其他國(guó)家的某些車輛。例如，它經(jīng)常會(huì)將掀背車誤歸為suv，或者由于不同的顏色方案而無(wú)法識(shí)別出租車。

目標(biāo)計(jì)數(shù)

這個(gè)項(xiàng)目最初打算成為一個(gè)應(yīng)用程序，用于使用我自己的智能手機(jī)計(jì)算當(dāng)前在多個(gè)房間的人數(shù)，服務(wù)器被遠(yuǎn)程托管。下面展示了對(duì)人和汽車的檢測(cè)、跟蹤和計(jì)數(shù)。

功能

• 對(duì)當(dāng)前視場(chǎng)中的物體進(jìn)行計(jì)數(shù)
• 跟蹤可選
• 支持多個(gè)IP相機(jī)
• 每間隔一個(gè)小時(shí)記錄一次當(dāng)前的計(jì)數(shù)
• 當(dāng)前的總數(shù)
• 當(dāng)前每個(gè)類別的計(jì)數(shù)
• 可以托管在云服務(wù)器上

使用我自己的智能手機(jī)作為IP相機(jī)

訓(xùn)練你自己的機(jī)動(dòng)車跟蹤模型

我使用DETRAC訓(xùn)練帶有v3標(biāo)注的數(shù)據(jù)集訓(xùn)練了YOLOv4和Deep SORT模型。我提供了將DETRAC訓(xùn)練圖像和v3標(biāo)注轉(zhuǎn)換為正確格式的腳本，用于訓(xùn)練YOLOv4模型和Deep SORT跟蹤模型。

Deep SORT 轉(zhuǎn)換參數(shù)

DETRAC圖像轉(zhuǎn)換為Market 1501訓(xùn)練格式。

• 遮擋閾值 - 忽略遮擋比率過(guò)高的車輛序列。
• 截?cái)嚅撝?- 忽略截?cái)嗦蔬^(guò)高的車輛序列。
• 出現(xiàn)的次數(shù) - 車輛序列太短(即沒(méi)有足夠的圖像)被丟棄后，考慮遮擋和截?cái)啾嚷省?/li>

YOLO 轉(zhuǎn)換參數(shù)

DETRAC圖像被轉(zhuǎn)換成Darknet YOLO訓(xùn)練格式。

• 遮擋閾值 - 忽略遮擋比率過(guò)高的車輛序列。
• 截?cái)嚅撝?- 忽略截?cái)嗦蔬^(guò)高的車輛序列。

兩種模型都在DETRAC訓(xùn)練集上進(jìn)行了訓(xùn)練和評(píng)估，但由于缺少v3標(biāo)注，測(cè)試集還沒(méi)有評(píng)估，我也沒(méi)有MATLAB用于Deep SORT的評(píng)估軟件。到目前為止，對(duì)于我的用例來(lái)說(shuō)，它已經(jīng)足夠好了。

使用的硬件

• Nvidia GTX 1070 GPU
• i7-8700K CPU

為了讓大家了解我們的期望，我可以運(yùn)行兩個(gè)流量計(jì)數(shù)流，每個(gè)流大約10fps(正如你在流量計(jì)數(shù)gif中看到的)。當(dāng)然，這在很大程度上取決于流分辨率以及用于檢測(cè)和跟蹤的幀數(shù)。

YOLO v3 vs. YOLO v4

當(dāng)我第一次開(kāi)始目標(biāo)計(jì)數(shù)項(xiàng)目時(shí)，我使用YOLOv3，跟蹤幀率大約是10FPS，很難一次運(yùn)行多個(gè)流。使用YOLOv4可以更容易地運(yùn)行具有更高分辨率的兩個(gè)流，并提供更好的檢測(cè)精度。

依賴

• Tensorflow-GPU 1.14
• Keras 2.3.1
• opencv-python 4.2.0
• ImageZMQ
• numpy 1.18.2
• Flask 1.1.1
• pillow

這個(gè)項(xiàng)目是在Python 3.6上構(gòu)建和測(cè)試的。

感謝相關(guān)貢獻(xiàn)者

• https://github.com/miguelgrinberg/flask-video-streaming
• https://github.com/Ma-Dan/keras-yolo4
• https://github.com/nwojke/deep_sort
• https://github.com/Qidian213/deep_sort_yolov3
• https://github.com/yehengchen/Object-Detection-and-Tracking

英文原文：https://github.com/LeonLok/Multi-Camera-Live-Object-Tracking