【原】RK3399的Yolo-Fastest模型部署

beginnow1 2022-12-06 發(fā)布于廣東

展開全文

Vehicle-Detection-MNN-Yolo-Fastest

介紹

本項(xiàng)目為“openEuler”高校開發(fā)者大賽--城市關(guān)鍵路徑機(jī)動(dòng)車流量智能化監(jiān)控項(xiàng)目。本項(xiàng)目利用RK3399與HopeEdge OS，通過深度學(xué)習(xí)方法對(duì)車輛進(jìn)行實(shí)時(shí)檢測(cè)，利用MNN深度學(xué)習(xí)推理框架與OpenCV實(shí)現(xiàn)車輛檢測(cè)模型的移動(dòng)端部署，利用檢測(cè)結(jié)果，根據(jù)檢測(cè)目標(biāo)的歐氏距離判斷前后幀檢測(cè)車輛是否為同一輛車，對(duì)車輛進(jìn)行計(jì)數(shù)。

源文件：https://github.com/yss9701/Vehicle-Detection-MNN-Yolo-Fastest

軟件架構(gòu)

目錄說(shuō)明：

./lib為部署于開發(fā)板的動(dòng)態(tài)鏈接庫(kù)，需放置于開發(fā)板/usr/lib目錄下，或放置于其他目錄下并指定搜索路徑。

./src為Qt工程，其中.pro文件需根據(jù)主機(jī)實(shí)際路徑更改。

./script為腳本，包括編譯腳本、視頻處理腳本等。

./model為MNN轉(zhuǎn)換后的模型與量化后的模型及MNN編譯產(chǎn)物。

./demo為車輛檢測(cè)結(jié)果展示，視頻左上角展示出車輛計(jì)數(shù)與檢測(cè)幀率。

硬件環(huán)境：Firefly-RK3399開發(fā)板

開發(fā)環(huán)境：Ubuntu20.04.2 Lts，Qt 5.12.9，gcc-linaro-4.9.4-2017.01-x86_64_aarch64-linux-gnu，MobaXterm 11.0

模型訓(xùn)練：TensorFlow-gpu 2.2

模型部署：MNN 1.0.2，OpenCV 3.4.9，protobuf 3.12.0，gcc/g++ 4.9

安裝教程

1、利用TensorFlow2.2，搭建Yolo-Fastest模型。將UA-DETRAC數(shù)據(jù)集處理為VOC格式，對(duì)模型進(jìn)行訓(xùn)練，后對(duì)檢測(cè)頭進(jìn)行剪枝，壓縮模型，重訓(xùn)練恢復(fù)精度，將模型結(jié)構(gòu)保存與參數(shù)分開保存，并進(jìn)行模型固化，產(chǎn)生pb文件，具體過程可參考此項(xiàng)目。

2、在Ubuntu16.04中安裝交叉編譯工具鏈, 安裝qt, 安裝GCC工具鏈與protobuf。

交叉工具下轉(zhuǎn)地址：https://download./archive/qt/5.12/5.12.9/

交叉編譯工具搭建：https://blog.csdn.net/hl1796/article/details/90205218

執(zhí)行sudo ./auto.sh時(shí)，出現(xiàn)Project ERROR: Cannot run target compiler 'aarch64-linux-gnu-g++'. 的報(bào)錯(cuò)。是由于用sudo執(zhí)行會(huì)重設(shè)環(huán)境變量，而sudo的環(huán)境變量沒有aarch64-linux-gnu-g++的目錄路徑，可以用sudo -i ./auto.sh表示使用root的權(quán)限但環(huán)境不變?；蛘咛砑迎h(huán)境變量到/etc/sudoers，參考：https://cloud.tencent.com/developer/article/1650340

3、在主機(jī)端源碼編譯MNN，編譯產(chǎn)物為模型轉(zhuǎn)換與模型量化工具。

http://www.hbhlny.cn/content/22/1202/16/40492717_1058541855.shtml

4、在主機(jī)端源碼交叉編譯MNN，編譯產(chǎn)物為MNN動(dòng)態(tài)鏈接庫(kù)。

5、在主機(jī)端源碼交叉編譯OpenCV，編譯產(chǎn)物為OpenCV動(dòng)態(tài)鏈接庫(kù)，編譯腳本為./script/build_3399.sh。

http://www.hbhlny.cn/showweb/0/0/1059122850.aspx

6、利用./script/pb.py進(jìn)行模型輸入尺寸固化，利用MNN進(jìn)行模型轉(zhuǎn)換與量化，將量化模型通過MobaXterm傳送到開發(fā)板執(zhí)行目錄。

6、利用Qt Creator編程，交叉編譯產(chǎn)生可執(zhí)行文件，利用MobaXterm傳送到開發(fā)板。

7、利用./script/video2img.py進(jìn)行視頻處理，將處理過的圖像傳送到開發(fā)板執(zhí)行目錄，執(zhí)行可執(zhí)行文件，得到檢測(cè)與計(jì)數(shù)結(jié)果。

8、利用./script/img2cv.py對(duì)檢測(cè)過的圖像處理，合成視頻。

記得修改圖片尺寸大小，不然會(huì)有OpenCV(3.4.9) Error: Assertion failed的報(bào)錯(cuò)

還有路徑、圖片數(shù)量需要修改