|
閱讀本文大概需要 5 分鐘。 ”在前面寫過一篇文章介紹深度學(xué)習(xí)識別滑動驗證碼缺口的文章《利用深度學(xué)習(xí)識別滑動驗證碼缺口位置》，在這篇文章里，我們使用華為云 ModelArts 輕松完成了滑動驗證碼缺口的識別。但是那種實現(xiàn)方案依賴于現(xiàn)有服務(wù)，是華為云提供的深度學(xué)習(xí)平臺所搭建的識別模型，其實其內(nèi)部是用的深度學(xué)習(xí)的某種目標(biāo)檢測算法實現(xiàn)的，如果利用平臺的話，我們無需去申請 GPU、無需去了解其內(nèi)部的基本原理究竟是怎么回事，它提供了一系列標(biāo)注、訓(xùn)練、部署的流程。 但用上述方法是有一定的弊端的，比如使用會一直收費，另外不好調(diào)優(yōu)、不好更好地定制自己的一些需求等等。所以這里再發(fā)一篇文章來介紹一下直接使用 Python 的深度學(xué)習(xí)模型來實現(xiàn)滑動驗證碼缺口識別的方法。 效果目前可以做到只需要幾百張缺口標(biāo)注圖片即可訓(xùn)練出精度高的識別模型，并且可擴(kuò)展修改為其他任何樣式的缺口識別，識別效果樣例：  只需要給模型輸入一張帶缺口的驗證碼圖片，模型就能輸出缺口的輪廓和邊界信息。 感興趣的可以繼續(xù)向下看具體的實現(xiàn)流程。 基礎(chǔ)了解缺口識別屬于目標(biāo)檢測問題，關(guān)于什么是目標(biāo)檢測這里就不再贅述了，可以參考之前寫的那篇文章。 當(dāng)前做目標(biāo)檢測的算法主要有兩種路子，有一階段式和兩階段式，英文叫做 One stage 和 Two stage，簡述如下： ·Two Stage：算法首先生成一系列目標(biāo)所在位置的候選框，然后再對這些框選出來的結(jié)果進(jìn)行樣本分類，即先找出來在哪，然后再分出來是啥，俗話說叫「看兩眼」，這種算法有 R-CNN、Fast R-CNN、Faster R-CNN 等，這些算法架構(gòu)相對復(fù)雜，但準(zhǔn)確率上有優(yōu)勢。·One Stage：不需要產(chǎn)生候選框，直接將目標(biāo)定位和分類的問題轉(zhuǎn)化為回歸問題，俗話說叫「看一眼」，這種算法有 YOLO、SSD，這些算法雖然準(zhǔn)確率上不及 Two stage，但架構(gòu)相對簡單，檢測速度更快。 所以這次我們選用 One Stage 的有代表性的目標(biāo)檢測算法 YOLO 來實現(xiàn)滑動驗證碼缺口的識別。 YOLO，英文全稱叫做 You Only Look Once，取了它們的首字母就構(gòu)成了算法名， 目前 YOLO 算法最新的版本是 V3 版本，這里算法的具體流程我們就不過多介紹了，感興趣的可以搜一下相關(guān)資料了解下，另外也可以了解下 YOLO V1-V3 版本的不同和改進(jìn)之處，這里列幾個參考鏈接。 ·YOLO V3 論文：https:///media/files/papers/YOLOv3.pdf·YOLO V3 介紹：https://zhuanlan.zhihu.com/p/34997279·YOLO V1-V3 對比介紹：https://www.cnblogs.com/makefile/p/yolov3.html 數(shù)據(jù)準(zhǔn)備回歸我們本節(jié)的主題，我們要做的是缺口的位置識別，那么第一步應(yīng)該做什么呢？ 我們的目標(biāo)是要訓(xùn)練深度學(xué)習(xí)模型，訓(xùn)練模型，那我們總得需要讓模型知道要學(xué)點什么東西吧，這次我們做缺口識別，那么我們需要讓模型學(xué)的就是這個缺口在哪里。由于一張驗證碼圖片只有一個缺口，要分類就是一類，所以我們只需要找到缺口位置就行了。 好，那模型要學(xué)缺口在哪里，那我們就得提供點樣本數(shù)據(jù)讓模型來學(xué)習(xí)才行。數(shù)據(jù)怎樣的呢？那數(shù)據(jù)就得有帶缺口的驗證碼圖片以及我們自己標(biāo)注的缺口位置。只有把這兩部分都告訴模型，模型才能去學(xué)習(xí)。等模型學(xué)好了，等我們再給個新的驗證碼，那就能檢測出缺口在哪里了，這就是一個成功的模型。 OK，那我們就開始準(zhǔn)備數(shù)據(jù)和缺口標(biāo)注結(jié)果吧。 數(shù)據(jù)這里用的是網(wǎng)易盾的驗證碼，驗證碼圖片可以自行收集，寫個腳本批量保存下來就行。標(biāo)注的工具可以使用 LabelImg，GitHub 鏈接為：https://github.com/tzutalin/labelImg，利用它我們可以方便地進(jìn)行檢測目標(biāo)位置的標(biāo)注和類別的標(biāo)注，如這里驗證碼和標(biāo)注示例如下：  標(biāo)注完了會生成一系列 xml 文件，你需要解析 xml 文件把位置的坐標(biāo)和類別等處理一下，轉(zhuǎn)成訓(xùn)練模型需要的數(shù)據(jù)。 在這里我先把我整理的數(shù)據(jù)集放出來吧，完整 GitHub 鏈接為：https://github.com/Python3WebSpider/DeepLearningSlideCaptcha，我標(biāo)注了 200 多張圖片，然后處理了 xml 文件，變成訓(xùn)練 YOLO 模型需要的數(shù)據(jù)格式，驗證碼圖片和標(biāo)注結(jié)果見 data/captcha 文件夾。 如果要訓(xùn)練自己的數(shù)據(jù)，數(shù)據(jù)格式準(zhǔn)備見：https://github.com/eriklindernoren/PyTorch-YOLOv3#train-on-custom-dataset。 初始化上一步我已經(jīng)把標(biāo)注好的數(shù)據(jù)處理好了，可以直接拿來訓(xùn)練了。 由于 YOLO 模型相對比較復(fù)雜，所以這個項目我就直接基于開源的 PyTorch-YOLOV3 項目來修改了，模型使用的深度學(xué)習(xí)框架為 PyTorch，具體的 YOLO V3 模型的實現(xiàn)這里不再闡述了。 另外推薦使用 GPU 訓(xùn)練，不然拿 CPU 直接訓(xùn)練速度很慢。我的 GPU 是 P100，幾乎十幾秒就訓(xùn)練完一輪。 下面就直接把代碼克隆下來吧。 由于本項目我把訓(xùn)練好的模型也放上去了，使用了 Git LFS，所以克隆時間較長，克隆命令如下： git clone https://github.com/Python3WebSpider/DeepLearningSlideCaptcha.git如果想加速克隆，暫時先跳過大文件模型下載，可以執(zhí)行命令： 環(huán)境安裝代碼克隆下載之后，我們還需要下載一些預(yù)訓(xùn)練模型。 YOLOV3 的訓(xùn)練要加載預(yù)訓(xùn)練模型才能有不錯的訓(xùn)練效果，預(yù)訓(xùn)練模型下載命令如下： bash prepare.sh執(zhí)行這個腳本，就能下載 YOLO V3 模型的一些權(quán)重文件，包括 yolov3 和 weights 還有 darknet 的 weights，在訓(xùn)練之前我們需要用這些權(quán)重文件初始化 YOLO V3 模型。
另外還需要安裝一些必須的庫，如 PyTorch、TensorBoard 等，建議使用 Python 虛擬環(huán)境，運行命令如下： 這些庫都安裝好了之后，就可以開始訓(xùn)練了。 訓(xùn)練本項目已經(jīng)提供了標(biāo)注好的數(shù)據(jù)集，在 data/captcha，可以直接使用。 當(dāng)前數(shù)據(jù)訓(xùn)練腳本： bash train.sh實測 P100 訓(xùn)練時長約 15 秒一個 epoch，大約幾分鐘即可訓(xùn)練出較好效果。 訓(xùn)練差不多了，我們可以使用 TensorBoard 來看看 loss 和 mAP 的變化，運行 TensorBoard： loss_1 變化如下：  val_mAP 變化如下：  可以看到 loss 從最初的非常高下降到了很低，準(zhǔn)確率也逐漸接近 100%。 另外訓(xùn)練過程中還能看到如下的輸出結(jié)果： ---- [Epoch 99/100, Batch 27/29] ----+------------+--------------+--------------+--------------+| Metrics | YOLO Layer 0 | YOLO Layer 1 | YOLO Layer 2 |+------------+--------------+--------------+--------------+| grid_size | 14 | 28 | 56 || loss | 0.028268 | 0.046053 | 0.043745 || x | 0.002108 | 0.005267 | 0.008111 || y | 0.004561 | 0.002016 | 0.009047 || w | 0.001284 | 0.004618 | 0.000207 || h | 0.000594 | 0.000528 | 0.000946 || conf | 0.019700 | 0.033624 | 0.025432 || cls | 0.000022 | 0.000001 | 0.000002 || cls_acc | 100.00% | 100.00% | 100.00% || recall50 | 1.000000 | 1.000000 | 1.000000 || recall75 | 1.000000 | 1.000000 | 1.000000 || precision | 1.000000 | 0.800000 | 0.666667 || conf_obj | 0.994271 | 0.999249 | 0.997762 || conf_noobj | 0.000126 | 0.000158 | 0.000140 |+------------+--------------+--------------+--------------+Total loss 0.11806630343198776這里顯示了訓(xùn)練過程中各個指標(biāo)的變化情況，如 loss、recall、precision、confidence 等，分別代表訓(xùn)練過程的損失（越小越好）、召回率（能識別出的結(jié)果占應(yīng)該識別出結(jié)果的比例，越高越好）、精確率（識別出的結(jié)果中正確的比率，越高越好）、置信度（模型有把握識別對的概率，越高越好），可以作為參考。 測試訓(xùn)練完畢之后會在 checkpoints 文件夾生成 pth 文件，可直接使用模型來預(yù)測生成標(biāo)注結(jié)果。 如果你沒有訓(xùn)練自己的模型的話，這里我已經(jīng)把訓(xùn)練好的模型放上去了，可以直接使用我訓(xùn)練好的模型來測試。如之前跳過了 Git LFS 文件下載，則可以使用如下命令下載 Git LFS 文件： 此時 checkpoints 文件夾會生成訓(xùn)練好的 pth 文件。 測試腳本： sh detect.sh該腳本會讀取 captcha 下的 test 文件夾所有圖片，并將處理后的結(jié)果輸出到 result 文件夾。 運行結(jié)果樣例：
拿幾個樣例結(jié)果看下：    這里我們可以看到，利用訓(xùn)練好的模型我們就成功識別出缺口的位置了，另外程序還會打印輸出這個邊框的中心點和寬高信息。 有了這個邊界信息，我們再利用某些手段拖動滑塊即可通過驗證了。本節(jié)不再展開講解。 總結(jié)本篇文章我們介紹了使用深度學(xué)習(xí)識別滑動驗證碼缺口的方法，包括標(biāo)注、訓(xùn)練、測試等環(huán)節(jié)都進(jìn)行了闡述。 GitHub 代碼：https://github.com/Python3WebSpider/DeepLearningSlideCaptcha。 歡迎 Star、Folk，如果遇到問題，可以在 GitHub Issue 留言。 |
|
|
