【最新成果】結(jié)合強化學習自適應候選框挑選的SAR目標檢測方法（視頻）

cqukelly 2022-11-23 發(fā)布于北京

展開全文

論文短視頻 | 結(jié)合強化學習自適應候選框挑選的SAR目標檢測方法

背景介紹

合成孔徑雷達(Synthetic Aperture Radar, SAR)在軍事領(lǐng)域和民用領(lǐng)域得到廣泛應用。近年來，隨著SAR系統(tǒng)和成像算法逐漸成熟，如何對SAR圖像進行準確高效的目標檢測是現(xiàn)在研究熱點之一。近年來，在光學領(lǐng)域，基于深度學習的目標檢測方法開始占據(jù)主流，取得了不錯的效果。鑒于深度學習在光學圖像目標檢測領(lǐng)域的成功，研究者們也將深度學習運用在SAR目標檢測當中。

目前一些基于深度學習的SAR目標檢測方法是由基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-CNN, R-CNN)結(jié)合候選區(qū)域來設(shè)計的兩階段檢測方法。此類方法在對區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network, RPN)產(chǎn)生的大量候選框進行挑選時，往往采用非極大值抑制(Non-Maximum Suppression, NMS)方法，F(xiàn)aster R-CNN是最常用的兩階段檢測方法之一。然而，在大場景SAR圖像檢測中，由于受復雜背景雜波影響，導致基于Faster R-CNN的目標檢測方法在整張?zhí)卣鲌D上產(chǎn)生的候選框會包含大量雜波，而NMS方法無法在篩選候選框時有效去除雜波，從而產(chǎn)生較多虛警。

圖 1 Faster R-CNN結(jié)構(gòu)

近年來，在人工智能領(lǐng)域中，強化學習得到了廣泛關(guān)注。強化學習根據(jù)當前自身狀態(tài)（State）并結(jié)合策略（Policy）做出相應的動作（Action），通過與外界的交互獲得不同的獎勵（Reward）來不斷更新自身的狀態(tài)并調(diào)整策略，最終形成解決某一問題的最優(yōu)策略。將具有解譯能力的深度學習與具有決策能力的強化學習結(jié)合而形成的深度強化學習，可以更好地與其他算法相結(jié)合，應用在目標檢測中以提高檢測性能。受強化學習啟發(fā)，研究者們基于Faster R-CNN檢測模型，設(shè)計了新的強化學習模型實現(xiàn)自適應候選框挑選，有效減少冗余候選框數(shù)量，提升檢測性能。

圖 2 強化學習原理

團隊工作

近年來，西安電子科技大學雷達信號處理國家重點實驗室的杜蘭教授團隊對SAR圖像目標檢測與識別相關(guān)方法開展了深入研究。

圖 3 西安電子科技大學杜蘭教授團隊

在SAR目標檢測方面，針對大場景SAR圖像中目標數(shù)量較多，分布情況較為復雜且易受雜波影響的特點，提出一種結(jié)合強化學習的SAR目標檢測方法，提出方法通過使用強化學習自適應確定搜索區(qū)域?qū)崿F(xiàn)了對初始候選框的自適應挑選，提升了對背景雜波的鑒別能力并減少傳統(tǒng)強化學習應用于檢測問題的計算量。所提方法自適應確定搜索區(qū)域的能力包括兩方面的自適應，一是通過綜合利用圖像的特征信息和上下文信息自適應確定搜索區(qū)域的位置坐標；二是通過搜索區(qū)域尺寸約束自適應調(diào)整下一次搜索區(qū)域的范圍尺寸。所提方法能夠有效減少SAR目標檢測的虛警數(shù)量，提升傳統(tǒng)深度學習目標檢測方法的檢測性能。

該工作擬發(fā)表在《雷達學報》2022年第5期“《雷達學報》創(chuàng)刊10周年紀念?？?”論文“結(jié)合強化學習自適應候選框挑選的SAR目標檢測方法”（杜蘭，王梓霖，郭昱辰，杜宇昂，嚴俊坤）。

論文介紹

文章提出的SAR目標檢測方法整體流程如下所示：

圖 4 結(jié)合強化學習的SAR目標檢測方法整體框架

從總體結(jié)構(gòu)上來說，提出方法基于傳統(tǒng)Faster R-CNN方法，在RPN與RoI池化層之間加入深度強化學習網(wǎng)絡(luò)搜索可能含有目標的區(qū)域。特征提取網(wǎng)絡(luò)提取SAR圖像特征，并通過RPN在特征圖上生成初始候選框。對于大量的初始候選框，本文使用深度強化學習網(wǎng)絡(luò)進行區(qū)域搜索實現(xiàn)對初始候選框進行挑選，將可能含有目標的候選框送入RoI池化層進行整合。整合后的候選框?qū)⒈凰腿霗z測器，獲取最終的檢測目標框。

其中上文所述深度強化學習網(wǎng)絡(luò)采用循環(huán)神經(jīng)網(wǎng)絡(luò)實現(xiàn)，此網(wǎng)絡(luò)可以在特征圖上找到一個可能含有目標的區(qū)域，并將該區(qū)域內(nèi)的候選框送入后續(xù)檢測器獲得該區(qū)域內(nèi)的檢測結(jié)果，然后綜合檢測結(jié)果再找到另一個可能含有目標的區(qū)域，繼續(xù)將該區(qū)域內(nèi)的候選框送入后續(xù)檢測，如此迭代，最終完成候選框的自適應挑選和檢測。深度強化學習網(wǎng)絡(luò)在迭代過程中捕捉到圖像的上下文信息并確定可能含有目標的搜索區(qū)域的位置坐標。并且，本方法在強化學習中對產(chǎn)生的搜索區(qū)域尺寸添加約束，使得搜索區(qū)域尺寸可以根據(jù)之前迭代過程中的搜索區(qū)域以及目標檢測結(jié)果進行自適應調(diào)整。從表1可以看出本文方法與傳統(tǒng)檢測方法相比的性能優(yōu)勢。圖5展示了本文方法在大場景SAR圖像上的檢測結(jié)果。

圖 5 本文方法的檢測結(jié)果

圖6展示了測試圖像的強化學習可視化搜索過程。圖6（a）為原始圖像，圖6（b）到圖6（e）展示了本文方法在此圖像上的兩次迭代搜索過程。其中，白色邊框為產(chǎn)生的搜索區(qū)域，左上角數(shù)字為區(qū)域的生成順序；綠色邊框則表示已檢測到目標的邊界框。通過兩次迭代后，強化學習策略判斷SAR圖像內(nèi)全部目標已經(jīng)檢測完成，停止迭代，完成后續(xù)檢測流程。由圖6可視化搜索過程可知，強化學習通過訓練得到的策略，能夠讓搜索區(qū)域更靠近待檢測目標。在迭代搜索過程中，除了利用圖像的特征信息進行決策外，深度強化學習網(wǎng)絡(luò)還能夠記錄之前迭代步驟中產(chǎn)生的上下文信息，通過上下文信息進行不同搜索區(qū)域之間的信息交換，幫助決策，能夠有效減少雜波對檢測器的干擾，提高檢測的準確性。

圖 6 可視化搜索過程(白色框為固定動作所產(chǎn)生的搜索區(qū)域)

為了進一步分析搜索區(qū)域?qū)z測的影響，我們分別對不使用搜索區(qū)域的Faster R-CNN方法和可以自適應確定搜索區(qū)域的本文方法產(chǎn)生的RoI分布進行了對比。如圖7所示，圖7中間列為兩種方法產(chǎn)生的RoI分布，圖中高亮區(qū)域為RoI的中心位置。對比高亮區(qū)域可以發(fā)現(xiàn)，相較于傳統(tǒng)的Faster R-CNN方法，經(jīng)過本文方法的處理，RoI會更集中的產(chǎn)生在目標附近，因圖片邊緣和復雜背景雜波而產(chǎn)生的RoI大量減少。

圖 7 提出方法與傳統(tǒng)方法獲取的（RoI）分布對比

結(jié)合表1的檢測結(jié)果及RoI分布可以分析，F(xiàn)aster R-CNN方法由于采用NMS法對RPN在整張?zhí)卣鲌D上產(chǎn)生的大量初始候選框進行處理，會導致SAR圖像的邊緣和難鑒別的背景雜波位置生成大量RoI，從而造成檢測結(jié)果中出現(xiàn)較多虛警。而所提方法則依靠強化學習策略及深度強化學習網(wǎng)絡(luò)積累的上下文信息來確定含有目標的搜索區(qū)域，并且只在搜索區(qū)域內(nèi)生成RoI，能夠讓RoI盡可能集中在目標周圍，有效減少圖片邊緣及復雜背景雜波導致的虛警，從而獲得較好的檢測效果。

作者簡介

杜蘭，西安電子科技大學電子工程學院教授，主要研究方向為雷達目標識別、雷達信號處理、機器學習。

王梓霖，西安電子科技大學在讀碩士研究生，研究方向為SAR圖像目標檢測、機器學習。

郭昱辰，西安電子科技大學前沿交叉研究院講師，主要研究方向為智能雷達目標檢測和識別。

杜宇昂，西安電子科技大學在讀博士研究生，主要研究方向為SAR圖像解譯、機器學習與人工智能。