物聯(lián)網(wǎng)繼續(xù)邁向低碳化，MIT團(tuán)隊開發(fā)出一次訓(xùn)練、多平臺部署的AI系統(tǒng)

新用戶31841120 2020-05-08

展開全文

萬物互聯(lián)時代，AI 計算不能僅依賴于云端服務(wù)器。例如自動駕駛車輛或無人機執(zhí)行的物體識別任務(wù)，有著較高的實時性需求，因此需要在這些形態(tài)各異的終端設(shè)備本地中部署深度神經(jīng)網(wǎng)絡(luò)（DNN）。但這又會凸顯能耗問題，因為終端設(shè)備的可用資源往往是受限的。

除了 AI 硬件設(shè)計者們在努力開發(fā)低功耗的專用芯片以外，還有一組研究人員正想方設(shè)法讓 DNN 本身更加“低碳化”：將 DNN 模型高效地部署到各種硬件平臺上，涉及根據(jù)具體硬件算力進(jìn)行重新設(shè)計（或裁剪）以及重頭訓(xùn)練，由此帶來的成本會隨著硬件平臺的數(shù)量而線性增長，造成大量的能源消耗與碳排放。

一次訓(xùn)練就能適應(yīng)多平臺部署的 Once for All（OFA）方案，成為一種解決思路。

最近，來自麻省理工學(xué)院的韓松團(tuán)隊就發(fā)表了這個方向的一項新成果：團(tuán)隊開發(fā)了一個適用于多種不同硬件平臺的 AutoML 系統(tǒng)，這種系統(tǒng)碳足跡更小，硬件上的計算效率更高。這將是一項頗具應(yīng)用前景的研究。

該方法訓(xùn)練了一個大型的母網(wǎng)絡(luò)，其中包含許多不同大小的子網(wǎng)絡(luò)，就能實現(xiàn)子網(wǎng)無需再訓(xùn)練即可適應(yīng)不同的硬件平臺，從而大幅降低了為新平臺 (可能包括數(shù)十億個物聯(lián)網(wǎng)設(shè)備) 訓(xùn)練每個專門的神經(jīng)網(wǎng)絡(luò)所需的成本。

團(tuán)隊估計，與當(dāng)今最先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法（NAS）相比，利用該系統(tǒng)訓(xùn)練一個計算機視覺模型只需要大約原來 1/ 1300 的碳排放（圖 1），同時在不損失準(zhǔn)確率的前提下，將推理時間縮短了 1.5-2.6 倍（圖 2）。

圖 1：OFA 和傳統(tǒng) NAS 方法的訓(xùn)練代價比較（以碳排放量計）

圖 2：OFA 和 EfficientNet, MobileNet-v3 的推理性能比較

“我們的目標(biāo)是更小、更環(huán)保的神經(jīng)網(wǎng)絡(luò)。目前搜索高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)會產(chǎn)生巨大的碳排放，新方法減少了幾個數(shù)量級的碳排放”，韓松說。

團(tuán)隊基于 AutoML 建立了這個系統(tǒng)，從而可以自動搜索巨大的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)空間，以尋找適合于給定硬件平臺的網(wǎng)絡(luò)結(jié)構(gòu)。但是這仍然存在效率問題：不同硬件平臺必須單獨選擇模型，然后從頭開始對選擇的模型進(jìn)行訓(xùn)練。

韓松介紹道：“我們?nèi)绾尾拍転閺?1 美元的物聯(lián)網(wǎng)設(shè)備，到上百美元的智能手機，到上千美元的 GPU 和云 AI 都有效地適配不同的網(wǎng)絡(luò)？考慮到物聯(lián)網(wǎng)設(shè)備的多樣性，神經(jīng)架構(gòu)搜索的計算成本將會激增?！?/span>

而團(tuán)隊開發(fā)的 AutoML 系統(tǒng)之所以能避開這些成本，關(guān)鍵在于只訓(xùn)練作為 OFA 的 “母” 網(wǎng)絡(luò)。

（來源：Han Lab）

這個 “母” 網(wǎng)絡(luò)嵌套了非常多的子網(wǎng)，與所有的子網(wǎng)絡(luò)共享所有的學(xué)習(xí)權(quán)值，這意味著子網(wǎng)絡(luò)基本上是經(jīng)過預(yù)先訓(xùn)練的。因此，每個子網(wǎng)可以在推理時獨立運行而無需再訓(xùn)練。

針對特定的平臺，系統(tǒng)會使用 OFA 作為搜索空間，根據(jù)與平臺的能力和速度限制相吻合的準(zhǔn)確性和延遲權(quán)衡，找到最佳的子網(wǎng)。例如，對于物聯(lián)網(wǎng)設(shè)備，系統(tǒng)會找到一個較小的子網(wǎng)。對于智能手機，它將選擇較大的子網(wǎng)，但根據(jù)電池壽命和計算資源的不同，子網(wǎng)的結(jié)構(gòu)也將不同。OFA 將模型訓(xùn)練和架構(gòu)搜索解耦，并將一次性訓(xùn)練成本分?jǐn)偟蕉鄠€推理硬件平臺和資源約束上，在需要多平臺部署的場景下顯現(xiàn)優(yōu)勢。

這依賴于 “漸進(jìn)收縮” 算法，它能有效地訓(xùn)練 OFA 網(wǎng)絡(luò)以同時支持所有的子網(wǎng)。“漸進(jìn)收縮”算法首先用最大尺寸訓(xùn)練整個網(wǎng)絡(luò)，然后逐步縮小網(wǎng)絡(luò)的大小去覆蓋更小的子網(wǎng)。小的子網(wǎng)絡(luò)在大的子網(wǎng)絡(luò)的幫助下一起提升。最后，系統(tǒng)支持不同大小的所有子網(wǎng)絡(luò)，并允許基于平臺的能力和速度限制進(jìn)行快速定制化。它支持多種硬件設(shè)備，在添加新設(shè)備時，訓(xùn)練成本為零。

“一個通用的 OFA 網(wǎng)絡(luò)，支持在大量不同的結(jié)構(gòu)設(shè)置下通過截取 OFA 網(wǎng)絡(luò)的不同部分來進(jìn)行高效推理”，HAN Lab 博士生蔡涵說。根據(jù)論文，一個 OFA 網(wǎng)絡(luò)可包含超過 10 的 19 次方個結(jié)構(gòu)設(shè)置，幾乎覆蓋了所有需要的平臺。

那么成本以外，準(zhǔn)確性如何？

結(jié)果顯示，這種方法在移動設(shè)備上提供了目前最優(yōu)的 ImageNet 精度（圖 3）。

蔡涵表示：“從計算資源的角度，NAS 方法的總計算資源是隨著部署場景數(shù)量的增加而線性增長的。當(dāng)有多個部署場景的時候，OFA 會比 NAS 方法高效得多。具體上，在 40 個部署場景的情況下，OFA 的總計算資源消耗是 ProxylessNAS 的 1/16，MnasNet 的 1/1300”。

圖 3：OFA 網(wǎng)絡(luò)只需 595M MACs 即可實現(xiàn) 80.0% ImageNet top-1 準(zhǔn)確率。

從準(zhǔn)確率的角度，OFA 中的子網(wǎng)在經(jīng)過微調(diào)后可以達(dá)到比單獨從頭訓(xùn)練更好的準(zhǔn)確率。在 ImageNet 上，OFA 在大量的硬件平臺和效率約束下都達(dá)到了明顯好于 EfficientNet 和 MobileNetV3 的性能（圖 2）。在 ImageNet 的 Mobile Vision 條件下（< 600M MACs），OFA 達(dá)到了最新的 80.0% SOTA 準(zhǔn)確率。OFA 網(wǎng)絡(luò)在第三屆和第四屆低功耗計算機視覺比賽（Low-Power Computer Vision Challenge）中都取得了第一。

現(xiàn)在，該研究論文已被 ICLR 2020 大會收錄，并在 github 上開源了訓(xùn)練代碼以及 50 個用于各種硬件平臺的 ImageNet 預(yù)訓(xùn)練模型，包括了在 600M MACs 約束下達(dá)到 80.0%ImageNet 準(zhǔn)確率的模型、預(yù)訓(xùn)練的 OFA 網(wǎng)絡(luò)。

接下來，團(tuán)隊將繼續(xù)拓展 OFA 在不同應(yīng)用下的效率提升，讓 AI 輕量化，既能運行在云端平臺也能運行在邊緣設(shè)備上。

-End-

參考：

https:///pdf/1908.09791.pdf
http://news./2020/artificial-intelligence-ai-carbon-footprint-0423

https://github.com/mit-han-lab/once-for-all)