|
智東西（公眾號(hào)：zhidxcom） 文 | 王小溪 導(dǎo)語(yǔ)：麻省理工團(tuán)隊(duì)將要展示的神經(jīng)架構(gòu)網(wǎng)絡(luò)，大多數(shù)使用7×7像素的正方形網(wǎng)格濾波器，能將被AI優(yōu)化過(guò)的AI設(shè)計(jì)過(guò)程加速240倍！  智東西4月4日消息，今年5月，麻省理工學(xué)院的一個(gè)研究團(tuán)隊(duì)將展示一種名為“神經(jīng)架構(gòu)搜索”（ “neural architecture search” ）的算法，該算法可以使被AI優(yōu)化過(guò)的AI設(shè)計(jì)過(guò)程加速240多倍。 這有利于人工智能更快、更準(zhǔn)，并且在實(shí)際范圍內(nèi)廣泛應(yīng)用于圖像識(shí)別算法和其他相關(guān)應(yīng)用。 自2017年以來(lái)，人工智能（AI）研究人員一直用AI神經(jīng)網(wǎng)絡(luò)來(lái)設(shè)計(jì)更好、更快的AI神經(jīng)網(wǎng)絡(luò)。迄今為止，學(xué)界一直在追求用人工智能促進(jìn)人工智更好地發(fā)展。這主要是因?yàn)?，這種方法能達(dá)到數(shù)萬(wàn)小時(shí)的GPU時(shí)間。 如果真可以實(shí)現(xiàn)這一點(diǎn)，那么設(shè)計(jì)AI應(yīng)用程序時(shí)，可能會(huì)更快、更簡(jiǎn)單。 麻省理工學(xué)院電子工程和計(jì)算機(jī)科學(xué)助理教授韓松說(shuō)：“在模型大小、應(yīng)用延遲、準(zhǔn)確性和模型容量之間存在各種權(quán)衡。把所有的東西權(quán)衡起來(lái)就會(huì)產(chǎn)生一個(gè)巨大的設(shè)計(jì)空間。 以前人們?cè)O(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)采用的是啟發(fā)式算法。神經(jīng)架構(gòu)搜索的目的在于減輕算法的工作量，將基于人類啟發(fā)式的探索轉(zhuǎn)化為算法自主學(xué)習(xí)的，更符合AI的設(shè)計(jì)邏輯。 就像AI可以學(xué)習(xí)下圍棋一樣，去學(xué)習(xí)如何設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)?！?/div> 就像人工智能曾戰(zhàn)勝李世石與柯潔，甚至可以教這些圍棋國(guó)手新的圍棋路數(shù)， 通過(guò)AI來(lái)優(yōu)化AI可以提供新的AI設(shè)計(jì)思路。 麻省理工用的AI算法類型是一種卷積神經(jīng)網(wǎng)絡(luò)（CNN）。（CNN通常是用于圖像識(shí)別的首選神經(jīng)網(wǎng)絡(luò)。除此之外，它還被應(yīng)用于自然語(yǔ)言處理和藥物研發(fā)。） 韓松說(shuō)，這種被AI優(yōu)化過(guò)的CNN的圖像分類速度將是其他AI的1.8倍。 他補(bǔ)充說(shuō)團(tuán)隊(duì)能將CNN提速至此，主要緣于以下三點(diǎn)： 首先，他們減少了運(yùn)行神經(jīng)架構(gòu)搜索的GPU內(nèi)存負(fù)載。標(biāo)準(zhǔn)神經(jīng)架構(gòu)搜索可以同時(shí)檢查網(wǎng)絡(luò)中神經(jīng)層之間所有可能的連接。而韓松團(tuán)隊(duì)的算法每次只在CPU的內(nèi)存中保存一條路徑。這個(gè)技巧可以只用十分之一的內(nèi)存完成對(duì)所有參數(shù)空間的搜索，從而使搜索能夠覆蓋更多的網(wǎng)絡(luò)配置而不會(huì)耗盡芯片上的空間。 第二，該團(tuán)隊(duì)通過(guò)刪減掉冗余的神經(jīng)網(wǎng)絡(luò)來(lái)精簡(jiǎn)路徑，這樣明顯加快了神經(jīng)網(wǎng)絡(luò)搜索進(jìn)程。通常，神經(jīng)架構(gòu)搜索只丟棄單個(gè)“神經(jīng)元”，因?yàn)樗鼤?huì)修剪掉所有次優(yōu)的神經(jīng)網(wǎng)絡(luò)連接。 第三，這個(gè)算法使神經(jīng)網(wǎng)絡(luò)搜索意識(shí)到AI系統(tǒng)在正在運(yùn)行的硬件中可能的延遲時(shí)間 ，不管這個(gè)硬件是GPU或CPU。 韓松說(shuō)，令人驚訝的是，通過(guò)新的算法，我們發(fā)現(xiàn)，傳統(tǒng)AI中某些圖像識(shí)別神經(jīng)網(wǎng)絡(luò)是錯(cuò)的。從某種意義上說(shuō)，當(dāng)前大家已經(jīng)在用GPU運(yùn)行算法了，但有些做AI的人的設(shè)計(jì)思維仍然處于CPU時(shí)代。 CNN在其圖像識(shí)別算法中使用的是3×3、5×5或7×7像素的正方形網(wǎng)格濾波器，不過(guò)此前，大家很少使用7×7像素的濾波器，因?yàn)槿藗円恢闭J(rèn)為運(yùn)行多層3×3像素的濾波器比單個(gè)7×7像素的濾波器更快。 然而，被AI優(yōu)化的AI卻使用了不少7×7像素的濾波器。韓松表示，當(dāng)前用于人工智能計(jì)算的硬件中，GPU仍然占主導(dǎo)地位。他說(shuō)：“GPU本身有很大的并行性，而且大型內(nèi)核調(diào)用比調(diào)用幾個(gè)小內(nèi)核調(diào)用效率更高，因此7×7層的濾波器更適用于GPU。” 文章來(lái)自：IEE Spectrum
|
|
|
來(lái)自： 掃地僧一一 > 《930、人工智能關(guān)》
