深度挖掘的公司開始為特定應用定制這種方法,并花費大量資金來獲得初創(chuàng)公司。 具有先進并行處理的神經(jīng)網(wǎng)絡已經(jīng)開始扎根于預測地震和颶風到解析MRI圖像數(shù)據(jù)的許多市場,以便識別和分類腫瘤。 由于這種方法在更多的地方得到實施,所以它是以許多專家從未設想的方式進行定制和解析的。它正在推動對這些計算架構如何應用的新研究。 荷蘭Asimov研究所的深度學習研究員Fjodor van Veen已經(jīng)確定了27種不同的神經(jīng)網(wǎng)絡結構類型。 (參見下面的圖1)。差異主要是應用程序特定的。 神經(jīng)網(wǎng)絡 圖。 1:神經(jīng)網(wǎng)絡架構。資料來源:阿西莫夫研究所 神經(jīng)網(wǎng)絡是基于閾值邏輯算法的概念,這是1943年由神經(jīng)生理學家Warren McCulloch和邏輯學家Walter Pitts首次提出的。研究在接下來的70年里一直徘徊,但是它真的開始飆升。 Nvidia的加速計算集團產(chǎn)品團隊負責人Roy Kim表示:“2012-2013年的大爆炸事件發(fā)生在兩個里程碑式的出版物上。其中一篇論文是由Geoffrey Hinton和他的團隊從多倫多大學(現(xiàn)在也是谷歌的半時間)撰寫,題為“ImageNet Classification with Deep Convolutional Neural Networks”。然后在2013年,Stanford的Andrew Ng(現(xiàn)在也是百度首席科學家),他的團隊發(fā)表了“與COTS HPC系統(tǒng)深度學習”。 Nvidia早期認識到,深層神經(jīng)網(wǎng)絡是人工智能革命的基礎,并開始投資于將GPU引入這個世界。 Kim指出卷積神經(jīng)網(wǎng)絡,復發(fā)神經(jīng)網(wǎng)絡和長時間內存(LSTM)網(wǎng)絡,其中每個網(wǎng)絡都設計用于解決特定問題,如圖像識別,語音或語言翻譯。他指出,Nvidia正在所有這些領域招聘硬件和軟件工程師。 6月份,Google大幅增加新聞,Google在神經(jīng)網(wǎng)絡手臂競賽的半導體領域處于領先地位。 Google卓越的硬件工程師Norm Jouppi公布了公司幾年努力的細節(jié),Tensor處理器單元(TPU)是實現(xiàn)硅芯片神經(jīng)網(wǎng)絡組件的ASIC,而不是使用原始硅計算電源和內存庫和軟件,這也是谷歌也做的。 TPU針對TensorFlow進行了優(yōu)化,TensorFlow是Google使用數(shù)據(jù)流圖進行數(shù)值計算的軟件庫。它已經(jīng)在Google數(shù)據(jù)中心運行了一年多。 不過,這不僅僅是一些正在爭奪這一市場的玩家。創(chuàng)業(yè)公司Knupath和Nervana進入這個戰(zhàn)爭,尋求設計具有神經(jīng)網(wǎng)絡的晶體管領域。英特爾上個月向Nervana報了4.08億美元。 Nervana開發(fā)的硅“引擎”是在2017年的某個時候。Nervana暗示了前進的內存緩存,因為它具有8 Tb /秒的內存訪問速度。但事實上,Nervana在2014年以種子資本開始投入60萬美元,并在兩年之后賣出近680倍的投資,這證明了行業(yè)和金融家們正在占據(jù)的空間 - 以及這個市場有多熱。 市場驅動 汽車是該技術的核心應用,特別適用于ADAS。 Arteris董事長兼首席執(zhí)行官Charlie Janac說:“關鍵是您必須決定圖像是什么,并將其轉化為卷積神經(jīng)網(wǎng)絡算法。 “有兩種方法。一個是GPU。另一種是ASIC,其最終獲勝并且使用較少的電力。但一個非常好的實現(xiàn)是緊密耦合的硬件和軟件系統(tǒng)。 然而,到緊密耦合系統(tǒng)的這一點,取決于對什么問題需要解決的深刻理解。 Leti首席執(zhí)行官Marie Semeria說:“我們必須開發(fā)不同的技術選擇。 “這是全新的。首先,我們必須考慮使用。這是一種完全不同的駕駛技術方式。這是一個神經(jīng)性的技術推動。你需要什么?然后,您將根據(jù)此開發(fā)解決方案?!?/p> 該解決方案也可以非???。 Cadence顧問Chris Rowen表示,其中一些系統(tǒng)每秒可以運行數(shù)萬億次操作。但并不是所有這些操作都是完全準確的,而且這個操作也必須被構建到系統(tǒng)中。 Rowen說:“你必須采取一種統(tǒng)計手段來管理正確性。 “你正在使用更高的并行架構。” 最有效的 比較這些系統(tǒng)并不容易。在討論Google TPU時,Jouppi強調了世界各地的研究人員和工程師團隊的基本工作方法,以及他們正在使用的硬件和軟件的性能:ImageNet。 ImageNet是大學研究人員獨立維護的1400萬張圖像的集合,它允許工程團隊將他們的系統(tǒng)找到對象和分類(通常是其子集)的時間縮短。 本月晚些時候,ImageNet大型視覺識別挑戰(zhàn)賽(ILSVRC)的結果將于2016年發(fā)布,作為在阿姆斯特丹舉行的歐洲計算機視覺會議(ECCV)的一部分。 所有在這里討論的玩家將在那里,包括Nvidia,百度,谷歌和英特爾。高通也將在那里,因為它開始關鍵的軟件庫,就像Nvidia一樣。 Nvidia將展示其DGX-1深度學習用具和Jetson嵌入式平臺,適用于視頻分析和機器學習。 ECCV 2016的總裁Arnold Smeulders和Theo Gevers告訴“半導體工程”,ECCV的許多與會者都在半導體技術領域工作(而不是硅片上運行的軟件),從而實現(xiàn)計算機視覺。 “最近,半導體技術強國已經(jīng)開始對計算機視覺感興趣,”他們通過電子郵件說。 “現(xiàn)在,電腦可以了解圖像中存在哪些類型的場景和類型的場景。這需要從注釋示例中描述與機器學習匹配的特征中的圖像。在過去五年中,這些算法的力量使用深層學習架構大大增加。由于它們是計算密集型產(chǎn)品,包括高通,英特爾,華為和三星在內的芯片制造商,以及蘋果,谷歌,亞馬遜等大型企業(yè)以及許多高科技創(chuàng)業(yè)公司也將進入計算機視覺階段。 Smeulders和Gevers表示,興趣已經(jīng)增長到這樣的高度,會議場地在一個月前達到最大容量,注冊預計將會結束。 以前的ECCV版本長期以來每年大約有100名與會者長大,在蘇黎世的上一版本以1,200的成績結束。 “今年,我們在會議前一個月已經(jīng)有1500位與會者。在這一點上,我們不得不關閉注冊,因為我們雇用的建筑,荷蘭皇家劇院,不能更舒適地擁有,“他們寫道。 隨著行業(yè)的復雜和變化,工程經(jīng)理尋找必要的技能是很困難的。它還引發(fā)了電氣工程和計算機科學學生關于他們的課程是否會過時的問題,然后才能將它們應用于市場。那么一個學生對電子學有興趣,特別是半導體在計算機視覺中的作用呢,可以在現(xiàn)場找到工作嗎? Semulders和Gevers表示:“由于圖像[識別]是每1/30秒的大量數(shù)據(jù),所以半導體行業(yè)受到重視是很自然的事情?!?“由于大量的數(shù)據(jù),直到最近,注意力僅限于處理圖像以產(chǎn)生另一個圖像(更可見,更清晰的圖像中的突出顯示元素)或減少圖像(目標區(qū)域或壓縮版本)。這是圖像處理領域:圖像輸入,圖像輸出。但最近,計算機視覺領域 - 即對圖像中可見的解釋 - 已經(jīng)經(jīng)歷了一個非常有成效的時期。他們寫道:要了解圖像的本質,正在形成的方式和深入網(wǎng)絡分析的方式,是現(xiàn)代計算機視覺的關鍵組成部分。 隨機信號處理,機器學習和計算機視覺將是學習和培訓的領域。 ECCV的亞洲對手是亞洲CCV。在這幾年,國際CCV舉行。 Smeulders和Gevers指出,每年夏天在美國舉行的計算機視覺和模式識別會議是對CCVs的補充,但是重點略有不同。 Google認為它是所有審查學科的前100名研究來源之一,這是列表中唯一的會議。論文將于11月15日在檀香山舉行的7月份e會議上公布。 Nvidia的Kim和其他人認為2012年至2013年將成為在這些神經(jīng)網(wǎng)絡應用中用于計算機視覺等任務的GPU的“大爆炸”。那么下一個大爆炸又是什么? “自2004年以來,對圖像內容進行分類的比賽重新開始,幾個算法步驟已經(jīng)鋪平了道路,”Smeulders和Gevers寫道。 “一個是SIFT特征[Scale Invariant Feature Transform]。另一種是一些單詞和其他編碼方案,以及特征定位算法,以及大量圖像數(shù)據(jù)的特征學習。然后,GPU為深入學習網(wǎng)絡鋪平了道路,進一步提高了性能,因為它們加速了數(shù)據(jù)集的學習。這意味著需要幾周的任務現(xiàn)在可以在一夜之間運行。下一個大爆炸將再次在算法方面。 鑒于投入這筆市場的金額很大,毫無疑問,大事情將會前進。還有多大的待觀察,但鑒于這種方法的活動量以及投資的數(shù)量,預期是非常高的。 |
|