|
多年堅(jiān)持為深度學(xué)習(xí)潑冷水的紐約大學(xué)心理學(xué)教授馬庫斯老師（Gary Marcus），今天終于寫了一篇長長的文章，將自己的對深度學(xué)習(xí)的看法全面、系統(tǒng)地闡述了一遍。 在他長達(dá)27頁（含參考文獻(xiàn)）的文章“深度學(xué)習(xí)的批判性評價(jià)”中，馬庫斯回顧了深度學(xué)習(xí)這5年來的復(fù)興歷程，更重要的是，指出了深度學(xué)習(xí)目前面臨的十大挑戰(zhàn)。 這篇論文Deep Learning: A Critical Appraisal發(fā)布在arXiv上 △ Gary Marcus馬庫斯身兼暢銷書作家、人工智能領(lǐng)域創(chuàng)業(yè)者、紐約大學(xué)心理學(xué)和神經(jīng)科學(xué)教授等多重身份，還在他的公司Geometric Intelligence被Uber收購后，在Uber擔(dān)任過AI實(shí)驗(yàn)室的負(fù)責(zé)人。 他關(guān)于深度學(xué)習(xí)局限性的論述，可以追溯到2012年這波浪潮剛剛回歸的時(shí)候。最近，他依然活躍，和LeCun辯論、在哈薩比斯講AlphaZero時(shí)提出質(zhì)疑，觀點(diǎn)都很犀利。 量子位將馬庫斯最新論文中的要點(diǎn)梳理、介紹如下（跳過了深度學(xué)習(xí)科普部分）： 深度學(xué)習(xí)的局限始于我們生活中的一個(gè)反差：我們所生活的世界，數(shù)據(jù)從來都不是無限的。而依賴于深度學(xué)習(xí)的系統(tǒng)，通常必須泛化到它們見過的特定數(shù)據(jù)范圍之外，可能是詞的新發(fā)音、陌生的圖像，在這些地方，數(shù)據(jù)遠(yuǎn)稱不上“無限”，形式證明保障高質(zhì)量的能力更是局限。 我們可以認(rèn)為泛化有兩類，一類是已知樣例之間的插值，另一類是越過訓(xùn)練樣例邊界的外推。 要讓神經(jīng)網(wǎng)絡(luò)很好地泛化，通常必須有大量的數(shù)據(jù)，而且測試數(shù)據(jù)必須和訓(xùn)練數(shù)據(jù)相似，這樣才能在舊答案之間插入新答案。在2012年Hinton帶領(lǐng)學(xué)生們奪取ImageNet冠軍的論文（Krizhevsky, Sutskever, & Hinton, 2012）中，訓(xùn)練一個(gè)6億參數(shù)、65萬節(jié)點(diǎn)的9層卷積神經(jīng)網(wǎng)絡(luò)，用了來自1000個(gè)不同類別的，大約100萬個(gè)不同樣例。 這樣的蠻力在ImageNet那樣的有限世界中很管用，所有刺激物都能被分到一個(gè)類別中。在語音識別那種穩(wěn)定的世界中也不錯(cuò)，樣例都能以一致的方式被映射到有限的語音類別上。但是，深度學(xué)習(xí)還是無法被視為人工智能的通用解決方案，這有很多原因。 現(xiàn)在的深度學(xué)習(xí)系統(tǒng)，面臨著這10大挑戰(zhàn)： 1. 截至目前，深度學(xué)習(xí)依然對數(shù)據(jù)很饑渴那些抽象的關(guān)系，人類依靠明確的定義，很容易就能學(xué)會。但深度學(xué)習(xí)不具備這種通過語言描述的清晰定義來學(xué)習(xí)抽象概念的能力，在有成千上萬、上百萬甚至幾十億訓(xùn)練樣例的時(shí)候，才最好用。 在學(xué)習(xí)復(fù)雜規(guī)則這件事上，人類比深度學(xué)習(xí)系統(tǒng)高效得多。 Geoff Hinton也在最近的Capsule Networks論文中，表達(dá)了對深度學(xué)習(xí)系統(tǒng)依賴于大量標(biāo)注數(shù)據(jù)這個(gè)問題的擔(dān)憂。 2. 截至目前，深度學(xué)習(xí)還很膚淺，遷移能力有限要知道，“深度學(xué)習(xí)”中的“深”，指的是技術(shù)上、架構(gòu)上的性質(zhì)，也就是堆疊了很多隱藏層。這種“深”，并不是說它對抽象的概念有深刻的理解。 比如說DeepMind在用深度強(qiáng)化學(xué)習(xí)玩雅達(dá)利“打磚塊”游戲的那項(xiàng)研究說，“在240分鐘的訓(xùn)練后，（系統(tǒng)）發(fā)現(xiàn)在墻上打一條隧道是獲取勝利的最有效方法?！钡珜?shí)際上，系統(tǒng)并不知道什么是隧道、什么是墻，它所學(xué)會的，只是特定場景下的一個(gè)特例。 這可以通過遷移測試來檢驗(yàn)，也就是給深度強(qiáng)化學(xué)習(xí)系統(tǒng)提供一些和訓(xùn)練環(huán)境有細(xì)微差別的場景，看它們表現(xiàn)如何。對場景稍加改動，比如說調(diào)整球拍的高度、在屏幕中間加一道墻，DeepMind用來打雅達(dá)利游戲的升級版算法A3C就無法應(yīng)對。 系統(tǒng)沒有學(xué)到“墻”的概念，它只是在一小類充分訓(xùn)練的場景中，逼近了“打破墻”這個(gè)行為。深度學(xué)習(xí)算法抽象出的模式，也通常比它們看起來更加膚淺。 3. 截至目前，深度學(xué)習(xí)還不能自然處理層級結(jié)構(gòu)喬姆斯基不斷地強(qiáng)調(diào)，語言有著層級結(jié)構(gòu)，大的結(jié)構(gòu)部件是由小部件遞歸構(gòu)成的。但是，當(dāng)前大多數(shù)基于深度學(xué)習(xí)的語言模型都將句子視為詞的序列。在遇到陌生的句子結(jié)構(gòu)時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）無法系統(tǒng)地展示、擴(kuò)展句子的遞歸結(jié)構(gòu)。 這種情況在其他需要復(fù)雜層級結(jié)構(gòu)的領(lǐng)域也是一樣，比如規(guī)劃和電機(jī)控制。 而深度學(xué)習(xí)學(xué)到的各組特征之間的關(guān)聯(lián)是平面的，沒有層級關(guān)系，是一個(gè)核心問題。 4. 要用深度學(xué)習(xí)搞定開放式推理，仍需努力當(dāng)系統(tǒng)無法呈現(xiàn)“John promised Mary to leave”和“John promised to leave Mary”之間的細(xì)微差別，也就無法推斷出誰要離開誰，或者接下來會發(fā)生什么。 在斯坦福問答數(shù)據(jù)集SQuAD上，如果問題的答案包含在題面文本里，現(xiàn)在的機(jī)器閱讀閱讀理解系統(tǒng)能夠很好地回答出來，但如果文本中沒有，系統(tǒng)表現(xiàn)就會差很多。也就是說，現(xiàn)在的系統(tǒng)還沒有像人類那樣的推理能力。 雖然這方面也有一些研究，但目前還沒有深度學(xué)習(xí)系統(tǒng)能基于現(xiàn)實(shí)知識來像人類那樣準(zhǔn)確地進(jìn)行推理。 5. 截至目前，深度學(xué)習(xí)還不夠透明過去幾年來，神經(jīng)網(wǎng)絡(luò)的“黑箱”性質(zhì)一直很受關(guān)注。但是這個(gè)透明性的問題，至今沒有解決，如果要把深度學(xué)習(xí)用在金融交易、醫(yī)學(xué)診斷等領(lǐng)域，這是一個(gè)潛在的不利因素。 6. 深度學(xué)習(xí)還未與先驗(yàn)知識結(jié)合很大程度上正是因?yàn)檫@種不同命，先驗(yàn)知識很難整合到深度學(xué)習(xí)系統(tǒng)中。 機(jī)器學(xué)習(xí)領(lǐng)域中有不少像Kaggle上那樣的競賽，這些競賽通常要求參賽者在給定的數(shù)據(jù)集中取得最佳結(jié)果，問題需要的所有相關(guān)輸入和輸出文件都被整齊地打包好了。問題是，生活不是一場Kaggle競賽，孩子們無法在一個(gè)字典中得到打包好的所有需要的數(shù)據(jù)，只能通過現(xiàn)實(shí)世界中零星的數(shù)據(jù)持續(xù)學(xué)習(xí)。 因?yàn)槿鄙傧闰?yàn)知識，深度學(xué)習(xí)很難解決那些開放性問題，比如怎樣修理一輛繩子纏住輻條的自行車？我應(yīng)該主修數(shù)學(xué)還是神經(jīng)科學(xué)？這些看似簡單的問題，涉及到現(xiàn)實(shí)世界中大量風(fēng)格迥異的知識，沒有哪個(gè)數(shù)據(jù)集適用于它們。 這也說明，如果我們想讓AI的認(rèn)知靈活性達(dá)到人類水平，需要不同于深度學(xué)習(xí)的工具。 7、截至目前，深度學(xué)習(xí)還不能區(qū)分因果和相關(guān)關(guān)系粗略的說，深度學(xué)習(xí)系統(tǒng)，學(xué)習(xí)的是輸入和輸出之間復(fù)雜的相關(guān)性，但是學(xué)習(xí)不到其間的因果關(guān)系。 一個(gè)深度學(xué)習(xí)系統(tǒng)可以很容易的學(xué)到：小孩的身高和詞匯量是相互關(guān)聯(lián)的。但并不掌握身高和詞匯量之間的因果關(guān)系，其實(shí)我們很容易知道，長高并不見得增加詞匯量，增加詞匯量也不會讓你長高。 因果關(guān)系在另外的AI方法中是核心因素，但深度學(xué)習(xí)這個(gè)方向上，很少有研究試圖解決這個(gè)問題。 8、深度學(xué)習(xí)假定世界大體穩(wěn)定，但實(shí)際上并不是這樣深度學(xué)習(xí)的這套邏輯，在高度穩(wěn)定的環(huán)境下表現(xiàn)最佳，例如下棋這種博弈，其中的規(guī)則不會改變，但在政治和經(jīng)濟(jì)生活中，不變的只有改變。 如果你用深度學(xué)習(xí)去預(yù)測股價(jià)，很有可能重蹈Google用深度學(xué)習(xí)預(yù)測流感的覆轍。期初Google干得很好，但是完全沒有預(yù)測到后來的流感高發(fā)季到來。 9、截至目前，深度學(xué)習(xí)只是一種近似，不能完全相信其答案深度學(xué)習(xí)在一些特定領(lǐng)域表現(xiàn)出色，但也很容易被愚弄。 已經(jīng)有很多這方面的研究了，只需要做一些簡單的手腳，就能讓同一副圖片徹底搞蒙深度學(xué)習(xí)系統(tǒng)。有時(shí)候甚至不用動手腳，它們自己就能認(rèn)錯(cuò)。 比如認(rèn)錯(cuò)停車標(biāo)志、烏龜變槍、沙丘變裸體等，你們可能都見過了。 10、截至目前，深度學(xué)習(xí)難以工程化最后一個(gè)問題，深度學(xué)習(xí)很難穩(wěn)健的實(shí)現(xiàn)工程化。 很難保證機(jī)器學(xué)習(xí)系統(tǒng)在一個(gè)新的環(huán)境下有效工作。此前Leon Bottou還把機(jī)器學(xué)習(xí)與飛機(jī)建造進(jìn)行過比較，他指出雖然飛機(jī)結(jié)構(gòu)復(fù)雜，但可以通過簡單的系統(tǒng)入手逐步構(gòu)建出復(fù)雜系統(tǒng)。機(jī)器學(xué)習(xí)系統(tǒng)就無法做到這一步。 而Peter Norvig也曾表示，機(jī)器學(xué)習(xí)與經(jīng)典的編程相比，仍然缺乏漸進(jìn)性、透明性和可調(diào)式性，這讓它在實(shí)現(xiàn)穩(wěn)健性方面面臨挑戰(zhàn)。 https:///ftp/arxiv/papers/1801/1801.00631.pdf 在文章的最后，馬庫斯老師又提到了他2012年在《紐約客》寫下的那篇略帶悲壯的專欄文章《“深度學(xué)習(xí)”是人工智能領(lǐng)域的一次革命嗎？》，歡迎回顧~ https://www./news/news-desk/is-deep-learning-a-revolution-in-artificial-intelligence 這篇文章中提到，很可能“深度學(xué)習(xí)僅僅是構(gòu)建更大智能機(jī)器的一部分”，盡管深度學(xué)習(xí)在語音識別、機(jī)器翻譯、棋類游戲等特定領(lǐng)域已經(jīng)出現(xiàn)大的進(jìn)展，盡管基礎(chǔ)設(shè)施、數(shù)據(jù)和可用算力數(shù)量的增長也讓人印象深刻，但許多五年前提出的憂慮現(xiàn)在依然存在。 他還提到了越來越多的學(xué)者帶著不同的視角面對這些問題，并開始強(qiáng)調(diào)類似的限制。以及早先就開始關(guān)注這些問題前輩們，比如Brenden Lake、Marco Baroni、Francois Chollet、Robin Jia、Percy Liang、Dileep George和Pieter Abbeel等人。 這些前輩中，最受關(guān)注的當(dāng)屬Geoff Hinton，他已經(jīng)足夠勇敢重新考慮自己的信仰。去年8月，Hinton在美國媒體Axios的采訪中表示“深深懷疑”反向傳播，并開始擔(dān)心這種方法過于依賴標(biāo)記數(shù)據(jù)集。同時(shí)，Hinton建議“可能必須創(chuàng)造全新的方法了”。 他說：“我期待這讓Hinton興奮的領(lǐng)域接下來會發(fā)生什么?！?/p> 他的置頂Twitter，也是對Hinton的贊同。 加入社群 |
|
|
