人工智能學(xué)家

而在今天，Jeff Dean 代表整個(gè)團(tuán)隊(duì)撰文回顧了谷歌大腦的 2016 年，并發(fā)表于 Google Research Blog 上，這個(gè)為世界帶來科技驚喜的團(tuán)隊(duì)究竟如何看待自己的 2016 年吧。

谷歌大腦團(tuán)隊(duì)的宏愿一如既往：團(tuán)隊(duì)致力于通過多領(lǐng)域的純研究及應(yīng)用性研究，創(chuàng)造更多的智能軟件及智能系統(tǒng)，以此提升人們的生活水平。

“雖然這一藍(lán)圖是我們仰望星空的長期愿景，但我們也需要腳踏實(shí)地，回顧一下我們過去一年完成的小目標(biāo)，并與你們一同分享那些會(huì)為 2017 年新成就奠基的點(diǎn)點(diǎn)滴滴。”

一、科研刊發(fā)，碩果累累

在國際頂級(jí)的期刊及學(xué)術(shù)會(huì)議（如 ICML、NIPS 及 ICLR）上提交論文是科研水平的質(zhì)量保證，谷歌大腦團(tuán)隊(duì)同樣寄望于此。過去一年間，團(tuán)隊(duì)共有 27 篇論文實(shí)現(xiàn)了這個(gè)小目標(biāo)，領(lǐng)域涉獵廣泛

程序合成：《Neural Programmer: Inducing Latent Programs with Gradient Descent》；

鏈接：

http:///journals/jama/article-abstract/2588763

神經(jīng)網(wǎng)絡(luò)間的知識(shí)遷移：《Net2Net: Accelerating Learning via Knowledge Transfer》；

鏈接：

https:///abs/1511.05641

機(jī)器學(xué)習(xí)的分發(fā)式訓(xùn)練：《Revisiting Distributed Synchronous SGD》；

鏈接：

https:///pdf?id=D1VDZ5kMAu5jEJ1zfEWL

語言的生成式模型：《Generating Sentences from a Continuous Space》；

鏈接：

https:///forum?id=D1VVBv7BKS5jEJ1zfxJg

機(jī)器人的無監(jiān)督學(xué)習(xí)：《Unsupervised Learning for Physical Interaction through Video Prediction》；

鏈接：

http://papers./paper/6161-unsupervised-learning-for-physical-interaction-through-video-prediction

定理的自動(dòng)證明：《DeepMath - Deep Sequence Models for Premise Selection》；

鏈接：

http://papers./paper/6280-deepmath-deep-sequence-models-for-premise-selection

神經(jīng)網(wǎng)絡(luò)理論理解：《Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity》；

鏈接：

http://papers./paper/6427-toward-deeper-understanding-of-neural-networks-the-power-of-initialization-and-a-dual-view-on-expressivity

改進(jìn)強(qiáng)化學(xué)習(xí)的算法：《Continuous Deep Q-Learning with Model-based Acceleration》

鏈接：

http:///proceedings/papers/v48/gu16.html；

谷歌大腦還在許多其它優(yōu)秀期刊及學(xué)術(shù)會(huì)議上提交了論文，包括：

自然語言處理（ACL 及 CoNNL）；

語音識(shí)別（ICASSP）；

視覺領(lǐng)域（CVPR）；

機(jī)器人（ISER）；

計(jì)算機(jī)系統(tǒng)（OSDI）等。

團(tuán)隊(duì)目前已經(jīng)向機(jī)器學(xué)習(xí)研究的頂尖學(xué)術(shù)會(huì)議 ICLR 2017 提交了 34 篇論文。AI 科技評(píng)論附上了提交論文的清單，如果感興趣的用戶可以點(diǎn)擊查看。

鏈接：https://research.google.com/pubs/BrainTeam.html

二、自然語言理解

谷歌大腦研究的重點(diǎn)方向之一在于如何讓計(jì)算機(jī)更好地理解人類語言。

2014 年年底，三位谷歌大腦團(tuán)隊(duì)的成員發(fā)布了一篇名為《利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)序列到序列的學(xué)習(xí)》的論文，提出了此方法可應(yīng)用于機(jī)器翻譯。

2015 年，團(tuán)隊(duì)證明了此方法同樣能夠應(yīng)用于生成圖像標(biāo)題、分析句子成分及解決計(jì)算化的幾何問題當(dāng)中。

2016 年，谷歌大腦團(tuán)隊(duì)與谷歌翻譯團(tuán)隊(duì)進(jìn)行密切合作，將谷歌翻譯算法以一種完全端到端的學(xué)習(xí)系統(tǒng)所取代。該系統(tǒng)縮小了原有系統(tǒng)與人類高質(zhì)量翻譯之間的差距，而這一數(shù)字達(dá)到了 85%。

在數(shù)周后，谷歌大腦團(tuán)隊(duì)又發(fā)布了「zero-shot」翻譯系統(tǒng)，即使是系統(tǒng)之前從沒學(xué)習(xí)過的樣本對(duì)，機(jī)器也能夠順利翻譯出來。目前，這一系統(tǒng)已經(jīng)順利上線谷歌翻譯，而它所處理的語言對(duì)數(shù)量也在不斷增加。

「zero-shot」鏈接：

https://research./2016/11/zero-shot-translation-with-googles.html

Jeff Dean 還特別專門提及了 AI 科技評(píng)論于本文開始時(shí)提及的文章，這篇發(fā)布于《紐約時(shí)報(bào)》，原名為《超級(jí) AI 正在覺醒》的文章詳細(xì)描述了谷歌翻譯是如何一步步進(jìn)階深度學(xué)習(xí)的。

《超級(jí) AI 正在覺醒》鏈接：

https://www./2016/12/14/magazine/the-great-ai-awakening.html?_r=0 

三、教機(jī)器人學(xué)會(huì)學(xué)習(xí)

Jeff Dean 也回顧了谷歌大腦在機(jī)器人領(lǐng)域取得的成果，他表示，傳統(tǒng)機(jī)器人的控制算法是通過精心設(shè)計(jì)并進(jìn)行人工編程而實(shí)現(xiàn)的，因此，如何將新的能力「?jìng)魇凇菇o原有的機(jī)器人也成為一個(gè)挑戰(zhàn)。谷歌大腦團(tuán)隊(duì)相信，機(jī)器人如果能掌握機(jī)器學(xué)習(xí)能力，那么讓它自動(dòng)掌握這些新的技能也絕非難事。

在 2016 年，谷歌大腦團(tuán)隊(duì)與 Google X 團(tuán)隊(duì)合作實(shí)現(xiàn)了機(jī)械臂的手眼協(xié)調(diào)功能，并經(jīng)過 80 萬次的抓取實(shí)驗(yàn)，讓它們?cè)诓粩嗟膶W(xué)習(xí)過程中汲取自學(xué)經(jīng)驗(yàn)，雷鋒網(wǎng)此前也做過報(bào)道和覆蓋。

鏈接：https:///abs/1603.02199

“隨后，我們探索了三種機(jī)器人學(xué)習(xí)新技能的三種可能方式，包括強(qiáng)化學(xué)習(xí)、通過機(jī)器與物體的交互，以及人類的操作示范等。谷歌大腦團(tuán)隊(duì)將在這些工作的基礎(chǔ)上繼續(xù)前行，以實(shí)現(xiàn)讓機(jī)器人在復(fù)雜的現(xiàn)實(shí)環(huán)境中習(xí)得新技能，并成功運(yùn)用的目標(biāo)?！?/p>

三種機(jī)器人學(xué)習(xí)新技能鏈接：

https://research./2016/10/how-robots-can-acquire-new-skills-from.html

值得一提的是，為了讓其它機(jī)器人研究者也能嘗試在該領(lǐng)域探索，谷歌大腦團(tuán)隊(duì)共享了數(shù)個(gè)機(jī)器人數(shù)據(jù)庫。

鏈接：https://sites.google.com/site/brainrobotdata/home

四、醫(yī)學(xué)影像領(lǐng)域：提升診斷效率

機(jī)器學(xué)習(xí)有著巨大潛力，包括應(yīng)用于醫(yī)學(xué)診斷領(lǐng)域。谷歌大腦同樣注意到了這一進(jìn)步，并在今年 6 月的美國醫(yī)學(xué)學(xué)會(huì)刊物上（Journal of the American Medical Association）發(fā)布了一篇名為《深度學(xué)習(xí)算法的應(yīng)用及有效性：因糖尿病引致的視網(wǎng)膜病變》的論文，詳細(xì)了目前機(jī)器學(xué)習(xí)系統(tǒng)在疾病診斷上的新成果?！溉绻麤]能篩查出早期的視網(wǎng)膜病變，將會(huì)有四億人面臨失明風(fēng)險(xiǎn)。通過這項(xiàng)技術(shù)，我們希望能夠幫助更多人口在眼科醫(yī)生稀缺的情況下獲得適當(dāng)?shù)臋z查?！笰I 科技評(píng)論了解到，谷歌 DeepMind 目前已經(jīng)與英國國家醫(yī)療服務(wù)體系（NHS）進(jìn)行了二度合作，將和 Moorfields 眼科醫(yī)院一同開發(fā)識(shí)別視覺疾病的機(jī)器學(xué)習(xí)系統(tǒng)。

論文鏈接：http:///journals/jama/article-abstract/2588763 

除此之外，谷歌大腦團(tuán)隊(duì)也致力于拓展醫(yī)學(xué)影像的其它領(lǐng)域，并相信機(jī)器學(xué)習(xí)能夠在接下來一年內(nèi)又好又快地提升醫(yī)患的就醫(yī)體驗(yàn)。

五、創(chuàng)作，從音樂到藝術(shù)

不論是印刷出版、電影或是電吉他，人們利用科技定義媒體內(nèi)容的創(chuàng)造與分享。在 2016 年，谷歌大腦成立了一個(gè)名為 Magenta 的項(xiàng)目，以探索藝術(shù)與機(jī)器智能的靈感火花，并利用機(jī)器學(xué)習(xí)豐富人類的創(chuàng)造力。

Magenta 項(xiàng)目鏈接：https://research./2016/02/exploring-intersection-of-art-and.html

先是用機(jī)器學(xué)習(xí)建立起音樂與圖像生成之間的聯(lián)系，再是文本生成與虛擬現(xiàn)實(shí)，Magenta 正在成為內(nèi)容創(chuàng)作的最佳生成模型。

谷歌大腦團(tuán)隊(duì)通過舉辦研討會(huì)及展覽會(huì)的方式，對(duì)音樂創(chuàng)作及藝術(shù)風(fēng)格遷移等主題進(jìn)行探討。而這些探索也同樣獲得了學(xué)界的認(rèn)可， demo 在年底的 NIPS 2016 上獲得了最佳獎(jiǎng)項(xiàng)的首肯。

Demo 鏈接：

https://magenta./2016/12/16/nips-demo/ 

六、安全公平，AI 有責(zé)

「當(dāng)我們開發(fā)出強(qiáng)大且完善的 AI 系統(tǒng)，并廣泛應(yīng)用于這個(gè)世界之時(shí)，谷歌大腦團(tuán)隊(duì)同樣也心系安全與公平。我們同樣希望擁有能幫助人類更好理解機(jī)器生產(chǎn)的工具?！?/p>

在 AI 安全領(lǐng)域，谷歌大腦通過與斯坦福、伯克利及 OpenAI 等機(jī)構(gòu)的合作，發(fā)布了名為《AI 安全的具體問題》的白皮書，提及了人工智能領(lǐng)域可能設(shè)計(jì)的具體安全問題，而谷歌大腦團(tuán)隊(duì)也致力于在訓(xùn)練數(shù)據(jù)的隱私問題、涉及不同項(xiàng)目的隱私界定，以及知識(shí)遷移技術(shù)方面提出可行的保護(hù)方案。

《AI 安全的具體問題》鏈接：

https:///abs/1606.06565

而在另一篇名為《監(jiān)督學(xué)習(xí)中的機(jī)會(huì)公平性》的文章中，谷歌大腦也以 FICO 評(píng)分系統(tǒng)為例，嘗試通過調(diào)整訓(xùn)練的預(yù)測(cè)因子，以避免結(jié)果出現(xiàn)不必要的歧視。

《監(jiān)督學(xué)習(xí)中的機(jī)會(huì)公平性》鏈接：

https:///abs/1610.02413

如果你對(duì)此感興趣，歡迎通過他們的可視化項(xiàng)目了解。

七、TensorFlow 初長成

TensorFlow 于 2015 年 11 月開源，當(dāng)時(shí)作為一個(gè)希望機(jī)器學(xué)習(xí)社區(qū)都能從中受益的開源平臺(tái)而存在。一年來，TensorFlow 已經(jīng)成為了 GitHub 上最受歡迎的機(jī)器學(xué)習(xí)項(xiàng)目，擁有超過 570 貢獻(xiàn)者的上萬次提交。而得益于社區(qū)的貢獻(xiàn)，TensorFlow 目前僅在 GitHub 上就有多于 5000 個(gè)與 TensorFlow 相關(guān)的項(xiàng)目了。

谷歌大腦團(tuán)隊(duì)表示，TensorFlow 目前已經(jīng)得到了許多研究團(tuán)隊(duì)與大型企業(yè)的認(rèn)可（如 DeepMind），此外在尋找海?；驇椭毡巨r(nóng)夫選黃瓜等特別的小項(xiàng)目中也取得了喜人的進(jìn)展。

而谷歌為 TensorFlow 所做的還不止這些：

TensorFlow 目前已經(jīng)在性能上已經(jīng)有了大量改進(jìn)，增加了分布式訓(xùn)練的支持；

兼容 iOS、樹莓派和 Windows，此外還與大數(shù)據(jù)框架進(jìn)行了整合；

拓展了可視化系統(tǒng) TensorBoard，能夠用于可視化計(jì)算圖表及 embedding；

開放了 Go、Rust 及 Haskell 的接口；

發(fā)布了最優(yōu)秀的圖像分類模型；

回答了 GitHub、StackOverflow 等論壇及 TensorFlow 郵件里收到的上千個(gè)問題；

TensorFlow Serving 得以簡(jiǎn)化 TensorFlow 模型在生產(chǎn)應(yīng)用的難度；

獲得了 Google Cloud Machine Learning 的托管服務(wù)。

在慶祝 TensorFlow 成立一周年之際，谷歌大腦還在 OSDI 上提交了一篇名為《TensorFlow：大范圍機(jī)器學(xué)習(xí)系統(tǒng)》的論文。

通過與編譯器團(tuán)隊(duì)的合作，谷歌大腦也在致力開發(fā)用于 TensorFlow 的后端編譯器 XLA，并已經(jīng)在其中添加了一個(gè) alpha 版本。

八、初探機(jī)器學(xué)習(xí)社區(qū)

谷歌大腦同樣也在努力教育指導(dǎo)人們?nèi)绾问褂脵C(jī)器學(xué)習(xí)，并開展相關(guān)研究。

2016 年 1 月，谷歌大腦團(tuán)隊(duì)的一名研究負(fù)責(zé)人 Vincent Vanhoucke 在優(yōu)達(dá)學(xué)城上開設(shè)了一門免費(fèi)的深度學(xué)習(xí)在線課程。此外，團(tuán)隊(duì)還組織了 TensorFlow Playground，這個(gè)交互式系統(tǒng)能夠通過可視化的方式，幫助人們更好地理解簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是如何完成任務(wù)的。

在去年 6 月，首屆 Google Brain Resident 項(xiàng)目在 2200 名申請(qǐng)者中篩選出了 27 名學(xué)員，并在過去的 7 個(gè)月時(shí)間內(nèi)開展了大量原創(chuàng)研究，并完成了 21 篇論文。

8 月份，許多谷歌大腦的成員都參與了 Reddit 的 MachineLearning 小組上的 AMA 問答，為網(wǎng)友們解答了機(jī)器學(xué)習(xí)社區(qū)及對(duì)團(tuán)隊(duì)的種種疑問。

在 2016 年，我們接納了 46 名實(shí)習(xí)生（大部分是博士生），他們與團(tuán)隊(duì)成員一同開展了研究。

九、讓機(jī)器學(xué)習(xí)無處不在

除了上述公開活動(dòng)外，谷歌大腦也在谷歌內(nèi)部開展工作，以期將機(jī)器學(xué)習(xí)專業(yè)及精神滲透到其它產(chǎn)品團(tuán)隊(duì)中。谷歌大腦團(tuán)隊(duì)希望公司能做為一個(gè)整體，接納并利用新生的機(jī)器學(xué)習(xí)研究成果。比如與平臺(tái)團(tuán)隊(duì)緊密合作，為在 Google I/O 大會(huì)上提及的機(jī)器學(xué)習(xí)加速器 ASIC（張量處理單元 TPU）提出了個(gè)性化且高水平的目標(biāo)。這種定制芯片能夠在數(shù)量級(jí)上提升機(jī)器學(xué)習(xí)的性能，并廣泛應(yīng)用于谷歌產(chǎn)品中，包括 RankBrain、神經(jīng)機(jī)器翻譯系統(tǒng)，還有在 3 月份擊敗李世石的 AlphaGo。

總而言之，對(duì)于谷歌大腦團(tuán)隊(duì)及谷歌上上下下所有同事與合作伙伴而言，2016 是令人為之歡欣鼓舞的一年，而團(tuán)隊(duì)也同樣期待機(jī)器學(xué)習(xí)研究能在 2017 年更上一層樓。

 本文來自：AI科技評(píng)論