|
作者：微軟亞洲研究院實習(xí)生-林添 冰雪王國的浪漫，機(jī)器學(xué)習(xí)的盛宴 NIPS（Advances in Neural Information Processing Systems，神經(jīng)信息處理系統(tǒng)進(jìn)展大會）是每年 12 月由 NIPS 基金會主辦的機(jī)器學(xué)習(xí)和神經(jīng)計算領(lǐng)域的頂級會議，它由連接學(xué)派（connectionist）神經(jīng)網(wǎng)絡(luò)的學(xué)者于 1987 年在加拿大創(chuàng)辦，后來隨著影響力逐步擴(kuò)大，也曾移師美洲、歐洲等地舉辦。每年大會都吸引了機(jī)器學(xué)習(xí)、人工智能、統(tǒng)計等領(lǐng)域的眾多國際專家地參與。近年來，在工業(yè)界和科學(xué)界，神經(jīng)網(wǎng)絡(luò)構(gòu)建的深度學(xué)習(xí)方法取得了很多突破性的進(jìn)展，在計算機(jī)視覺、語音識別、自然語言處理等領(lǐng)域也出現(xiàn)了大量的創(chuàng)新應(yīng)用，NIPS 在機(jī)器學(xué)習(xí)領(lǐng)域的學(xué)術(shù)影響力變得舉足輕重。
本次 NIPS 大會在加拿大魁北克省的蒙特利爾舉行。蒙特利爾位于五大湖和圣勞倫斯河河口，是加拿大僅次于多倫多的第二大城市，同時也是加拿大的經(jīng)濟(jì)之都，擁有發(fā)達(dá)的金融、電影、設(shè)計、航空產(chǎn)業(yè)。加拿大是是冰雪的王國，得益于此，蒙特利爾最受歡迎的運(yùn)動便是冰球。這里還有很多繁華的地下城，即便是外面大雪紛飛，里面依然燈火通明。蒙特利爾更有眾多歐洲與北美風(fēng)格融合的建筑，吸引了眾多好萊塢大片來這里取景。下圖便是蒙特利爾神圣、典雅的圣母院大教堂，加拿大著名歌手席琳·迪翁的婚禮就是在此舉行。 2015 年的 NIPS 大會于 12 月 7 日至 12 月 12 日在蒙特利爾的國會會展中心舉行。大會獲得了包括微軟在內(nèi)的多家知名 IT 企業(yè)的大力贊助。今年共有 3755 名來自世界各地的研究人員注冊并參加了會議，相比去年參會人數(shù)幾乎翻倍。此次大會覆蓋的內(nèi)容除了機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)領(lǐng)域，還包括認(rèn)知科學(xué)、心理學(xué)、計算機(jī)視覺、統(tǒng)計語言學(xué)和信息論等多個領(lǐng)域。
大會日程包括教程（tutorials）、大會會議（conference sessions)、專題座談會（symposia）和研討會（workshops）四個部分。本次大會一共收到 1838 篇投稿，錄用論文 403 篇，錄取率為 21.9%，論文淘汰的數(shù)量十分龐大。在這四百多篇論文中，論文方向極其多樣化，其中占比最大為深度學(xué)習(xí)相關(guān)論文，占 403 篇錄取論文中的 11%，其次凸優(yōu)化方向占了5%、統(tǒng)計學(xué)習(xí)理論占了3%。此次大會的論文展示環(huán)節(jié)主要包括口頭報告（oral）、聚光燈（spot light）和海報（poster）三種展示形式。NIPS 是計算機(jī)領(lǐng)域少數(shù)堅持單軌制（single track）的會議，這一制度這能讓參會人員更加專注于會議報告本身，但也使得錄取論文的展示時間相對有限。因此，僅有 15 篇論文獲得了寶貴的 20 分鐘口頭報告的機(jī)會。同時，少量論文獲得了 5 分鐘時間的聚光燈展示，而剩余絕大部分的論文展示都是海報為主。 智慧激蕩的論文，引人深思的討論
本次會議由大會主席 Terrence Sejnowski 致開幕詞，常任主席 Corinna Cortes 和 Neil Lawrence 介紹了本次會議的投稿、審議標(biāo)準(zhǔn)和論文錄用等情況，這也揭開了 NIPS2015 的帷幕。本次大會的最佳論文獎頒給了“Competitive Distribution Estimation: Why is Good-Turing Good”（http://papers./paper/5762-competitive-distribution-estimation-why-is-good-turing-good.pdf）和“FastConvergence of Regularized Learning in Games”（http://papers./paper/5763-fast-convergence-of-regularized-learning-in-games.pdf）兩篇論文。 “Competitive Distribution Estimation: Why is Good-TuringGood”這篇論文屬于統(tǒng)計學(xué)習(xí)的理論研究范疇，它對估計離散變量的分布律這一普遍問題，提出了基于 Good-Turing 估計量的兩種改進(jìn)方法，借助對先驗的最優(yōu)估計量，給出了針對任意分布律的近似最優(yōu)的高效估計。論文不僅指出這兩種方法可以快速收斂，同時還給出相應(yīng)的理論分析。 “Fast Convergence of Regularized Learning in Games”這篇論文屬于博弈學(xué)習(xí)研究方向。博弈學(xué)習(xí)被廣泛研究，而該文章中指出一類正則化的學(xué)習(xí)算法可以大大改進(jìn)帶問題本身有近期偏差（更傾向于近期的回報）的結(jié)果，它甚至可以被拓展到多玩家博弈的均衡問題。論文擴(kuò)展了之前工作研究的二人零和博弈問題，指出在一類問題中如果每個玩家各自使用最優(yōu)算法將達(dá)到更快收斂速度，大大拓展了原有理論對博弈的理解。
除了獲獎?wù)撐?，大會上還有很多令人印象深刻的報告?！癐nteractive Control of Diverse Complex Characters With Neural Networks”（http://papers./paper/5764-interactive-control-of-diverse-complex-characters-with-neural-networks.pdf）文章則研究了如何借助遞歸神經(jīng)網(wǎng)絡(luò)作為運(yùn)動控制器的問題。在不進(jìn)行運(yùn)動捕捉以及任務(wù)相關(guān)的特征設(shè)計的前提下，實現(xiàn)了讓不同形態(tài)和動力系統(tǒng)機(jī)器人做出像游泳，飛行，雙足、四足行走等運(yùn)動。
“Sampling from Probabilistic Submodular Models”（http://papers./paper/5744-sampling-from-probabilistic-submodular-models.pdf），這篇文章研究了一個有趣的采樣方法。次模函數(shù)是經(jīng)常出現(xiàn)在經(jīng)濟(jì)或計算機(jī)領(lǐng)域選址、覆蓋、圖像背景分割等問題中常見的函數(shù)，它描述了邊際效益遞減的一類特性。作者針對采樣概率是次模函數(shù)的函數(shù)值問題，提出了基于吉布斯采樣的方法，不僅保證多項式時間的復(fù)雜度，且具有很好的混合時間。
此外，在專題座談會上，眾多專家、學(xué)者們還在分會場中開展了有趣而深刻的對話和討論?！拔覀冎苓叺乃惴ǎ簷C(jī)器學(xué)習(xí)的社會影響力”專題中關(guān)于機(jī)器人倫理的話題就很有意思。例如自動駕駛技術(shù)上就有一個兩難問題（Tunnel Problem）亟待解決：設(shè)想你坐在一輛自動駕駛的汽車上，沿著山路的單行線行駛，此時突然有個小孩闖入道路，來不及剎車的情況下，就會面臨兩難選擇：是徑直向前，可能直接撞死小孩；還是撞向山崖，可能掉下懸崖？換句話說，自動駕駛的汽車應(yīng)如何反應(yīng)？又由誰來決定汽車的決策方式？這一類問題的核心其實是，對于機(jī)器學(xué)習(xí)算法中存在的決策失敗概率（風(fēng)險），或者人類和機(jī)器的決策存在沖突時，我們該如何從法律、技術(shù)、道德等角度進(jìn)行約束。
觸手可及的未來 博采眾長的前行 NIPS 大會在展示了相關(guān)領(lǐng)域最新研究成果的同時，也預(yù)示了機(jī)器學(xué)習(xí)的未來的發(fā)展趨勢。 首先是神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)一步復(fù)雜化。在圖像、機(jī)器翻譯等領(lǐng)域，越來越多的研究人員開始選擇 LSTM，利用不同的感知機(jī)、目標(biāo)函數(shù)，卷積或者遞歸架構(gòu)神經(jīng)網(wǎng)絡(luò)，在實際項目中實現(xiàn)更多有意思的應(yīng)用。通過隨機(jī)方法近似(stochastic approximation)的算法也受到不少關(guān)注。 其次是自動推斷和黑盒學(xué)習(xí)技術(shù)的發(fā)展。今年大會上出現(xiàn)了不少和自動推理技術(shù)相關(guān)的論文，即通過機(jī)器自動推斷模型、預(yù)測結(jié)果。而工程領(lǐng)域的強(qiáng)勁需求也促生了更多可以快速迭代、低學(xué)習(xí)曲線的算法和系統(tǒng)，例如在本機(jī)大會上嶄露頭角的 STAN、python-autograd 等工具。 此外還有對概率推斷的再審視。本次大會和研討會中，出現(xiàn)了一些對于概率推斷新認(rèn)知的聲音。正如同期發(fā)表在《科學(xué)》雜志上的論文（http://science./content/sci/350/6266/1332.full.pdf）所呈現(xiàn)的一樣，相比深度學(xué)習(xí)對于大數(shù)據(jù)的需求，這種小樣本甚至單個樣本的模型都能得到不錯的預(yù)測結(jié)果，也促使我們重新審視人類大腦的思維和認(rèn)知方式。
對于我個人來說，這是我在 NIPS 上的第二篇論文。去年，我參與合作的以在線機(jī)器學(xué)習(xí)中組合問題的純探索策略研究方向的論文有幸在 NIPS 的進(jìn)行了口頭報告。今年，在之前的基礎(chǔ)上，我們深入研究，論文“Stochastic Online Greedy Learning with Semi-bandit Feedbacks”（https://papers./paper/5930-stochastic-online-greedy-learning-with-semi-bandit-feedbacks.pdf）被大會錄用，并受邀于 9 號晚上 7 點(diǎn)至 12 點(diǎn)進(jìn)行海報展示。這篇論文是與清華的李建老師以及微軟亞洲研究院的陳衛(wèi)老師合作，我們針對在線機(jī)器學(xué)習(xí)領(lǐng)域的組合學(xué)習(xí)策略研究，提出了一類新的模型，刻畫了貪心的學(xué)習(xí)方法在解決老虎機(jī)問題（bandit）中應(yīng)用。我們提出的模型能夠借鑒貪心算法的優(yōu)點(diǎn)，多次采樣進(jìn)行參數(shù)估計，求解該問題。
論文海報展示的過程也彌足珍貴，在國內(nèi)，我們精心制作了 2.4x1.2m 的大幅海報，并進(jìn)行了多次的展示演練。在現(xiàn)場展示過程中，我們獲得了很多教授、研究員和同學(xué)的關(guān)注和駐足聆聽。通過講解自己的研究，回答聽眾們的問題，我將自己的成果分享給了在場的聽眾，同時，我也得到了很多同行們的建議與意見。通過與相關(guān)領(lǐng)域?qū)＜覍W(xué)者的深入交流，我也迸發(fā)出了更多的新想法，與會經(jīng)歷受益匪淺。
關(guān)于作者：林添，是微軟亞洲研究院的一名實習(xí)生，也是清華大學(xué)高等研究院和微軟亞洲研究院聯(lián)合培養(yǎng)博士生，本科畢業(yè)于清華大學(xué)計算機(jī)科學(xué)實驗班，主要研究方向為機(jī)器學(xué)習(xí)和社交網(wǎng)絡(luò)分析，曾在 ICML、NIPS、EC 等發(fā)表多篇論文。 了解微軟亞洲研究院實習(xí)生項目，歡迎關(guān)注“明日之星”實習(xí)生項目介紹。更多實習(xí)機(jī)會請見：http://www./zh-cn/jobs/interns/internopenings.aspx 下載微軟研究院在此次大會所有論文：Deep learning, machine learning advancements highlight Microsoft's research at NIPS 2015 |
|
|
