播放GIF

上周，“微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會(huì)”在微軟大廈舉行。來(lái)自國(guó)內(nèi)外計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)W術(shù)界、工業(yè)界的優(yōu)秀代表們攜各自在CVPR 2017發(fā)表的最新研究和技術(shù)觀點(diǎn)進(jìn)行了分享，交流。而在此次活動(dòng)上由微軟亞洲研究院主管研究員羅翀主持的圓桌討論環(huán)節(jié)中，五位計(jì)算機(jī)視覺(jué)領(lǐng)域的資深專家就目前計(jì)算機(jī)視覺(jué)領(lǐng)域研究中的熱門問(wèn)題給出了各自的見(jiàn)解。他們分別是：

● 陳熙霖，中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員

● 王蘊(yùn)紅，北京航空航天大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng)

● 曾文軍，微軟亞洲研究院首席研究員

● 林宙辰，北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授

● 齊國(guó)君，美國(guó)中佛羅里達(dá)大學(xué)計(jì)算機(jī)系助理教授

下面我們就來(lái)與大家分享一下?。▋?nèi)容略有精簡(jiǎn)）

從左至右：陳熙霖、王蘊(yùn)紅、曾文軍、林宙辰、齊國(guó)君

問(wèn)題一：近兩年深度學(xué)習(xí)十分火熱，對(duì)于計(jì)算機(jī)視覺(jué)領(lǐng)域的沖擊也很大，很多經(jīng)典問(wèn)題借助深度學(xué)習(xí)的方法都有了很大的提升。大家覺(jué)得深度學(xué)習(xí)的出現(xiàn)是否會(huì)對(duì)學(xué)生掌握計(jì)算機(jī)視覺(jué)的經(jīng)典知識(shí)帶來(lái)影響？

陳熙霖：如果用深度學(xué)習(xí)簡(jiǎn)單地應(yīng)對(duì)當(dāng)前問(wèn)題，或者是數(shù)據(jù)，也許是一個(gè)辦法。但計(jì)算機(jī)視覺(jué)其實(shí)是一個(gè)很寬泛的領(lǐng)域，很多問(wèn)題是風(fēng)馬牛不相及的，有些問(wèn)題可能用深度學(xué)習(xí)確實(shí)很有效，但有些問(wèn)題卻不一定會(huì)得到結(jié)論。比如，按現(xiàn)在經(jīng)常用的識(shí)別率來(lái)度量，可能效果不錯(cuò)，但事實(shí)上，運(yùn)用深度學(xué)習(xí)時(shí)如果不能很好的考慮問(wèn)題的背景的話，那么很可能永遠(yuǎn)都達(dá)不到最終的目的。

陳熙霖，中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員

另外從教育來(lái)講，我們要讓學(xué)生掌握更多的知識(shí)，不能單純的用一個(gè)工具來(lái)代替一個(gè)領(lǐng)域。比如計(jì)算機(jī)視覺(jué)里面，現(xiàn)在可能很多人都不太關(guān)注幾何、光學(xué)等知識(shí)，但其實(shí)很多重要的論文，仍然在做這方面的工作。因此，教育不可以偏廢。在過(guò)去這么多年當(dāng)中，我們看到一波又一波的浪潮，一個(gè)又一個(gè)的新工具，如果作為練習(xí)這沒(méi)有錯(cuò)，但作為一個(gè)長(zhǎng)期的研究者來(lái)講，我覺(jué)得還需要思考。

王蘊(yùn)紅：作為研究者，我們應(yīng)該具備很多素質(zhì)。首先就是，研究問(wèn)題的本質(zhì)是什么。比如計(jì)算機(jī)視覺(jué)到現(xiàn)在依然有很多問(wèn)題還沒(méi)有克服。我們不能否認(rèn)深度學(xué)習(xí)是一個(gè)好工具，在以識(shí)別率為度量標(biāo)準(zhǔn)的前提下，它取得了一些成功，但有很多問(wèn)題依然沒(méi)有得到解決。

還有一點(diǎn)，用簡(jiǎn)單工具來(lái)解決問(wèn)題時(shí)，我們可能需要可以熟練使用軟件的技術(shù)人員。而研究人員在解決問(wèn)題時(shí)，不應(yīng)該把自己當(dāng)成一個(gè)調(diào)參的工具，整個(gè)博士生涯中我們學(xué)到的是發(fā)現(xiàn)問(wèn)題和解決問(wèn)題的能力。在這個(gè)時(shí)候我們依然要關(guān)注到問(wèn)題的本身是什么，怎么樣才能夠解決問(wèn)題。所以任何一個(gè)工具都不是經(jīng)久不衰的，但解決問(wèn)題是經(jīng)久不衰的，所以我們應(yīng)該更多關(guān)注的是能力的培養(yǎng)。

王蘊(yùn)紅，北京航空航天大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng)

林宙辰：前幾年大家都非常關(guān)注深度學(xué)習(xí)，但近兩年我又看到了一個(gè)趨勢(shì)，那就是深度學(xué)習(xí)和傳統(tǒng)方法的結(jié)合。這個(gè)結(jié)合有兩個(gè)方面，一個(gè)是在小數(shù)據(jù)方面，深度學(xué)習(xí)并不具有非常強(qiáng)的優(yōu)勢(shì)，但由于不是所有場(chǎng)合都有大量的數(shù)據(jù)，所以在很多問(wèn)題上，我們還是要掌握傳統(tǒng)方法。

其次作為研究者來(lái)說(shuō)，如果大家都會(huì)深度學(xué)習(xí)，那么你要怎么超過(guò)別人？當(dāng)大家都處在一個(gè)起跑線的時(shí)候，你的專業(yè)知識(shí)（Domain Knowledge）就會(huì)起作用。所以我不太擔(dān)心深度學(xué)習(xí)會(huì)完全替代掉傳統(tǒng)方法，而將會(huì)以另外一種方式，比如，做更大的系統(tǒng)可以集成更多的東西。因?yàn)橛?jì)算能力的增強(qiáng)，問(wèn)題復(fù)雜性的增高，簡(jiǎn)單的模型可能就做得不夠好，所以系統(tǒng)越來(lái)越復(fù)雜是未來(lái)必然的趨勢(shì)。

總結(jié)：雖然現(xiàn)在深度學(xué)習(xí)非常好用，但我們也不能為結(jié)果論，不能丟棄傳統(tǒng)的知識(shí)，最終可能還是需要領(lǐng)域內(nèi)的知識(shí)和深度學(xué)習(xí)一起去發(fā)揮最大的作用。

問(wèn)題二：關(guān)于arXiv各位有什么樣的觀點(diǎn)，它到底對(duì)于領(lǐng)域的發(fā)展是好事還是壞事？

曾文軍：arXiv開(kāi)始變得流行是因?yàn)樗幸粋€(gè)平臺(tái)，可以讓大家更快、更好地去交流一些想法，所以從推進(jìn)學(xué)術(shù)界發(fā)展的角度來(lái)說(shuō)，它的確起到了相應(yīng)的作用。最近的一些爭(zhēng)議主要是圍繞著它沒(méi)有正規(guī)的流程導(dǎo)致論文質(zhì)量可會(huì)受到影響這方面在討論。但其實(shí)arXiv更像是一個(gè)公眾發(fā)起的平臺(tái)，所以這種現(xiàn)象我覺(jué)得也是可以理解的。

曾文軍，微軟亞洲研究院首席研究員

齊國(guó)君：arXiv作為一種新的發(fā)表形式，和傳統(tǒng)形式相比，我覺(jué)得它是可運(yùn)行的。我們可以把傳統(tǒng)的發(fā)表方式理解成傳統(tǒng)的掌握話語(yǔ)權(quán)的媒體，它們有一個(gè)自上而下的評(píng)審機(jī)制。而arXiv更像是社交媒體，它把話語(yǔ)權(quán)給到了每一個(gè)研究者，每個(gè)研究者在這個(gè)平臺(tái)上都可以自由發(fā)言。它的好處是作為“社交媒體”，大家可以很平等的去交流，意見(jiàn)只要好，就絕不會(huì)被淹沒(méi)。但另一方面，也因?yàn)闆](méi)有一個(gè)評(píng)審機(jī)制，有的發(fā)言不是那么正確，這時(shí)候?qū)τ诓煌瑢哟蔚难芯空叩挠绊懢蜁?huì)不一樣。比如一個(gè)新入行的學(xué)生，他可能就分不清楚哪些研究方法或者研究思路是正確的，會(huì)比較容易受到干擾。因此，arXiv的出現(xiàn)，既有好處，也有壞處。

林宙辰：arXiv在學(xué)術(shù)交流方面絕對(duì)有正面的作用，但關(guān)鍵在于我們?nèi)绾蝸?lái)使用它。如果論文在沒(méi)有正式被接收之前就去公開(kāi)宣稱你擁有某個(gè)新的理論或方法，那么這就不是一個(gè)非常正確的做法，大家不要隨便去占坑。

總結(jié)： 大牛們對(duì)arXiv的總體評(píng)價(jià)還是比較正面的，但是需要引起大家注意的就是在arXiv上發(fā)表成果時(shí)，不要把它作為占坑的工具，更多的是要把它作為學(xué)術(shù)交流的工具。而作為去看arXiv的讀者，大家也需要提高自己的甄別能力，防止被誤導(dǎo)。

問(wèn)題三：現(xiàn)在大量的實(shí)驗(yàn)和實(shí)踐應(yīng)用中，深度學(xué)習(xí)都表現(xiàn)出了非常強(qiáng)的學(xué)習(xí)能力。但是它也有受限的的地方，比如需要大量的訓(xùn)練樣本。而AlphaGo的成功在于，它不但之前學(xué)了很多棋譜，還用了強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)在圍棋和游戲當(dāng)中可以設(shè)計(jì)很好的強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)。那么在視覺(jué)領(lǐng)域，我們應(yīng)該怎么來(lái)設(shè)計(jì)一個(gè)真正可行的獎(jiǎng)勵(lì)函數(shù)，來(lái)解決物體的檢測(cè)、分割、視頻捕捉等等工作？

陳熙霖：當(dāng)我們想拿計(jì)算機(jī)視覺(jué)解決問(wèn)題時(shí)，我們只解決了Where和What，而解決不了How和Why。但當(dāng)我們要做類似Visual QA的時(shí)候就要解決這些問(wèn)題。所以剛才講視覺(jué)可不可以自己做一個(gè)反饋，做一個(gè)循環(huán)（loop）？我個(gè)人認(rèn)為大多數(shù)問(wèn)題是不可以的。如果要想拿視覺(jué)做一個(gè)類似于AlphaGo的評(píng)價(jià)函數(shù)，那么它不是單獨(dú)視覺(jué)能解決的，而是需要把視覺(jué)能力的評(píng)估 （Assessment）融入到一個(gè)智能系統(tǒng)中，然后由這個(gè)系統(tǒng)給出獎(jiǎng)勵(lì)或懲罰，甚至于給一個(gè)群體之間的反饋。這樣的評(píng)價(jià)函數(shù)是可以做的，但它不是單獨(dú)來(lái)自于計(jì)算機(jī)視覺(jué)的。

齊國(guó)君：視覺(jué)絕對(duì)不是一個(gè)單一的系統(tǒng)，AlphaGo的增強(qiáng)學(xué)習(xí)是根據(jù)已有的訓(xùn)練樣本，進(jìn)行建模，挖掘價(jià)值信息，并且它可以以當(dāng)前學(xué)習(xí)的狀態(tài)去生成一些新的數(shù)據(jù)，通過(guò)評(píng)價(jià)函數(shù)學(xué)習(xí)新的信息。但視覺(jué)中沒(méi)有單獨(dú)的訓(xùn)練數(shù)據(jù)，沒(méi)有辦法探索新的信息。所以就無(wú)法用類似于增強(qiáng)學(xué)習(xí)的方法去做。

但現(xiàn)在有一種思路，就是邊學(xué)習(xí)邊生成一些樣本，比如借助于GAN等或者游戲的方法。我們可以在游戲世界中操縱人，通過(guò)探索游戲里新的視覺(jué)信息、視覺(jué)信號(hào)，來(lái)學(xué)習(xí)新的信息，從而形成閉環(huán)。

曾文軍：大家可能知道，微軟亞洲研究院機(jī)器學(xué)習(xí)組去年有一個(gè)工作，叫對(duì)偶學(xué)習(xí)，它的想法也是想形成一個(gè)閉環(huán)。以翻譯為例，假設(shè)我們有一個(gè)英文的句子 X，通過(guò)翻譯模型 F 的作用，得到一個(gè)中文句子 Y。那么 Y 作為一個(gè)中文句子是不是符合語(yǔ)法，是不是順暢，X 到 Y 之間的關(guān)系是否和英漢詞典一致等等，都可以作為反饋信息。同樣，當(dāng)我們用模型 G 把 Y 再變成英文句子 X'以后，也可以去衡量 X'，并作為反饋信息。利用這些反饋信息，我們可以使用包括 Policy Gradient 在內(nèi)的方法，來(lái)一輪一輪地更新模型，直到最終得到兩個(gè)滿意的模型，這個(gè)過(guò)程就形成了閉環(huán)。

王蘊(yùn)紅：不是所有的問(wèn)題都可以做成有監(jiān)督的，也不是所有的有監(jiān)督系統(tǒng)就一定能夠有幫助。深度學(xué)習(xí)是有邊界的，視覺(jué)也是有邊界的，這也為我們探索的空間提供了很多其他的道路。

問(wèn)題四：華人在CVPR 2017中的表現(xiàn)非常卓越。所以請(qǐng)問(wèn)各位教授，這個(gè)現(xiàn)象能夠給我們帶來(lái)什么啟發(fā)，或者是警示？

王蘊(yùn)紅：被頂級(jí)學(xué)術(shù)會(huì)議接受論文對(duì)于年輕的研究者來(lái)說(shuō)是非常好的肯定，但大家不要把它看得過(guò)重，因?yàn)楸唤邮懿⒉荒艽砟愕难芯抗ぷ魇峭耆?dú)一無(wú)二，可以影響整個(gè)領(lǐng)域、甚至技術(shù)發(fā)展的。我們應(yīng)當(dāng)關(guān)注我們做了什么有價(jià)值的工作。

曾文軍：其實(shí)真正好的工作最終是看有什么影響。微軟也一樣，我們現(xiàn)在在評(píng)估的時(shí)候看的都是影響，而不是有多少篇論文。

林宙辰：我覺(jué)得更重要的是要在學(xué)術(shù)界有一個(gè)引導(dǎo)的作用?，F(xiàn)在國(guó)內(nèi)的研究者都是在發(fā)論文，但是在制定領(lǐng)域的規(guī)則方面，還沒(méi)有起到非常大的作用。所以我覺(jué)得大家還是要多參與交流，多發(fā)聲，比如規(guī)則有什么不合理的地方，怎么改進(jìn)會(huì)更加合理，怎么讓研究更加有效、有生命力，甚至參與組織改變的過(guò)程。

林宙辰，北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授

齊國(guó)君：如果你在組織中有更大的話語(yǔ)權(quán)，那么就可以更有效地推廣你的研究工作。比如ImageNet就是通過(guò)使用組織的力量把它推廣開(kāi)來(lái)的。所以我們需要做的是參與這些組織的活動(dòng)，積極地在這個(gè)組織中為大家發(fā)聲。

另外，的確現(xiàn)在華人發(fā)表的論文越來(lái)越多，但還是缺乏有顛覆性的研究工作。因?yàn)轭嵏残缘难芯繒?huì)比我們的論文在一個(gè)學(xué)術(shù)大會(huì)上的占有率重要的多。

齊國(guó)君，美國(guó)中佛羅里達(dá)大學(xué)計(jì)算機(jī)系助理教授

問(wèn)題五：剛才各位的分享，都關(guān)注了我們作為計(jì)算機(jī)社群的一分子，怎么能夠讓這個(gè)社群往更加健康的方向發(fā)展。但現(xiàn)在大家也有這樣一個(gè)憂慮就是，現(xiàn)在深度學(xué)習(xí)、機(jī)器學(xué)習(xí)在解決計(jì)算機(jī)視覺(jué)的時(shí)候顯得非常有效，是不是長(zhǎng)此以往計(jì)算機(jī)視覺(jué)就會(huì)成為機(jī)器學(xué)習(xí)的一個(gè)應(yīng)用，我們這個(gè)社群到底應(yīng)該怎么樣獨(dú)立的、有尊嚴(yán)的向前發(fā)展？

陳熙霖：過(guò)去，因?yàn)闆](méi)有辦法做真正的視覺(jué)，我們把它分成了若干個(gè)碎片（細(xì)分），然后說(shuō)這是計(jì)算機(jī)視覺(jué)。今天，在每一個(gè)碎片上，似乎深度學(xué)習(xí)取得了成功，但當(dāng)我們把這些碎片拼回去時(shí)，試問(wèn)深度學(xué)習(xí)是不是還能實(shí)際解決問(wèn)題？我的觀點(diǎn)是，可能就不能了。所以這恰恰給了我們一個(gè)機(jī)會(huì)，去真正研究計(jì)算機(jī)視覺(jué)，而不再是在打破的碎片上研究計(jì)算機(jī)視覺(jué)了。

王蘊(yùn)紅：計(jì)算機(jī)視覺(jué)的傳統(tǒng)問(wèn)題依然存在，機(jī)器學(xué)習(xí)只解決了一部分，但是有很多問(wèn)題還依然沒(méi)有解決。在過(guò)去每一段時(shí)間計(jì)算機(jī)視覺(jué)都有一個(gè)發(fā)展，而每一段發(fā)展都有它非常有利的一面，但是到現(xiàn)在，我們需要探索的問(wèn)題還有很多。機(jī)器學(xué)習(xí)所能夠做的，也是一個(gè)范圍之內(nèi)的事情。

曾文軍：剛才也說(shuō)了，現(xiàn)在深度學(xué)習(xí)做的好的，都是比較細(xì)碎的東西。但真正往下做更高層次的東西，包括實(shí)際應(yīng)用上的，可能更多的是視頻數(shù)據(jù)。我們感興趣的不僅僅是人，而是要知道這個(gè)人的行為，他的動(dòng)作，發(fā)生了什么事情，以及一些交互，從時(shí)序上其實(shí)是有很長(zhǎng)延續(xù)性的東西。而這些東西現(xiàn)在深度學(xué)習(xí)還沒(méi)有做得很好，我們看到的也是比較局部的，一旦需要用到邏輯方面的東西，深度學(xué)習(xí)現(xiàn)在很難結(jié)合進(jìn)來(lái)。

所以僅靠現(xiàn)有的深度學(xué)習(xí)，很多東西是解釋不了的。如果是更復(fù)雜的系統(tǒng)，用黑盒去解決它還是有很大難度的。因此，傳統(tǒng)的自上而下方法加上知識(shí)圖譜，再加上一些邏輯上的內(nèi)容，這些都滿足了，可能才能真正解決實(shí)際的問(wèn)題。

林宙辰：機(jī)器學(xué)習(xí)一般都不關(guān)心特征是怎么來(lái)的，但是計(jì)算機(jī)視覺(jué)里面剛好有這么一個(gè)部分是關(guān)于Feature是怎么獲得的。很多這方面的問(wèn)題并不是機(jī)器學(xué)習(xí)能夠解決的，而且深度學(xué)習(xí)并不是唯一的機(jī)器學(xué)習(xí)方法，在此之前，很多方法都在計(jì)算機(jī)視覺(jué)里有應(yīng)用。

而且有很多地方，計(jì)算機(jī)視覺(jué)會(huì)有它的獨(dú)特之處。像立體視覺(jué)就需要基于一定的物理模型，所以我們不是簡(jiǎn)單地做一些端到端的東西就可以了。這兩個(gè)領(lǐng)域的融合是“自古以來(lái)”就有的，并不是新產(chǎn)生的現(xiàn)象。

齊國(guó)君：其實(shí)機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)這兩個(gè)領(lǐng)域應(yīng)該是相互依存的關(guān)系，而不是競(jìng)爭(zhēng)的關(guān)系。機(jī)器學(xué)習(xí)在很多領(lǐng)域都有應(yīng)用，但我覺(jué)得其中最成功、最有影響力的應(yīng)用還是在計(jì)算機(jī)視覺(jué)，包括一系列的方法，比如深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)，這是一個(gè)純粹的視覺(jué)問(wèn)題，后來(lái)才引申出一系列新的應(yīng)用領(lǐng)域。

如果沒(méi)有計(jì)算機(jī)視覺(jué)中的具體問(wèn)題，機(jī)器學(xué)習(xí)作為一個(gè)純粹的研究，可能就退化成統(tǒng)計(jì)問(wèn)題了。但正因?yàn)橛袑?shí)際問(wèn)題，提出了一些困難和需求，才促進(jìn)了機(jī)器學(xué)習(xí)的研究。所以我覺(jué)得機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)還是彼此相互依存、相互促進(jìn)的關(guān)系，而不是對(duì)立的競(jìng)爭(zhēng)關(guān)系。

更多“微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會(huì)”的精彩內(nèi)容，請(qǐng)點(diǎn)擊【閱讀原文】或復(fù)制以下網(wǎng)址至瀏覽器觀看直播回放：

你也許還想看：