大規(guī)模標(biāo)注的數(shù)據(jù)集的出現(xiàn)是深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得巨大成功的關(guān)鍵因素之一。然而監(jiān)督式學(xué)習(xí)過(guò)于依賴大規(guī)模標(biāo)注數(shù)據(jù)集，數(shù)據(jù)集的收集和人工標(biāo)注需耗費(fèi)大量的人力成本。自監(jiān)督模型解決了這一難題，它能夠從大規(guī)模未標(biāo)記數(shù)據(jù)中學(xué)習(xí)圖像特征，而無(wú)需使用任何人工標(biāo)注數(shù)據(jù)。

每個(gè)深度學(xué)習(xí)實(shí)踐者都認(rèn)同的一件事是：深度學(xué)習(xí)模型是數(shù)據(jù)低效的。

1、數(shù)據(jù)低效的深度學(xué)習(xí)模型

讓我們首先考慮計(jì)算機(jī)視覺(jué)中的主流分類任務(wù)。以 ImageNet 數(shù)據(jù)庫(kù)為例，它包含 1000 個(gè)不同類別的130 萬(wàn)張圖像，其中的每一個(gè)圖像都有人工標(biāo)注的標(biāo)簽。

ImageNet 無(wú)疑是現(xiàn)在深度學(xué)習(xí)復(fù)興的基石之一，這源于 2012 年 Krizhevsky 等人所著的論文《Imagenet Classification with Deep Convolutional Neural Networks》。

在這篇文章中， 卷積網(wǎng)絡(luò)模型首次大幅度超越了當(dāng)時(shí)最先進(jìn)的模型。它是在所有的對(duì)比模型中唯一一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的解決方案。此后，卷積神經(jīng)網(wǎng)絡(luò)變得無(wú)處不在。

在深度學(xué)習(xí)之前，研究人員一直認(rèn)為 ImageNet 挑戰(zhàn)非常困難，其主要原因是 ImageNet 數(shù)據(jù)集突出的變化性。即便只是找到能覆蓋 ImageNet 中各種犬類的手工特征就已經(jīng)很不容易。

然而，通過(guò)深度學(xué)習(xí)，我們很快意識(shí)到，大量的數(shù)據(jù)導(dǎo)致了 ImageNet 如此困難，同時(shí)實(shí)際上也是使深度學(xué)習(xí)如此有效的秘訣。

雖然如此，通過(guò)多年的深度學(xué)習(xí)研究，我們知道了大型數(shù)據(jù)庫(kù)用于訓(xùn)練精確模型的必要性已成為一個(gè)非常重要的問(wèn)題。并且需要低效的人工標(biāo)注數(shù)據(jù)成為一個(gè)更大的問(wèn)題。

而且在當(dāng)前的深度學(xué)習(xí)應(yīng)用中，數(shù)據(jù)的問(wèn)題無(wú)處不在。以 DeepMind 的 AlphaStar 模型為例。

來(lái)源：《AlphaStar : Mastering the Real-Time Strategy Game StarCraft II》

• 論文地址：https:///blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii

AlphaStar 深度學(xué)習(xí)系統(tǒng)使用監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)來(lái)操作《星際爭(zhēng)霸2》。在訓(xùn)練期間，AlphaStar 僅從游戲終端上觀看游戲畫(huà)面。DeepMind 研究人員使用可并行訓(xùn)練大量智能體的分布式策略訓(xùn)練模型。每個(gè)智能體都至少觀看過(guò) 200 年的實(shí)時(shí)《星際爭(zhēng)霸》錄像（不間斷）。通過(guò)像職業(yè)選手一樣的訓(xùn)練，AlphaStar 取得了在官方游戲服務(wù)器中的排名超過(guò)了99.8％的活躍玩家的巨大成功。

雖然其中使用了各種通用性的技術(shù)來(lái)訓(xùn)練系統(tǒng)，但成功構(gòu)建 AlphaStar（或任何其他 RL 智能體）的真正關(guān)鍵是使用了大量數(shù)據(jù)。實(shí)際上最佳的強(qiáng)化學(xué)習(xí)算法需要進(jìn)行大量試驗(yàn)才能達(dá)到人類水平，這與我們?nèi)祟惖膶W(xué)習(xí)方式正好相反。

結(jié)果，強(qiáng)化學(xué)習(xí)在具有大量可用數(shù)據(jù)的受限且定義明確的場(chǎng)景上取得了巨大成功。相關(guān)閱讀可以查看 DeepMind 《Rainbow: Combining Improvements in Deep Reinforcement Learning》這篇論文。

• 論文地址：https:///pdf/1710.02298.pdf

如果讓最好的 RL 方法玩某個(gè) Atari 游戲，它需要一共玩近100個(gè)小時(shí)（1080萬(wàn)幀），才能達(dá)到和專業(yè)人類玩家相同的表現(xiàn)水平。盡管時(shí)長(zhǎng)最近有所改進(jìn)，但100小時(shí)似乎仍然太多。

來(lái)源：《 Rainbow: Combining Improvements in Deep Reinforcement Learning》

• 論文地址：https:///pdf/1710.02298.pdf

有關(guān) AlphaStar 的更多信息，可以查看這篇文章：

• 文章地址：https://blog./blog/the-batch-google-achieves-quantum-supremacy-amazon-aims-to-sway-lawmakers-ai-predicts-basketball-plays-face-detector-preserves-privacy-1-0-0-0-0

雖然我可以給大家再舉幾個(gè)例子，但我想這兩句話足以說(shuō)明我的意思：

目前深度學(xué)習(xí)基于大規(guī)模數(shù)據(jù)，當(dāng)滿足所需環(huán)境和約束條件時(shí)，這些系統(tǒng)就會(huì)產(chǎn)出給人驚喜的結(jié)果。但在一些特殊情況下，它們也會(huì)完全失效。

讓我們回到 ImageNet 分類問(wèn)題：ImageNet 數(shù)據(jù)庫(kù)的人類識(shí)別錯(cuò)誤率約為5.1％，而目前最先進(jìn)的深度學(xué)習(xí) top-5 準(zhǔn)確性約為1.8％。

• 論文地址：https:///sota/image-classification-on-imagenet

因此我們可以完美地證明：深度學(xué)習(xí)在  ImageNet  這項(xiàng)任務(wù)上已經(jīng)比人類做的更好。但是真的是這樣嗎？

如果是這樣的話，我們?cè)趺唇忉屓缦碌膯?wèn)題呢？

來(lái)源：《 Attacking Machine Learning with Adversarial Examples》

• 論文地址：https:///blog/adversarial-example-research/

我們可以將這些在互聯(lián)網(wǎng)上非常流行的對(duì)抗樣本（adversarial examples）看作是設(shè)計(jì)用于誤導(dǎo)機(jī)器學(xué)習(xí)模型的優(yōu)化任務(wù)。相關(guān)閱讀可以查看下面這篇文章：

• 文章地址：https:///blog/adversarial-example-research/ 

這個(gè)想法很簡(jiǎn)單：

我們?nèi)绾巫尫诸惼鲗⒁郧皻w類為“熊貓”的圖像歸類為“長(zhǎng)臂猿”？

我們可以簡(jiǎn)單地認(rèn)為被精心設(shè)計(jì)的輸入樣本導(dǎo)致了 ML 模型分類錯(cuò)誤。

來(lái)源：《One Pixel Attack for Fooling Deep Neural Networks》

• 論文地址：https:///pdf/1710.08864.pdf

正如我們所見(jiàn)，優(yōu)化效果好到我們（用肉眼）無(wú)法察覺(jué)到真實(shí)圖像（左）和對(duì)抗圖像（右）之間的差異。實(shí)際上，造成分類錯(cuò)誤的噪聲不是任何類型的已知信號(hào)。相反它是經(jīng)過(guò)精心設(shè)計(jì)用于發(fā)現(xiàn)模型中的隱藏誤差。并且最近的研究表明：在某些情況我們只需要改變1個(gè)像素，就可以成功誤導(dǎo)最好的深度學(xué)習(xí)分類器，詳細(xì)討論可以查看這篇論文：

• 論文地址：https:///pdf/1710.08864.pdf

在這一點(diǎn)上，我們可以看到問(wèn)題開(kāi)始相互疊加。我們不僅需要大量樣本來(lái)學(xué)習(xí)新任務(wù)，還需要確保我們的模型學(xué)習(xí)正確的表征。

油管視頻：https://www./watch?v=piYnd_wYlT8

我們看到深度學(xué)習(xí)系統(tǒng)失敗時(shí)產(chǎn)生了一個(gè)有趣的討論：為什么 我們?nèi)祟惒粫?huì)輕易被對(duì)抗樣本誤導(dǎo)呢？

2、建立和利用先驗(yàn)知識(shí)

有的人說(shuō)當(dāng)我們需要掌握一項(xiàng)新任務(wù)時(shí)，我們實(shí)際上并沒(méi)有從頭開(kāi)始學(xué)習(xí)它。相反，我們使用了我們一生中積累的許多先驗(yàn)知識(shí)。

牛頓發(fā)現(xiàn)萬(wàn)有引力定律

我們了解重力及其含義，知道如果讓炮彈和羽毛從同一起點(diǎn)落下，由于兩個(gè)物體的空氣阻力不同，炮彈將先到達(dá)地面；知道物體不能漂浮在空中；了解有關(guān)世界運(yùn)作方式的常識(shí)。我們知道如果我們自己的父親有孩子，他或她將是自己的兄弟姐妹；知道如果我們讀了一篇文章說(shuō)某人出生于 1900 年代，那么他/她可能不再活著，因?yàn)槲覀儯ㄍㄟ^(guò)觀察世界）知道人們的壽命通常不會(huì)超過(guò) 120 歲。

我們了解事件之間的因果關(guān)系。最神奇的是我們實(shí)際上很早就學(xué)會(huì)了許多高級(jí)概念。實(shí)際上，我們僅用6~7個(gè)月就學(xué)會(huì)了重力和慣性等概念，而在這個(gè)時(shí)期我們與世界的互動(dòng)幾乎為0！

來(lái)源：《Early Conceptual Acquisition in Infants [from Emmanuel Dupoux].》， Yann LeCun講義

• 論文地址：

  https://drive.google.com/file/d/12pDCno02FJPDEBk4iGuuaj8b2rr48Hh0/view

從這種意義上講，有人可能會(huì)說(shuō)將算法性能與人類能力進(jìn)行比較是“不公平的”。

Yann LeCun 在關(guān)于自監(jiān)督學(xué)習(xí)的研究中，認(rèn)為至少有3種獲取知識(shí)的方法。

（1）通過(guò)觀察

（2）通過(guò)監(jiān)督（大部分來(lái)自家長(zhǎng)和老師）

（3）通過(guò)強(qiáng)化反饋

論文地址：https://www./epflcampus/videos/1960325127394608

人類通過(guò)生活獲得不同知識(shí)的來(lái)源。通過(guò)觀察/互動(dòng)、監(jiān)督和反饋來(lái)學(xué)習(xí)

但是如果以嬰兒為例，那么這個(gè)年齡與外界的互動(dòng)幾乎沒(méi)有。盡管如此，嬰兒還是成功建立了物理世界的直覺(jué)模型。因此像重力這樣的高級(jí)知識(shí)只能通過(guò)純粹的觀察來(lái)學(xué)習(xí)——至少，我還沒(méi)有看到任何父母教一個(gè)6個(gè)月大的嬰兒物理。

直到我們長(zhǎng)大一些掌握語(yǔ)言并開(kāi)始上學(xué)時(shí)，監(jiān)督和互動(dòng)（帶有反饋）才變得更加重要。但更重要的是，當(dāng)我們處于生命的這些階段時(shí)，我們已經(jīng)建立了一個(gè)魯棒性的模型世界。這可能是人類比當(dāng)前機(jī)器更高效處理數(shù)據(jù)的主要原因之一。

正如 LeCun 所說(shuō)，強(qiáng)化學(xué)習(xí)就像蛋糕上的櫻桃。監(jiān)督學(xué)習(xí)是錦上添花，而自監(jiān)督學(xué)習(xí)才是蛋糕！

來(lái)源：Yann LeCun（https://drive.google.com/drive/folders/0BxKBnD5y2M8NUXhZaXBCNXE4QlE）

3、自監(jiān)督學(xué)習(xí)

自監(jiān)督學(xué)習(xí)系統(tǒng)學(xué)會(huì)通過(guò)輸入的其他部分預(yù)測(cè)輸入的一部分。

—— LeCun

自監(jiān)督學(xué)習(xí)源于無(wú)監(jiān)督學(xué)習(xí)， 解決從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)語(yǔ)義特征的問(wèn)題。本文中我們最關(guān)心的是在計(jì)算機(jī)視覺(jué)領(lǐng)域的自我監(jiān)督。

通常的方法是通過(guò)設(shè)計(jì)一個(gè)“名義任務(wù)”將無(wú)監(jiān)督的問(wèn)題轉(zhuǎn)換為有監(jiān)督的任務(wù)。通常，名義任務(wù)不會(huì)有什么新的產(chǎn)出，它的目的是使網(wǎng)絡(luò)學(xué)習(xí)如何從數(shù)據(jù)中捕獲有用的特征。

名義任務(wù)與常見(jiàn)的監(jiān)督問(wèn)題有相似之處。

我們知道監(jiān)督訓(xùn)練需要標(biāo)注。轉(zhuǎn)而變成通常需要人工標(biāo)注者的不斷努力。但在許多情況下，標(biāo)注非常昂貴或無(wú)法獲得。我們也知道學(xué)習(xí)模型天生需要數(shù)據(jù)，這導(dǎo)致大規(guī)模的標(biāo)注數(shù)據(jù)集已成為學(xué)習(xí)模型進(jìn)一步發(fā)展的主要壁壘之一。

同樣，自監(jiān)督學(xué)習(xí)也需要標(biāo)注來(lái)訓(xùn)練名義任務(wù)。然而與名義任務(wù)的關(guān)鍵不同在于：用于名義任務(wù)的標(biāo)注（偽標(biāo)注）的特征是不同的。

實(shí)際上對(duì)于自監(jiān)督訓(xùn)練，偽標(biāo)簽僅來(lái)自數(shù)據(jù)特征本身。

換句話說(shuō)偽數(shù)據(jù)不需要人工標(biāo)注。確實(shí)，自我學(xué)習(xí)和監(jiān)督學(xué)習(xí)之間的主要區(qū)別在于標(biāo)注的來(lái)源。

（1）如果標(biāo)注來(lái)自標(biāo)注者（像大多數(shù)數(shù)據(jù)集一樣），則這是一項(xiàng)監(jiān)督任務(wù)。

（2）如果標(biāo)注是從數(shù)據(jù)中獲取，那么在這種情況下我們可以自動(dòng)生成它們，則這是一項(xiàng)自監(jiān)督學(xué)習(xí)。

最近的研究提出了許多名義任務(wù)。最常見(jiàn)的有：

（1）圖片旋轉(zhuǎn)（Rotation）

（2）圖像拼接（Jigsaw puzzle ）

（3）圖像著色（Image Colorization）

（4）圖像修復(fù)（Image inpainting）

（5）用 GANs 生成圖像/視頻（Image/Video Generation using GANs）

如果想要了解更多關(guān)于每個(gè) pretext 任務(wù)的介紹，可以查看《Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey》這篇論文：

• 論文地址：https:///abs/1902.06162