來源 | new scientist、science

編譯 | 吳非

第一項(xiàng)研究來自日本御茶水女子大學(xué)的研究團(tuán)隊(duì)。最近幾年，隨著深度學(xué)習(xí)技術(shù)走上主流舞臺(tái)，人工智能在圖像識(shí)別領(lǐng)域已經(jīng)取得了引人矚目的進(jìn)展。在此之前，研究人員已經(jīng)通過監(jiān)測大腦活動(dòng)，再現(xiàn)了電影片段、照片、夢(mèng)境的圖像。但這些研究能處理的圖像類型較為單一，或是只能從已經(jīng)學(xué)習(xí)的圖像庫中進(jìn)行選擇。

御茶水女子大學(xué)的研究人員介紹道，他們的AI系統(tǒng)需要解決兩大難題：首先，系統(tǒng)看不見圖片本身，它需要從受試者的大腦信號(hào)中讀出其眼中的畫面；隨后，它需要將圖中的元素組成合乎邏輯的語句。

當(dāng)受試者在觀察某幅圖片時(shí)，大腦中產(chǎn)生相應(yīng)的神經(jīng)活動(dòng)，而腦部血液流動(dòng)恰好能間接記錄下這些神經(jīng)活動(dòng)。研究人員使用fMRI掃描受試者腦部，測量血液流動(dòng)情況，從而實(shí)現(xiàn)對(duì)大腦活動(dòng)的實(shí)時(shí)監(jiān)控。

這套AI系統(tǒng)需要通過兩個(gè)步驟對(duì)受試者眼中的圖像進(jìn)行復(fù)原：首先是找出畫面中的所有元素，例如“一個(gè)男人”、“沖浪板”、“海洋”；隨后，AI需將這些元素組成語句，以前半句的元素為例，構(gòu)成“一個(gè)男人站在沖浪板上，在海里沖浪”這樣的畫面。

這兩個(gè)步驟的實(shí)現(xiàn)，都離不開AI算法的核心：深度神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)需要通過大量的訓(xùn)練，以提升圖像識(shí)別能力。例如，谷歌的圖像識(shí)別技術(shù)之所以能迅速步入商業(yè)化階段，一個(gè)重要原因就是它動(dòng)用了3億張圖片進(jìn)行學(xué)習(xí)。

但在本文的情境中，大量數(shù)據(jù)的訓(xùn)練難以實(shí)現(xiàn)：fMRI過于昂貴，這使得研究人員難以獲得動(dòng)輒數(shù)十萬份的掃描數(shù)據(jù)。

研究團(tuán)隊(duì)的對(duì)策是應(yīng)用預(yù)先訓(xùn)練好的圖像標(biāo)注網(wǎng)絡(luò)，對(duì)圖像特征與腦部活動(dòng)之間的關(guān)系進(jìn)行訓(xùn)練。此外，由于人眼常常同時(shí)捕捉到畫面中的不同元素，因此AI需要從完整的fMRI數(shù)據(jù)中分離出不同的元素，將特定的腦部活動(dòng)與特定元素對(duì)應(yīng)起來。相比之下，實(shí)現(xiàn)特征分離的難度較低，因此所需數(shù)據(jù)較少。

這套AI系統(tǒng)識(shí)別圖片的能力究竟如何？研究者在論文中通過6組圖片進(jìn)行了測試。

結(jié)果，AI判斷正確的有三組，分別是：“一個(gè)男人在球場上用網(wǎng)球拍打網(wǎng)球”、“一群人站在一起”以及“一只斑點(diǎn)狗躺在地上”。

此外，AI在另外三組圖片的判斷上出現(xiàn)了一些偏差：對(duì)于“一個(gè)男人在河里劃皮劃艇”，AI猜成了“一個(gè)男人站在沖浪板上，在海中沖浪”，水上運(yùn)動(dòng)是猜出來了，但背景也完全被替換了；對(duì)于“一只鐘的特寫”，AI給出的答案是“一只剪刀坐在地上”，可能是因?yàn)闀r(shí)鐘指針岔開的樣子確實(shí)有點(diǎn)像是剪刀；而最后一組圖片“一座在樹旁的橋”，被AI識(shí)別成了“一列火車在樹旁的鐵軌上行駛”。

通過這些案例可以看出，研究團(tuán)隊(duì)開發(fā)的這套系統(tǒng)在圖片識(shí)別上頗有建樹，但顯然，對(duì)于相似的元素，它常常難以區(qū)分。對(duì)于AI的圖片識(shí)別最終能達(dá)到何等水平，倫敦大學(xué)學(xué)院的Geraint Rees表示：“顯然，當(dāng)人們看見圖片時(shí)，大腦中形成的信息足以建立起他們眼中的景象。”然而，有些人擔(dān)心的是，fMRI只能對(duì)大腦中的活動(dòng)“截屏”，但無法將腦中所有的信息一條不漏地記下。這意味著在用這套系統(tǒng)提取大腦信息時(shí)，信息的數(shù)量可能會(huì)受到限制。

英劇《黑鏡》第四季第三集，講述一種保險(xiǎn)公司獲得事故目擊者對(duì)事故的記憶的技術(shù)。

而在另一項(xiàng)研究中，日本京都大學(xué)的Yukiyasu Kamitani帶領(lǐng)團(tuán)隊(duì)研發(fā)的AI系統(tǒng)，希望通過另一種方式竊取你眼中的世界：同樣是應(yīng)用fMRI數(shù)據(jù)，這套AI系統(tǒng)甚至能直接再現(xiàn)你看見的圖像。

多數(shù)神經(jīng)網(wǎng)絡(luò)通過兩個(gè)步驟來實(shí)現(xiàn)對(duì)人腦信號(hào)的圖像識(shí)別：首先是將大腦掃描的信號(hào)轉(zhuǎn)換成算法可以理解的數(shù)據(jù)，隨后通過這些數(shù)據(jù)重建受試者眼前的圖像，或是確定他在看什么。前文介紹的研究，正是通過這兩個(gè)步驟來實(shí)現(xiàn)轉(zhuǎn)換。

不過，這種方法存在一個(gè)問題：在有些情況下，圖片特征沒法和腦部活動(dòng)直接對(duì)應(yīng)起來。這項(xiàng)研究的第一作者，日本國際電氣通信基礎(chǔ)技術(shù)研究所的Guohua Shen介紹道，為了避免該問題，他們開發(fā)了一套一步到位的系統(tǒng)：fMRI測出大腦活動(dòng)后，繞過中間的轉(zhuǎn)換步驟，直接通過腦部活動(dòng)重建受試者眼中的圖像。通過這種算法，系統(tǒng)甚至可以重現(xiàn)那些沒親眼見過、想象出來的畫面。

研究人員表示，他們用6000幅圖片以及相對(duì)應(yīng)的fMRI數(shù)據(jù)對(duì)該系統(tǒng)進(jìn)行了訓(xùn)練，而谷歌的圖像識(shí)別系統(tǒng)則是動(dòng)用了多達(dá)3億張圖片。獲取上億條fMRI的數(shù)據(jù)將十分昂貴，但如能增加系統(tǒng)學(xué)習(xí)的圖片數(shù)量，其圖像識(shí)別效果將取得巨大提升。

為了測試該系統(tǒng)的實(shí)際效果，研究團(tuán)隊(duì)選取了8張圖片，既有金魚、貓頭鷹等常見的動(dòng)物，也有飛機(jī)、郵筒等人造物體，甚至還包括教堂的彩色玻璃。測試結(jié)果如下方圖片及視頻所示，AI重構(gòu)的圖形像素與實(shí)際圖形的形狀相近，但顏色及細(xì)節(jié)有較多丟失，使得呈現(xiàn)出的圖像仍較為模糊。

AI系統(tǒng)重建圖像的過程。遮住左側(cè)，你能猜出右側(cè)是什么嗎？