計算機視覺研究人員發(fā)現(xiàn)了一個隱藏的視覺信號世界，其中包括一些違背某些常理的微妙運動，以及模糊圖像。2012年在西班牙海岸度假的計算機視覺科學(xué)家安東尼奧·托拉爾巴注意到酒店房間墻上出現(xiàn)了一些沒有被任何東西投射過的影子。托拉爾巴最終意識到，墻上那些褪色斑點不是陰影，而是窗外天井的倒置影像。窗戶就像一個針孔照相機，光線通過一個小開口，在另一邊形成一個倒立的圖像。

陰影邊緣可以顯示出隱藏物體的形狀，圖片：Rune Fisker for Quanta Magazine

博科園-科學(xué)科普：在灑滿陽光的墻壁上，人們幾乎察覺不到由此產(chǎn)生的圖像。但托拉爾巴震驚地發(fā)現(xiàn)，這個世界充滿了肉眼看不到的視覺信息，這些圖像每分每秒都潛藏在我們身邊。這次經(jīng)歷讓他和麻省理工學(xué)院教授比爾·弗里曼意識到無處不在的“意外攝像頭”——窗戶、角落、室內(nèi)植物和其他常見物體。這些物體會對周圍環(huán)境產(chǎn)生微妙影像，產(chǎn)生的圖像亮度是其他圖像的1000倍，通常情況下，肉眼無法察覺到。弗里曼解釋說：我們已經(jīng)找到了將這些圖像提取出來并使其可見的方法。

在一篇論文中，弗里曼和托拉爾巴展示了房間墻壁上不斷變化的光線通過處理后可以揭示出窗外的場景。去年他們宣稱可以通過拍攝拐角附近的地面來觀察拐角另一邊移動的人。今年夏天拍攝了室內(nèi)植物，然后通過植物葉子投下的不同陰影重建出房間三維圖像。一位男士說：瑪麗有一只小羊羔……這是由科學(xué)家在2014年通過隔音窗拍攝空芯片袋運動重建的音頻。

圖一：安東尼奧·托拉爾巴在旅館房間外面的天井發(fā)現(xiàn)窗戶就像一個針孔照相機。圖二：墻壁上天井的暗淡圖像。圖三：用紙板覆蓋大部分窗戶來銳化圖像。圖四：減小針孔的尺寸，倒置圖像。圖五：圖像顯示外面的場景。圖片：Antonio Torralba and William T. Freeman 

2012年麻省理工學(xué)院拉梅什·拉斯卡爾領(lǐng)導(dǎo)一個獨立研究小組利用托拉爾巴和弗里曼的研究開展了在拐角處觀察和推斷不能看到的信息的研究，這一研究被稱為“非視線成像”。2016年美國國防高級研究計劃署啟動了價值2700萬美元的REVEAL項目，為全國各地的一些新生實驗室提供資金，從而革命性地提高光線可見度。從那時起，一系列新見解和數(shù)學(xué)技巧讓非視距成像變得更加強大和實用。

除了將這一研究運用于軍事和間諜外，研究人員還將其運用到自駕車、機器人視覺、醫(yī)學(xué)成像、天文學(xué)、太空探索和搜救任務(wù)中。托拉爾巴和弗里曼開始研究時沒有任何其他想法。僅僅只是鉆研圖像如何形成以及相機組成等基礎(chǔ)知識。實驗自然而然地進入到了解光的行為以及它與我們環(huán)境中的物體和表面如何相互作用這一全面的過程。托拉爾巴指出，心理學(xué)研究表明，人類實在是很難解釋陰影?；蛟S其中一個原因是肉眼所見的很多東西并不是真正的陰影，眼睛自動放棄去嘗試了解它。

1、偶然的相機

在我們的視野之外，攜帶世界影像的光線不斷射向墻壁和其他物體表面，而后反射回眼睛之中。但為什么這些視覺漏區(qū)如此微弱呢？答案是太多光線在不同方向傳播，因此變得比較微弱。光線需要極大限制地落在物體表面才能形成一幅圖像，以便人眼能看到其中特定的一組光線，這就是針孔相機的工作原理。托拉爾巴和弗里曼在2012年最初的見解是：環(huán)境中有許多物體會自然地限制光線形成微弱的圖像，但計算機足以探測到它。

針孔相機的孔徑越小，形成圖像就越清晰，因為被成像物體上的每個點只會發(fā)射具有正確角度的單一光線。托拉爾巴酒店房間的窗戶太大，因而無法產(chǎn)生清晰圖像。然而他們意識到，任何阻光小物體組成的“反針孔”相機都會在整個地方形成圖像。想象一下，你正通過窗簾的縫隙拍攝房子內(nèi)部；突然，一只手臂闖入你的視野之中。當(dāng)手臂出現(xiàn)或消失時，墻壁上的光線強度也會隨之變化，比較兩幅圖像的不同就能獲得一定的場景信息。

比爾·弗里曼(左)和安東尼奧·托拉爾巴是計算機視覺科學(xué)家和麻省理工學(xué)院的合作者。圖片：Lillie Paquette / MIT School of Engineering

在第一個視頻畫面中，一組射向墻壁的光線會被手臂短暫阻擋。弗里曼說：通過從第一幅圖像中減去第二幅圖像中的數(shù)據(jù)，胳膊擋住的信息就能夠被提取出來，成為房間的部分信息。如果去觀察那些阻擋光線的物體，以及光線進入的物體，就可以擴大找到針孔狀圖像的范圍。隨著accidental-camera在小強度變化的情況下進行工作，弗里曼和同事們還設(shè)計了算法檢測和放大微妙的顏色變化。這一算法很容易發(fā)現(xiàn)細微的運動，但這些運動通常會被噪聲掩蓋。

于是采用數(shù)學(xué)方法把圖像轉(zhuǎn)換成正弦波的構(gòu)型，采用此方法后，在變換后的空間中，信號不再受到噪聲控制。正弦波代表了許多像素上的平均值，噪聲很容易分散在這些像素之間。因此研究人員可以檢測正弦波的位置從一個視頻序列的一幀到下一幀的變化，放大這些變化，然后就可以數(shù)據(jù)轉(zhuǎn)換回來。他們現(xiàn)在開始結(jié)合這些技巧來獲取隱藏的視覺信息。去年10月弗里曼的研究生凱蒂·布曼領(lǐng)導(dǎo)的一項研究表明，建筑物各個角落就像照相機一樣，能夠粗略地描繪出拐角處的景象。

圖一：通過在角落附近的地面上拍攝陰影半影，就有可能獲得角落附近物體的信息。圖二：當(dāng)隱西藏域內(nèi)物體移動時，它們投射到半影上的光線會相對于墻壁掃過不同的角度。這些細微的強度和顏色變化肉眼通常無法看到。圖三：光線從半影的不同角度投射出來的原始視頻顯示有一個人在移動。圖四：兩個人移動。圖五：拐角處的景象。圖片：Antonio Torralba and William T. Freeman et al.

像針孔一樣，邊緣和角落限制了光線通過。布曼利用傳統(tǒng)的錄音設(shè)備，在陽光之下，拍攝了建筑角落的“半影”：由隱藏在角落里的光線所照亮陰影區(qū)域。當(dāng)穿紅襯衫的人走過那里時，襯衫會向半影投射出少量紅光，當(dāng)這個人離開時，紅光會掃過半影，經(jīng)過實驗處理后這些變化就會暴露無疑。在6月報道的開創(chuàng)性工作中，費里曼和同事從墻邊一棵綠葉植物的陰影中重建了一個房間的“光場”——一幅光線強度和光線方向的圖片。這些樹葉就像微粒相機一樣，每片樹葉都能阻擋不同光線。

將每片樹葉的陰影與其他部分進行對比，就會發(fā)現(xiàn)缺失光線，從而尋覓到隱藏場景中的一部分圖像。考慮到視覺誤差，研究人員將這些圖像拼接在一起。這種光場方法產(chǎn)生的圖像遠比早期相機成像清晰。已知室內(nèi)植物的形狀，自然圖像趨于平滑，其他“先驗”允許研究人員對噪聲信號進行推斷，這有助于銳化生成圖像?！肮鈭黾夹g(shù)需要對環(huán)境有很多了解來進行重建物體，但也能折射出很多信息。

2、散射光

2012年拉斯卡爾和團隊開創(chuàng)了一項新技術(shù)。這項技術(shù)包括向墻壁發(fā)射激光脈沖，使一小部分散射光反射到障礙物周圍，在每次脈沖之后的瞬間，使用“條紋相機”能夠檢測從壁面反彈回的光子?！皸l紋相機”以每秒數(shù)十億幀的速度記錄單個光子。通過測量返回光子的飛行時間，研究人員可以知道它們飛行了多遠，從而重建出隱藏物體的詳細三維幾何結(jié)構(gòu)。然而這種方法存有一定問題——必須用激光掃描墻壁才能形成3d圖像。比如有一個人隱藏在拐角處，他頭部某個特定點、肩膀上某個特定點、膝蓋上某個特定點發(fā)出的光可能會在同一時間到達攝像機。

麻省理工學(xué)院計算機視覺科學(xué)家拉梅什·拉斯卡爾是主動非視距成像技術(shù)的先驅(qū)。圖片：Courtesy of ACM SIGGRAPH 2017

但如果把激光照射到一個稍微不同的點上，那么從這三個點發(fā)出的光就不會在同一時間到達。因此就要結(jié)合所有信號，解決所謂的“逆問題”，重建隱藏的三維幾何結(jié)構(gòu)。今年3月發(fā)表在《自然》上的論文為構(gòu)建角落里的物體的三維成像設(shè)定了新標準。斯坦福大學(xué)Matthew O 'Toole、David Lindell和Gordon Wetzstein設(shè)計出了強大算法來解決逆問題，并且實驗過程中使用了相對便宜的SPAD攝像頭——比條紋攝像頭幀率低的半導(dǎo)體設(shè)備。

在主動的非視距成像中，激光從墻壁上彈回，從隱藏的物體上散射，然后反彈回起始點(上圖)。反射光能對物體進行三維重建(下圖)。圖片：2018 Stanford Computation Imaging Lab

先前算法程序上的細節(jié)讓人焦頭爛額。“當(dāng)光線散射到一個表面時，它就會形成一個不斷膨脹的光子球體，這個球體會隨著時間推移而延伸出一個圓錐體，從而將光子飛行時間與散射表面位置聯(lián)系起來。”奧圖爾將愛因斯坦的老師赫爾曼·閔可夫斯基在20世紀初發(fā)明的光錐物理學(xué)運用到這一實驗中，他稱這一方法為“光錐變換”。自動駕駛汽車已經(jīng)配置了直接成像的激光雷達系統(tǒng)。在不久的將來，這些傳感器將以一種可以手持的形式出現(xiàn)，現(xiàn)在的任務(wù)是要進入到更復(fù)雜的場景與現(xiàn)實場景，而不是小心翼翼地設(shè)置出場景。

3、發(fā)展方向

弗里曼小組研究人員已經(jīng)開始采用被動和主動方法。由博士后研究員Christos Thrampoulidis領(lǐng)導(dǎo)的一篇論文表明，在利用激光主動成像中，角落附近存在已知形狀的粉點照相機可以用來重建隱藏場景，這完全不需要計算光子飛行時間的相關(guān)信息。Thrampoulidis說：普通CCD相機就可以搞定這一切。未來的某一天，非視距成像技術(shù)可能會幫助救援隊、消防員和自主機器人。

維爾滕正在與美國國家航空航天局噴氣推進實驗室合作進行一項旨在對月球洞穴內(nèi)部進行遠程成像的項目。與此同時，拉斯卡爾和他的公司用其方法閱讀了一本未打開書籍的前幾頁。除了音頻重建，弗里曼的運動放大算法可能對健康和安全設(shè)備或檢測微小的天文運動有用。紐約大學(xué)和弗拉蒂隆研究所天文學(xué)家和數(shù)據(jù)科學(xué)家大衛(wèi)·霍格說：這個算法是個好主意，我想我必須在天文學(xué)中使用它。

當(dāng)我開始自己的職業(yè)生涯時，我不想從事任何可能涉及軍事或間諜的工作。但隨著時間的推移，我開始認為技術(shù)是一種可以以多種方式使用的工具”，如果你試圖避免參加任何可能與軍事相關(guān)的研究，那么你永遠不會有所突破。即使這一研究被用于軍事，但它或許也能幫助某人避免被攻擊者殺死?？偟膩碚f，知道事情的發(fā)展方向是件好事。然而，令他興奮的并不是技術(shù)上的發(fā)展，而僅僅是發(fā)現(xiàn)了隱藏在平實視野中的現(xiàn)象，世界上還有很多事物等待人類挖掘。

博科園-科學(xué)科普｜參考期刊文獻 :《IEEE Xplore》,《Nature》｜文：Natalie Wolchover/Quanta magazine/Quanta Newsletter

DOI:doi.org/10.1038/nature25489

DOI:10.1109 / TCI.2018.2829599

博科園-傳遞宇宙科學(xué)之美