光是人類對物理世界進行觀測與感知最重要的載體之一，人類通過人眼接收場景中物體發(fā)出的光線(主動或被動發(fā)光)進行感知。成像感知系統(tǒng)是人眼的延伸，捕獲、記錄、分析場景的光信息。然而，現(xiàn)有的成像感知系統(tǒng)大多僅支持二維成像，迫使我們只能通過二維窗口去觀察三維世界，從而丟失了三維世界的豐富信息。

何為光場？

光場是三維世界中光線集合的完備表示，采集并顯示光場就能在視覺上重現(xiàn)真實世界。

而光場技術(shù)就是把人眼看到的光線空間采集下來，再將光線進行重組，可以讓虛擬現(xiàn)實模擬出人眼基于距離對物體聚焦、移動的效果，捕捉光線信息，重現(xiàn)三維世界。例如醫(yī)生借助單攝像頭內(nèi)窺鏡進行腹腔手術(shù)時，因無法判斷腫瘤的深度位置，從而需要從多個角度多次觀察才能緩慢地下刀切割。

從光場成像的角度可以解釋為：因為缺乏雙目視差，只能依靠移動視差來產(chǎn)生立體視覺。再例如遠程機械操作人員通過觀看監(jiān)視器平面圖像進行機械遙控操作時，操作的準確性和效率都遠遠低于現(xiàn)場操作。

全光函數(shù)（Plenoptic Function）包含7個維度，是表示光場的數(shù)學(xué)模型。由于7個維度的信息會急劇增加采集、處理、傳輸?shù)呢摀?dān)，因此實際應(yīng)用中更多的是采用4D光場模型。

光場成像系統(tǒng)主要是通過光學(xué)裝置采集捕捉到空間分布的四維光場，再根據(jù)不同的應(yīng)用需求來計算出相應(yīng)的圖像。

計算光場成像技術(shù)基于四維光場，旨在建立光在空域、視角、光譜和時域等多個維度的關(guān)系，實現(xiàn)耦合感知、解耦重建與智能處理，用于面向大范圍動態(tài)場景的多維多尺度成像。

受益于空間-視角維度假設(shè)以及軟硬件技術(shù)的進步，如今光場成像可由便攜化的商用設(shè)備實現(xiàn)，甚至可集成到手機中；亦可應(yīng)用到顯微鏡中，實現(xiàn)快速掃描下生物樣本的三維成像；光場相機的廣泛使用使一些新的應(yīng)用成為可能，包括最初基于真實感圖像的光場渲染以及現(xiàn)在利用光場編碼信息的計算機視覺應(yīng)用，例如3D重建、分割、顯著性檢測、物體檢測與識別、跟蹤和視頻增穩(wěn)等。

光場成像技術(shù)正逐漸應(yīng)用于生命科學(xué)、工業(yè)探測、國家安全、無人系統(tǒng)和虛擬現(xiàn)實/增強現(xiàn)實等領(lǐng)域，具有重要的學(xué)術(shù)研究價值和產(chǎn)業(yè)應(yīng)用前景。

為什么要研究光場？

從光場采集的角度來看：

以自動駕駛為例，首先需要通過多種傳感器去“感知”外界信息，然后通過類腦運算進行“決策”，最后將決策以機械結(jié)構(gòu)為載體進行“執(zhí)行”?，F(xiàn)階段人工智能的發(fā)展更傾向于“類腦”的研究，即如何使計算機具有人腦類似的決策能力。然而卻忽略了“眼睛”作為一種信息感知入口的重要性。設(shè)想一個人非?！奥斆鳌钡且暳τ姓系K，那么他將無法自如的駕駛汽車。而自動駕駛正面臨著類似的問題。如果攝像機能采集到7個維度所有的信息，那么就能保證視覺輸入信息的完備性，而“聰明”的大腦才有可能發(fā)揮到極致水平。研究光場采集將有助于機器看到更多維度的視覺信息。

從光場的顯示角度來看：

以LCD/OLED顯示屏為例，顯示媒介只能呈現(xiàn)光場中四個維度的信息，而丟失了其他三個維度的信息。在海陸空軍事沙盤、遠程手術(shù)等高度依賴3D視覺的場景中，傳統(tǒng)的2D顯示媒介完全不能達到期望的效果。當(dāng)光場顯示的角度分辨率和視點圖像分辨率足夠高時，可以等效為動態(tài)數(shù)字彩色全息。研究光場顯示將有助于人類看到更多維度的視覺信息。

光場成像的獲取途徑

目前常用的光場成像方式主要有兩種：一是利用相機陣列采集來自不同方向(分布)的光線；二是將不同方向的光線信息與不同位置的光線信息混合編碼至平面成像的芯片中。

在實際應(yīng)用中，尤其是利用相機整列采集光場數(shù)據(jù)時，光場的視點采樣往往是稀疏的、欠采樣的。因此，如何利用稀疏化的采樣數(shù)據(jù)進行光場重建，是光場成像及其應(yīng)用的基礎(chǔ)難題。

此外，光場的高維度極大地增加了對其進行處理和分析的復(fù)雜度，在算法設(shè)計上施加了更具挑戰(zhàn)性的條件。例如,傳統(tǒng)2D圖像中的分割旨在將單個圖像內(nèi)的前景和背景分開，而在光場中執(zhí)行分割時，不僅要對多個視點的圖像進行處理，還需要保持光場結(jié)構(gòu)的穩(wěn)定性。

如何用光場這一高維信息采集手段，取代傳統(tǒng)二維成像這一視覺感知方法，并結(jié)合智能信息處理技術(shù)實現(xiàn)智能化感知功能，是實現(xiàn)光場成像技術(shù)產(chǎn)業(yè)應(yīng)用面臨的巨大挑戰(zhàn)。

光場的采集方法

光場顯示能在視覺上完全重現(xiàn)真實世界，但在顯示光場以前首先要采集光場，否則將會是“巧婦難為無米之炊”。現(xiàn)有的光場采集方法可分為三個類型：多傳感器采集、時序采集和多路復(fù)用成像。

1多傳感器采集

多傳感器采集方法，需要用到分布在平面或球面上的圖像傳感器陣列，以同時捕獲來自不同視點的光場樣本。光場的空間尺寸由傳感器來確定，而角度尺寸則由攝像機的數(shù)量及分布來確定。因此，多傳感器采集方法通過采集圖像的組合來記錄4D光場。圖1為用于多傳感器采集的設(shè)備。

圖1 (a)8×12個攝像機組成的攝像機陣列系統(tǒng)；(b)8×8攝像機陣列實現(xiàn)了實時光場渲染；(c)90 mm×90 mm×60 mm 的光場相機陣列；(d) 超薄單片4×4相機陣列，可集成到手機中。

多傳感器采集方法能夠瞬時捕獲光場，因此能夠記錄光場時間序列。由于采用攝像機陣列，因此早期的多傳感器系統(tǒng)的體積龐大且昂貴。然而，我們可以通過近期出現(xiàn)的更便宜和更便攜的設(shè)計發(fā)現(xiàn)這種多傳感器采集方法的潛力。

2時序采集

與多傳感器方法相比，時序采集方法使用單圖像傳感器，并通過多次曝光來捕獲光場的多個樣本。典型的方法是使用安裝在機械臺架上的傳感器來測量不同位置的光場，圖2為用于時序采集的設(shè)備。

圖2 (a)斯坦福大學(xué)于1996年搭建的光場龍門架，可以實現(xiàn)靜態(tài)光場的采集，通過物體、相機和光照的全自由度控制能實現(xiàn)高質(zhì)量靜態(tài)光場數(shù)據(jù)的采集；(b)裝有捕獲四維光場的單個攝像機的電動線性平臺；(c)可編程光圈，可通過多次曝光捕獲光場

通過移動圖像傳感器在不同的視點采集圖像，這不僅需要高精度的控制，而且耗時。

幸運的是，人們提出了一些快速時序采集方法。如使用平面鏡和高動態(tài)范圍攝像機來記錄光場，通過移動平面鏡產(chǎn)生不同的視點供相機采集；由球鏡和單攝像機組成“軸向光場”，通過沿著鏡子的旋轉(zhuǎn)軸移動相機來采集；作為反射表面的替代,一個可編程光圈可通過多次曝光捕獲光場,如圖2(c)所示。孔徑圖案被不透明的紙張或液晶陣列編碼，允許相機從特定角度捕獲光線。通過使孔徑圖案與相機曝光同步，就可以使用全傳感器分辨率采樣光場。

與多傳感器系統(tǒng)相比，時序采集系統(tǒng)僅需要一個傳感器，從而降低了整個系統(tǒng)的成本。此外，時序采集系統(tǒng)能夠采集密集角度分辨率的光場，多傳感器系統(tǒng)由于成本高而無法做到這一點。但是時序系統(tǒng)中的采集過程耗費時間，因此，它們僅適用于靜態(tài)場景。

3多路復(fù)用成像

這種方法旨在通過將角域復(fù)用到空間(或頻率)域中來將4D光場編碼到2D傳感器平面。它允許使用單個圖像傳感器進行動態(tài)光場的捕獲，但需在空間和角度分辨率之間進行權(quán)衡(即若想在空間域中密集采樣，需在角域中稀疏采樣，反之則反)。

多路復(fù)用成像可進一步分為空間復(fù)用和頻率復(fù)用。

a.空間復(fù)用

大多數(shù)空間復(fù)用方法使用安裝在圖像傳感器上的微透鏡陣列或小透鏡陣列來實現(xiàn)，這是光場成像的最早方法之一。一些光場采集方法也使用濾波器和鏡面陣列來實現(xiàn)。圖3是用于多路成像的裝置。除測量宏觀物體或場景之外，還可使用空間多路復(fù)用來捕捉微尺度的樣本。

圖3 (a)微透鏡光場相機及其原理；(b)斯坦福大學(xué)開發(fā)的基于微透鏡陣列原理的光場顯微鏡；(c)多反射球光場采集裝置；(d)基于掩模的光場復(fù)用采集方法

空間復(fù)用是采集光場最廣泛使用的方法，可基于單次曝光采集的光場形成單圖像。然而，空間多路復(fù)用方法存在其固有的問題，即在圖像傳感器處的角度和空間分辨率之間的折中。為解決這個問題，則需要采用犧牲角分辨率的方式來獲得更高的空間分辨率，利用4×5陣列的鏡頭和切成正方形的棱鏡，將它們放置在傳統(tǒng)相機前面，以采集低角度分辨率的光場。然后，應(yīng)用插值技術(shù)來合成密集角分辨率光場。

b. 頻率復(fù)用

與空間復(fù)用方法不同，頻率復(fù)用方法將光場的不同2D切片編碼到不同的頻帶中。通常，頻率復(fù)用方法使用調(diào)制掩碼來實現(xiàn)傅里葉域中的某種屬性。

盡管頻率和空間復(fù)用是兩種不同的復(fù)用成像方法，但它們在復(fù)用模式方面有密切關(guān)系。研究表明，可通過空間插值來重建在傅里葉空間使用的模板，且還可以使用傅里葉空間算法重建空間模板。此外，頻率復(fù)用的傅里葉重建相當(dāng)于使用Sinc濾波器核進行空間重構(gòu)，且可通過空間濾波器(例如cubic插值)或邊緣保留濾波器顯著消除產(chǎn)生的環(huán)狀偽像。

光場技術(shù)的應(yīng)用展望

從全世界光場技術(shù)的發(fā)展趨勢來看，美國硅谷的科技巨頭如谷歌、Facebook、Magic Leap等爭相布局和儲備光場技術(shù)，有些甚至已經(jīng)出現(xiàn)了Demo應(yīng)用。目前光場技術(shù)在照明工程、光場渲染、重光照、重聚焦攝像、合成孔徑成像、3D顯示、安防監(jiān)控等場合有著廣泛的應(yīng)用。

對光場技術(shù)的研究主要分為兩大方面，包括光場采集和光場顯示。

光場采集技術(shù)相對更成熟，目前在某些To B領(lǐng)域已經(jīng)基本達到可以落地使用的程度。光場采集主要是提供3D數(shù)字內(nèi)容，對于光場采集系統(tǒng)的硬件成本、體積、功耗有更大的可接受度。相關(guān)應(yīng)用如吃到第一只螃蟹的Lytro光場相機，在工業(yè)領(lǐng)域的應(yīng)用一直穩(wěn)步上升。

相比之下，光場顯示是偏向To C的產(chǎn)品，個體用戶在成本、體積、功耗、舒適度等多方面都極度挑剔。光場顯示除了能產(chǎn)生傳統(tǒng)的2D顯示器的所有信息外，還能提供雙目視差、移動視差、聚焦模糊三方面的生理視覺信息。在光場顯示技術(shù)發(fā)展過程中，出現(xiàn)了多種光場顯示技術(shù)，最常見的有：多層液晶張量顯示、數(shù)字顯示、全息顯示、集成成像光場顯示、多視投影陣列光場顯示、體三維顯示。目前，光場顯示正在通往商業(yè)化實用的道路上，最大的挑戰(zhàn)在于光場顯示設(shè)備的小型化和低功耗，這需要材料學(xué)、光學(xué)、半導(dǎo)體等多個基礎(chǔ)學(xué)科的共同努力。

本文根據(jù)方璐教授、戴瓊海院士撰寫的《計算光場成像》以及曹煊博士發(fā)表的《Mars說光場》部分內(nèi)容改編整理而成。

封面來源：bing.com