如果你想知道下一部手機的攝像頭有多好的話，最好注意制造商對人工智能的看法。除了炒作和吹牛x，這項技術在過去的幾年里使攝影技術取得了驚人的進步，沒有理由被認為進步會減慢。

當然，還有很多花招。但是最近攝影技術的最令人印象深刻的進步發(fā)生在軟件和硅水平上，而不是傳感器或透鏡上——這主要歸功于人工智能使相機更好地理解他們在看什么。

谷歌的照片清楚地展示了人工智能和攝影技術在2015年發(fā)布時的混合功能。在此之前，這家搜索巨頭多年來一直在使用機器學習對Google+中的圖片進行分類，但其照片應用程序的推出包括面向消費者的人工智能功能，這是大多數(shù)人無法想象的。

用戶雜亂無章的數(shù)千張照片庫一夜之間被轉換成可搜索的數(shù)據(jù)庫。

突然之間，谷歌似乎知道你的“貓”長什么樣了。谷歌在2013年收購的dnnresearch的基礎上建立了一個深度神經(jīng)網(wǎng)絡，該網(wǎng)絡訓練的數(shù)據(jù)已經(jīng)被人類標記。

這被稱為監(jiān)督學習；這個過程包括在數(shù)百萬張圖片上訓練網(wǎng)絡，以便它可以在像素級別上尋找視覺線索，以幫助識別類別。隨著時間的推移，該算法在識別熊貓方面越來越出色，比如說，它包含了過去用來正確識別熊貓的模式。例如，它可以了解黑色皮毛和白色皮毛之間的關系，以及它們與荷斯坦奶牛皮的區(qū)別。隨著進一步的訓練，人們有可能尋找更抽象的術語，如“動物”或“早餐”，這些術語可能沒有共同的視覺指標，但對人類來說仍然是顯而易見的。

訓練這樣的算法需要大量的時間和處理能力，但是在數(shù)據(jù)中心完成任務后，它可以在低功耗的移動設備上運行，而不會有太大的麻煩。繁重的工作已經(jīng)完成，所以一旦你的照片上傳到云端，谷歌就可以使用它的模型來分析和標記整個圖書館。大約在谷歌照片發(fā)布一年后，蘋果公司宣布了一項在神經(jīng)網(wǎng)絡上接受過類似訓練的照片搜索功能，但作為公司對隱私承諾的一部分，實際分類是在每個設備的處理器上單獨進行的，而不發(fā)送數(shù)據(jù)。這通常需要一兩天時間，并在設置后的后臺發(fā)生。

智能照片管理軟件是一回事，但人工智能和機器學習可以說對圖像的捕獲方式產(chǎn)生了更大的影響。是的，鏡頭繼續(xù)變快，傳感器總是能變大一點，但我們已經(jīng)在物理上的限制，當涉及到將光學系統(tǒng)塞進纖細的移動設備。盡管如此，如今手機在某些情況下拍出比很多專用相機設備更好的照片并不罕見，至少在后期處理之前是這樣。這是因為傳統(tǒng)相機無法在另一類硬件上進行競爭，而這類硬件對攝影來說同樣意義深遠：芯片上的系統(tǒng)包含一個CPU、一個圖像信號處理器，以及越來越多的神經(jīng)處理單元（NPU）。

這是一個被稱為計算攝影（computical photography）的硬件，一個廣泛的術語涵蓋了從手機肖像模式中的假景深效果到有助于驅動谷歌像素令人難以置信的圖像質量的算法的所有內(nèi)容。并非所有的計算攝影都涉及人工智能，但人工智能肯定是其中的一個重要組成部分。

蘋果利用這項技術來驅動其雙攝像頭手機的縱向模式。iPhone的圖像信號處理器使用機器學習技術通過一個攝像頭識別人，而第二個攝像頭創(chuàng)建深度圖以幫助隔離主題和模糊背景。當這個功能在2016年首次出現(xiàn)時，通過機器學習識別人的能力并不是什么新鮮事，因為照片組織軟件已經(jīng)在做這個了。但以智能手機攝像頭所需的速度實時管理它是一個突破。

然而，谷歌仍然是這一領域的明顯領導者，所有三代像素產(chǎn)生的卓越結果是最令人信服的證據(jù)。默認拍攝模式hdr+，使用了一種復雜的算法，將幾個曝光不足的幀合并為一個幀，正如谷歌的計算攝影負責人Marc Levoy指出的那樣，機器學習意味著系統(tǒng)只會隨著時間而變得更好。與谷歌照片軟件一樣，谷歌已經(jīng)將其人工智能訓練在一個巨大的標簽照片數(shù)據(jù)集上，這進一步幫助了相機的曝光。尤其是像素，產(chǎn)生了令人印象深刻的基線圖像質量水平，以至于我們中的一些人在這個網(wǎng)站上的專業(yè)工作中使用它已經(jīng)非常舒適了。

但谷歌的優(yōu)勢從來沒有像幾個月前推出夜視系統(tǒng)那樣明顯。新的像素功能將長曝光縫合在一起，并使用機器學習算法計算更精確的白平衡和顏色，坦率地說，結果令人吃驚。這項功能在Pixel3上效果最好，因為算法的設計考慮到了最新的硬件，但Google使其適用于所有的像素手機——甚至是原始的，它缺乏光學圖像穩(wěn)定——這是一個驚人的廣告，說明軟件在mobi上比相機硬件更重要讓人們樂于攝影。

也就是說，硬件仍然有發(fā)揮作用的空間，特別是在人工智能的支持下。p20 ，以及母公司華為的Nova4，是第一個使用索尼IMX586圖像傳感器。這是一個比大多數(shù)競爭對手更大的傳感器，4800萬像素，代表了在任何手機上都能看到的最高分辨率。但這仍然意味著要在一個很小的空間中塞進很多微小的像素，這對于圖像質量來說往往是個問題。然而，在我看來，20項測試中，榮耀的“人工智能超清晰”模式擅長最大限度地利用分辨率，通過分解傳感器不尋常的濾色片來釋放額外的細節(jié)。這會產(chǎn)生巨大的照片，你可以放大幾天。

圖像信號處理器在一段時間內(nèi)對手機相機的性能非常重要，但隨著計算攝影技術的發(fā)展，NPU可能會發(fā)揮更大的作用。華為是第一家宣布采用專門人工智能硬件的片上系統(tǒng)的公司，麒麟970，盡管蘋果的A11仿生最終首先到達了消費者。全球最大的安卓處理器供應商高通公司（Qualcomm）尚未將機器學習作為主要的焦點，但谷歌開發(fā)了自己的芯片Pixel Visual Core，以幫助完成與人工智能相關的成像任務。與此同時，最新的蘋果A12仿生有一個8核的神經(jīng)引擎，可以在蘋果的機器學習框架core ML中運行任務，比A11快九倍，而且第一次直接連接到圖像處理器。蘋果公司說，這能讓相機更好地理解焦平面，例如，幫助產(chǎn)生更真實的景深。

這種硬件對于提高設備機器學習的效率和性能將變得越來越重要，因為它對處理器的要求非常高。記住，谷歌照片的算法是在強大的大型計算機上訓練的，這些計算機具有強大的GPU和張量核心，然后才被放在你的照片庫中?？梢哉f，大部分工作可以“提前”完成，但在移動設備上實時執(zhí)行機器學習計算的能力仍然是最前沿的。

谷歌已經(jīng)展示了一些令人印象深刻的工作，可以減輕處理負擔，而神經(jīng)引擎則在一年內(nèi)變得越來越快。但即使是在計算攝影的早期階段，手機攝像頭也能帶來真正的好處，這些攝像頭是圍繞機器學習而設計的。事實上，在過去幾年人工智能炒作浪潮所帶來的所有可能性和應用中，今天最實際使用的領域可以說是攝影。

相機是任何手機的基本功能，而人工智能是我們改進它的最佳手段。