沒(méi)有人真的知道最先進(jìn)的算法如何思考，這可能是一個(gè)可怕問(wèn)題。
一年前，一輛奇怪的自駕車(chē)被釋放到新澤西州蒙茅斯縣的寧?kù)o道路上。由芯片制造商N(yùn)vidia的研究人員開(kāi)發(fā)的實(shí)驗(yàn)車(chē)輛與其他自主汽車(chē)并沒(méi)有什么不同，但與Google，特斯拉或通用汽車(chē)公司所展示的不同，它顯示了人造智能的上升。汽車(chē)沒(méi)有遵循由工程師或程序員提供的單一指令。相反，它完全依賴(lài)于通過(guò)觀(guān)察人類(lèi)來(lái)教導(dǎo)自己駕駛的算法。

開(kāi)車(chē)是一個(gè)令人印象深刻的壯舉。但這也有點(diǎn)令人不安，因?yàn)槠?chē)做出決定并不完全清楚。來(lái)自車(chē)輛傳感器的信息直接進(jìn)入人造神經(jīng)元的巨大網(wǎng)絡(luò)，處理數(shù)據(jù)，然后傳遞操作方向盤(pán)，制動(dòng)器和其他系統(tǒng)所需的命令。結(jié)果似乎與您期望從人類(lèi)驅(qū)動(dòng)程序的響應(yīng)相匹配。但是，如果有一天它做了一些意想不到的事情撞上一棵樹(shù)，或者停綠燈上呢？現(xiàn)在，現(xiàn)在可能很難找出原因。該系統(tǒng)非常復(fù)雜，即使是設(shè)計(jì)它的工程師也在嘗試解釋他的行為成因。你不法找到答案：設(shè)計(jì)這樣一個(gè)系統(tǒng)是明顯的方法總能解釋為什么它做了某件事情。

這輛車(chē)的神秘思想指出人造智能的一個(gè)迫在眉睫的問(wèn)題。汽車(chē)的底層AI技術(shù)，被稱(chēng)為深度學(xué)習(xí)，近年來(lái)在解決問(wèn)題上已經(jīng)被證明是非常有力的，它已被廣泛應(yīng)用于圖像字幕，語(yǔ)音識(shí)別和語(yǔ)言翻譯等任務(wù)?，F(xiàn)在希望同樣的技術(shù)能夠診斷致命的疾病，做出百萬(wàn)美元的交易決定，并且做無(wú)數(shù)的其他事情來(lái)改變整個(gè)行業(yè)。
但這不會(huì)發(fā)生 - 或者不應(yīng)該發(fā)生 - 除非我們找到方法，使深入學(xué)習(xí)的技術(shù)更容易理解為創(chuàng)作者，并對(duì)其用戶(hù)負(fù)責(zé)。否則，難以預(yù)測(cè)何時(shí)會(huì)發(fā)生故障，而且這是不可避免的。 Nvidia的車(chē)仍然是試驗(yàn)的一個(gè)原因。

已經(jīng)使用數(shù)學(xué)模型來(lái)幫助確定誰(shuí)做假釋?zhuān)l(shuí)被批準(zhǔn)貸款，以及誰(shuí)被聘請(qǐng)工作。如果您可以訪(fǎng)問(wèn)這些數(shù)學(xué)模型，可以了解他們的推理。但是銀行，軍方，雇主和其他人正在將注意力轉(zhuǎn)向更復(fù)雜的機(jī)器學(xué)習(xí)方法，這樣可以使自動(dòng)化決策完全不可思議。深入學(xué)習(xí)，最常見(jiàn)的這些方法，代表了一種根本不同的計(jì)算機(jī)程序。麻省理工學(xué)院教授塔米·賈科科拉（Tommi Jaakkola）說(shuō)：“這是一個(gè)已經(jīng)相關(guān)的問(wèn)題，未來(lái)將會(huì)更加相關(guān)?！?“無(wú)論是投資決定，醫(yī)療決定還是軍事決定，您都不希望只依靠”黑匣子“的方法。

已經(jīng)有一個(gè)論點(diǎn)，能夠詢(xún)問(wèn)人工智能系統(tǒng)，如何達(dá)成結(jié)論是一項(xiàng)基本的法律權(quán)利。從2018年夏天開(kāi)始，歐盟可能要求公司能夠給用戶(hù)解釋自動(dòng)化系統(tǒng)達(dá)到的決策。即使對(duì)于表面上相對(duì)簡(jiǎn)單的系統(tǒng)，例如使用深度學(xué)習(xí)來(lái)投放廣告或推薦歌曲的應(yīng)用程序和網(wǎng)站，這恐怕不可能。運(yùn)行這些服務(wù)的計(jì)算機(jī)已經(jīng)進(jìn)行了編程，并且已經(jīng)以我們無(wú)法理解的方式完成了這些。即使構(gòu)建這些應(yīng)用程序的工程師也無(wú)法完全解釋他們的行為。

這引起了令人難以置信的問(wèn)題。隨著技術(shù)的進(jìn)步，我們可能很快會(huì)跨越一個(gè)門(mén)檻，超過(guò)這個(gè)閾值，使用AI需要一個(gè)信念的飛躍。當(dāng)然，我們?nèi)祟?lèi)也不能總是真正地解釋我們的思想過(guò)程，但是我們可以直觀(guān)地信任和衡量人們。這樣做也可能與想像和做出決定的機(jī)器與人類(lèi)的方式不同嗎？我們從未建造以創(chuàng)作者不明白的方式運(yùn)作的機(jī)器。我們可以期待如何溝通，并與智能機(jī)器相提并論，這些機(jī)器可能是不可預(yù)知和難以置信的？這些問(wèn)題讓我走上了AI算法研究的出路，從谷歌到蘋(píng)果和許多地方，包括與當(dāng)時(shí)偉大的哲學(xué)家之間的會(huì)議。

2015年，紐約西奈山醫(yī)院的一個(gè)研究小組受到啟發(fā)，將深入學(xué)習(xí)應(yīng)用于醫(yī)院龐大的患者記錄數(shù)據(jù)庫(kù)。該數(shù)據(jù)集包含數(shù)百個(gè)患者變量，從測(cè)試結(jié)果，醫(yī)生訪(fǎng)問(wèn)等方面。研究人員命名為Deep Patient（深井病人）的結(jié)果程序使用來(lái)自約70萬(wàn)個(gè)人的數(shù)據(jù)進(jìn)行了培訓(xùn)，當(dāng)在新記錄上進(jìn)行測(cè)試時(shí)，它在預(yù)測(cè)疾病方面證明是非常好的。沒(méi)有任何專(zhuān)家指導(dǎo)，Deep Patient發(fā)現(xiàn)隱藏在醫(yī)院數(shù)據(jù)中的模式，似乎表明人們正在前往廣泛的疾病，包括肝癌。引導(dǎo)西奈山隊(duì)的Joel Dudley說(shuō)，有很多方法在預(yù)測(cè)患者記錄中的疾病方面“相當(dāng)不錯(cuò)”。但他補(bǔ)充說(shuō)：“這只是更好。”
同時(shí)，深度患者有點(diǎn)令人費(fèi)解。似乎預(yù)料精神分裂癥如精神分裂癥的出現(xiàn)令人驚訝。但是由于精神分裂癥對(duì)于醫(yī)生來(lái)說(shuō)是非常困難的，所以達(dá)德利想知道這是否可能的。他還不確定——這個(gè)新工具沒(méi)有提供任何線(xiàn)索。如果像Deep Patient這樣的事情實(shí)際上會(huì)幫助醫(yī)生，那么理想的情況就是給予他們預(yù)測(cè)的理由，讓他們確信它是準(zhǔn)確的，并證明有人正在處方藥的變化。 “我們可以建立這些模型，”達(dá)德利說(shuō)，“但我們不知道他們?nèi)绾喂ぷ??！?/p>

人造智能并不總是這樣的。從一開(kāi)始，AI就應(yīng)該是可以理解的或可以解釋的。許多人認(rèn)為最有意義的是構(gòu)建根據(jù)規(guī)則和邏輯推理的機(jī)器，使其內(nèi)部工作對(duì)任何關(guān)心審查一些代碼的人都是透明的。其他人認(rèn)為，如果機(jī)器從生物學(xué)中獲得靈感，并通過(guò)觀(guān)察和體驗(yàn)學(xué)習(xí)，情報(bào)就會(huì)更容易出現(xiàn)。這意味著將電腦編程放在頭上。程序員不用編寫(xiě)命令來(lái)解決問(wèn)題，而是根據(jù)示例數(shù)據(jù)和期望的輸出生成自己的算法。后來(lái)演變成當(dāng)今最強(qiáng)大的AI系統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)遵循后一種途徑：機(jī)器本身是程序本身。

起初這種做法的實(shí)際應(yīng)用是有限的，而在六十年代和七十年代，它仍然主要局限于該領(lǐng)域的邊緣。那么許多行業(yè)的電腦化和大數(shù)據(jù)集的出現(xiàn)又引起了人們的興趣。這激發(fā)了更強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，特別是被稱(chēng)為人造神經(jīng)網(wǎng)絡(luò)的新版本。到20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)可以自動(dòng)數(shù)字化手寫(xiě)字符。

但是，直到這個(gè)十年的開(kāi)始，經(jīng)過(guò)幾次巧妙的調(diào)整和改進(jìn)，那么非常大或“深”的網(wǎng)絡(luò)網(wǎng)絡(luò)顯示出自動(dòng)感知的顯著改進(jìn)。深入學(xué)習(xí)對(duì)今天AI的爆炸負(fù)責(zé)。它賦予了計(jì)算機(jī)非凡的力量，就像能夠識(shí)別口語(yǔ)幾乎和一個(gè)人一樣，這個(gè)技能太復(fù)雜，無(wú)法用手編碼到機(jī)器中。深刻的學(xué)習(xí)改變了計(jì)算機(jī)視覺(jué)，大大提高了機(jī)器翻譯?，F(xiàn)在正用于指導(dǎo)醫(yī)藥，金融，制造業(yè)等方面的各種關(guān)鍵決策。
任何機(jī)器學(xué)習(xí)技術(shù)的工作本質(zhì)上比手工編碼系統(tǒng)更不透明，甚至對(duì)計(jì)算機(jī)科學(xué)家來(lái)說(shuō)也是不透明的。這并不是說(shuō)所有未來(lái)的AI技術(shù)將同樣不可知。但是由于其本質(zhì)，深刻的學(xué)習(xí)是一個(gè)特別黑暗的黑匣子。

你不能只是看一下深層神經(jīng)網(wǎng)絡(luò)，看看它是如何工作的。網(wǎng)絡(luò)的推理嵌入到成千上萬(wàn)個(gè)模擬神經(jīng)元的行為中，排列成數(shù)十甚至數(shù)百個(gè)錯(cuò)綜復(fù)雜的互連層。第一層中的神經(jīng)元各自接收輸入，如圖像中的像素的強(qiáng)度，然后在輸出新信號(hào)之前進(jìn)行計(jì)算。這些輸出在復(fù)雜網(wǎng)絡(luò)中被饋送到下一層中的神經(jīng)元，等等，直到產(chǎn)生總體輸出。此外，還有一個(gè)稱(chēng)為反向傳播的過(guò)程，以一種使網(wǎng)絡(luò)學(xué)習(xí)產(chǎn)生所需輸出的方式來(lái)調(diào)整單個(gè)神經(jīng)元的計(jì)算。

深層網(wǎng)絡(luò)中的許多層次使其能夠識(shí)別不同抽象層次的事物。例如，在旨在識(shí)別狗的系統(tǒng)中，較低層識(shí)別簡(jiǎn)單的東西，如輪廓或顏色;更高層識(shí)別更復(fù)雜的東西，如毛皮或眼睛;最頂層將其全部標(biāo)識(shí)為狗。粗略地說(shuō)，相同的方法可以應(yīng)用于引導(dǎo)機(jī)器教導(dǎo)自己的其他輸入：構(gòu)成語(yǔ)音中的單詞的聲音，在文本中創(chuàng)建句子的字母和單詞，或駕駛所需的方向盤(pán)運(yùn)動(dòng)。
“這可能是智力本質(zhì)的一部分，只有其中的一部分才能被理性地解釋。有些只是本能的?！?br>已經(jīng)使用巧妙的策略來(lái)捕獲并因此更詳細(xì)地解釋了這樣的系統(tǒng)發(fā)生了什么。 2015年，Google的研究人員修改了基于深度學(xué)習(xí)的圖像識(shí)別算法，以便不會(huì)在照片中發(fā)現(xiàn)對(duì)象，而是會(huì)生成或修改它們。通過(guò)有效地運(yùn)行算法，他們可以發(fā)現(xiàn)程序用來(lái)識(shí)別鳥(niǎo)類(lèi)或建筑物的特征。由一個(gè)名為“深夢(mèng)”的項(xiàng)目產(chǎn)生的圖像顯示出從云和植物出現(xiàn)的怪異的外星人動(dòng)物，以及在森林和山脈上綻放的幻覺(jué)塔。這些圖像證明，深刻的學(xué)習(xí)不一定是完全不可思議的;他們透露，算法歸功于熟悉的視覺(jué)特征，如鳥(niǎo)的喙或羽毛。但是，這些圖像也暗示了人類(lèi)知覺(jué)的不同深度學(xué)習(xí)的不同之處，因?yàn)樗赡軙?huì)使我們知道忽略的一件事情擺脫出來(lái)。谷歌研究人員指出，當(dāng)它的算法產(chǎn)生一個(gè)啞鈴的圖像時(shí)，它也產(chǎn)生了一個(gè)持有它的人類(lèi)手臂。機(jī)器得出結(jié)論，一只手臂是這件事的一部分。

使用神經(jīng)科學(xué)和認(rèn)知科學(xué)借鑒的思想進(jìn)一步取得進(jìn)展。由懷俄明大學(xué)助理教授杰夫·克倫（Jeff Clune）領(lǐng)導(dǎo)的一個(gè)團(tuán)隊(duì)，采用AI相當(dāng)于幻覺(jué)來(lái)測(cè)試深層神經(jīng)網(wǎng)絡(luò)。 2015年，Clune的小組展示了某些圖像如何愚弄這樣一個(gè)網(wǎng)絡(luò)來(lái)感知不在的東西，因?yàn)檫@些圖像利用了系統(tǒng)搜索的低級(jí)模式。 Clune的合作者之一，Jason Yosinski也建立了一個(gè)工具，像一個(gè)探針卡在大腦中。他的工具瞄準(zhǔn)網(wǎng)絡(luò)中間的任何神經(jīng)元，并搜索最多激活它的圖像。呈現(xiàn)的圖像是抽象的（想象一個(gè)印象派在火烈鳥(niǎo)或校車(chē)上），突出了機(jī)器的感性能力的神秘性質(zhì)。

然而，我們需要的不僅僅是AI的想法，也沒(méi)有簡(jiǎn)單的解決方案。深層神經(jīng)網(wǎng)絡(luò)中的計(jì)算的相互作用對(duì)于更高層次的模式識(shí)別和復(fù)雜的決策是至關(guān)重要的，但是這些計(jì)算是數(shù)學(xué)函數(shù)和變量的泥。。 “如果你有一個(gè)非常小的神經(jīng)網(wǎng)絡(luò)，你可能可以理解它，”Jaakkola說(shuō)。 “但是，一旦它變得非常大，它每層有幾千個(gè)單位，也可能有數(shù)百層，那么這是不可理解的?！?/p>

在Jaakkola旁邊的辦公室是麻省理工學(xué)院教授Regina Barzilay，他決心將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)學(xué)。幾年前，她在43歲時(shí)被診斷患有乳腺癌。診斷本身令人震驚，但是Barzilay也感到失望的是，前瞻性的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)方法沒(méi)有被用來(lái)幫助腫瘤研究或指導(dǎo)病人治療。她說(shuō)，AI具有巨大的革命醫(yī)學(xué)潛力，但意識(shí)到這一潛力意味著超越醫(yī)療記錄。她設(shè)想使用更多的原始數(shù)據(jù)，她說(shuō)目前未得到充分利用：“成像數(shù)據(jù)，病理數(shù)據(jù)，所有這些信息”。
去年完成癌癥治療后，Barzilay和她的學(xué)生開(kāi)始與馬薩諸塞州總醫(yī)院的醫(yī)生合作開(kāi)發(fā)一個(gè)能夠開(kāi)采病理學(xué)報(bào)告的系統(tǒng)，以確定研究人員可能想要研究的特定臨床特征的患者。然而，Barzilay理解，該系統(tǒng)需要解釋其推理。所以，與Jaakkola和一個(gè)學(xué)生一起，她增加了一個(gè)步驟：系統(tǒng)提取和突出顯示代表其發(fā)現(xiàn)的模式的文本片段。 Barzilay和她的學(xué)生們也在開(kāi)發(fā)一種能夠在乳房X線(xiàn)照片圖像中發(fā)現(xiàn)乳腺癌早期癥狀的深度學(xué)習(xí)算法，并且旨在給予該系統(tǒng)一些解釋其推理能力的能力。 “你真的需要一個(gè)機(jī)器和人類(lèi)合作的循環(huán)，”-Barzilay說(shuō)。

美國(guó)軍方正花費(fèi)數(shù)十億美元投入于使用AI學(xué)習(xí)如何飛行駕駛，確定目標(biāo)，并幫助分析人員篩選大量情報(bào)數(shù)據(jù)。在這里，除了其他任何地方，甚至超過(guò)了醫(yī)學(xué)，還沒(méi)有算法神秘的空間，國(guó)防部已將可解釋性認(rèn)定為關(guān)鍵的絆腳石。
國(guó)防高級(jí)研究計(jì)劃署的項(xiàng)目經(jīng)理David Gunning正在監(jiān)督適當(dāng)?shù)目山忉屓斯ぶ悄苡?jì)劃。該機(jī)構(gòu)的銀發(fā)老將曾經(jīng)監(jiān)督DARPA項(xiàng)目，最終導(dǎo)致Siri的創(chuàng)立，Gunning說(shuō)自動(dòng)化正在爬進(jìn)無(wú)數(shù)的軍事領(lǐng)域。情報(bào)分析師正在測(cè)試機(jī)器學(xué)習(xí)，作為識(shí)別大量監(jiān)控?cái)?shù)據(jù)模式的一種方式。許多自主地面車(chē)輛和飛機(jī)正在開(kāi)發(fā)和測(cè)試。但士兵們對(duì)機(jī)器人坦克來(lái)說(shuō)也不會(huì)感到舒服，這并不能解釋自己，分析人士也不愿意在沒(méi)有推理的情況下對(duì)信息采取行動(dòng)。 “這些機(jī)器學(xué)習(xí)系統(tǒng)的性質(zhì)通常會(huì)產(chǎn)生大量的虛假警報(bào)，所以英特爾分析師真的需要額外的幫助才能理解為什么要做出建議，”Gunning說(shuō)。

今年三月，DARPA選擇了13個(gè)來(lái)自學(xué)術(shù)界和行業(yè)的項(xiàng)目，在Gunning計(jì)劃下資助。其中一些人可以在華盛頓大學(xué)教授卡洛斯·賓格林（Carlos Guestrin）領(lǐng)導(dǎo)下工作。他和他的同事們?yōu)闄C(jī)器學(xué)習(xí)系統(tǒng)開(kāi)發(fā)了一種方法，為他們的產(chǎn)出提供了理由。基本上，在這種方法下，計(jì)算機(jī)自動(dòng)從數(shù)據(jù)集中找到幾個(gè)示例，并在簡(jiǎn)短的解釋中提供它們。例如，將電子郵件分類(lèi)為來(lái)自恐怖分子的系統(tǒng)可能會(huì)在其培訓(xùn)和決策中使用數(shù)百萬(wàn)條消息。但是使用華盛頓隊(duì)的方法，它可以突出顯示某個(gè)消息中的某些關(guān)鍵字。他們的團(tuán)隊(duì)還設(shè)計(jì)了圖像識(shí)別系統(tǒng)，通過(guò)突出顯示最重要的圖像部分來(lái)提示其推理。
這種方法的一個(gè)缺點(diǎn)和像Barzilay這樣的其他方法的缺點(diǎn)是，所提供的解釋將始終是簡(jiǎn)化的，這意味著一些重要的信息可能會(huì)丟失。 “我們還沒(méi)有實(shí)現(xiàn)整個(gè)夢(mèng)想，這是AI與你交談的地方，它能夠解釋?zhuān)辟e格說(shuō)。 “我們距離真正解釋的AI還有很長(zhǎng)的路要走?！?/p>

這不一定是像癌癥診斷或軍事演習(xí)這樣的高風(fēng)險(xiǎn)情況成為一個(gè)問(wèn)題。了解AI的推理也將是至關(guān)重要的，如果技術(shù)是成為我們?nèi)粘Ｉ钪谐Ｒ?jiàn)和有用的部分。領(lǐng)導(dǎo)蘋(píng)果Siri團(tuán)隊(duì)的Tom Gruber說(shuō)，可解釋性是他的團(tuán)隊(duì)的一個(gè)關(guān)鍵考慮因素，因?yàn)樗噲D使Siri成為一個(gè)更聰明，更有能力的虛擬助手。 Gruber不會(huì)討論Siri未來(lái)的具體計(jì)劃，但很容易想像，如果您收到Siri的餐廳推薦，您會(huì)想知道推理是什么。蘋(píng)果公司的AI研究總監(jiān)和卡內(nèi)基梅隆大學(xué)的副教授Ruslan Salakhutdinov認(rèn)為可解釋性是人與智能機(jī)器關(guān)系發(fā)展的核心。 “這將會(huì)引入信任，”他說(shuō)。
人類(lèi)行為的許多方面都不可能詳細(xì)解釋?zhuān)苍SAI不可能解釋它所做的一切。懷俄明大學(xué)的克隆（Clune）說(shuō)：“即使有人可以給你一個(gè)合理的解釋?zhuān)▽?duì)于他或她的行動(dòng)），它可能是不完整的，對(duì)AI也是如此。 “這可能只是智力本質(zhì)的一部分，只有其中的一部分才能被理性地解釋。其中一些只是本能的，或潛意識(shí)的，或不可思議的?！?/p>

如果是這樣，那么在某個(gè)階段，我們可能只需要信任AI的判斷或不使用它。同樣，這一判斷將必須納入社會(huì)情報(bào)。正如社會(huì)建立在預(yù)期行為合約上一樣，我們將需要設(shè)計(jì)AI系統(tǒng)來(lái)尊重和符合我們的社會(huì)規(guī)范。如果我們要?jiǎng)?chuàng)造機(jī)器人坦克和其他殺戮機(jī)器，那么他們的決策與我們的道德判斷是一致的。

為了探索這些形而上學(xué)的概念，我去了塔夫茨大學(xué)，與著名的哲學(xué)家和認(rèn)知科學(xué)家丹尼特（Daniel Dennett）會(huì)面，他們研究意識(shí)和心靈。丹尼特最新的一本書(shū)“從細(xì)菌到巴赫和后退”，一本關(guān)于意識(shí)的百科全書(shū)論文，表明智力本身發(fā)展的一個(gè)自然部分是創(chuàng)造能夠執(zhí)行其創(chuàng)作者不知道如何做的任務(wù)的系統(tǒng)。 “問(wèn)題是，我們必須明智地做些什么，我們要求他們和我們自己有什么標(biāo)準(zhǔn)？”他在大學(xué)田園詩(shī)般的校園里的雜亂無(wú)章的辦公室里告訴我。

他還有一個(gè)關(guān)于追求可解釋性的警告。 “我認(rèn)為，如果我們要使用這些東西并依靠它們，那么讓我們盡可能地抓住他們?nèi)绾我约盀槭裁幢M可能地給我們答案，”他說(shuō)。但由于可能沒(méi)有完美的答案，我們應(yīng)該像我們?nèi)祟?lèi)對(duì)待彼此一樣謹(jǐn)慎的對(duì)待AI解釋 - 無(wú)論機(jī)器看起來(lái)有多聰明。他說(shuō)：“如果說(shuō)AI比我們更擅長(zhǎng)解釋?zhuān)蔷筒灰湃嗡！?/p>

轉(zhuǎn)載：知乎專(zhuān)欄 — 張壞水