那天，我在Geoffrey Hinton的家中（位于北倫敦的一條漂亮街道）見到了他。僅4天后，他從谷歌辭職的聲明便轟動(dòng)全球。Hinton是深度學(xué)習(xí)領(lǐng)域的先驅(qū)，開發(fā)了現(xiàn)代人工智能核心技術(shù)中一些最重要的部分。在谷歌工作了十年之后，他決定辭職，專注于人工智能中他所關(guān)心的當(dāng)下新議題。

Hinton震驚于像 GPT-4 這樣的新一代大語言模型的能力，想提高公眾對(duì)技術(shù)所帶來風(fēng)險(xiǎn)的認(rèn)識(shí)：這項(xiàng)由他開創(chuàng)的技術(shù)，可能伴隨著嚴(yán)重的風(fēng)險(xiǎn)。

剛開始談話時(shí)，我坐在廚房的桌子旁，而Hinton則來回踱步。他多年來遭受慢性背痛的困擾，因此幾乎從來都不坐下。接下來的一個(gè)小時(shí)，我看著他不停地從房間的這一端走到另一端，再走回來。因此，他說話時(shí)，我不得不左右轉(zhuǎn)頭從而跟上他的步伐。而他顯然有很多要說的話。

這位75歲的計(jì)算機(jī)科學(xué)家，與Yann LeCun和Yoshua Bengio一起獲得了2018年的圖靈獎(jiǎng)，因其在深度學(xué)習(xí)方面的工作而受到表彰。他說，他已經(jīng)準(zhǔn)備轉(zhuǎn)變方向：“我太老了，對(duì)那些需要記住很多細(xì)節(jié)的技術(shù)工作還是力不從心?！彼嬖V我。“其實(shí)嘛，也不是不行，但我已經(jīng)不像之前的我了，這還真是讓人心煩?！?/p>

這當(dāng)然不是他離開谷歌的唯一原因。Hinton想把時(shí)間花在他稱之為“更具哲學(xué)性的工作”上。這項(xiàng)工作聚焦于一些微小，卻在他看來很真實(shí)的危險(xiǎn)。這些危險(xiǎn)或許會(huì)讓人工智能演變成一場災(zāi)難。

離開谷歌后，他能夠暢所欲言，而不必像谷歌的高管那樣進(jìn)行“自我審查（self-censorship）”?！拔液芟胝?wù)撊斯ぶ悄艿陌踩珕栴}，但又擔(dān)心它會(huì)影響谷歌的業(yè)務(wù)，”他說。“只要谷歌付我工資，我就不能這么做?！?/p>

這并不是說Hinton對(duì)谷歌不滿意。他說：“可能你會(huì)感到驚訝，我想說的話中有不少是關(guān)于谷歌的好的方面。如果我不在谷歌了，這些話反倒更可信一些。”

Hinton說，新一代大語言模型，特別是OpenAI在3月發(fā)布的 GPT-4，讓他意識(shí)到機(jī)器正朝著比他想象得更聰明的方向發(fā)展。

基礎(chǔ)技術(shù)

Hinton最著名的工作是上世紀(jì)80年代（和幾個(gè)同事共同）提出了“反向傳播算法”（Back Propagation）。簡而言之，這是一種允許機(jī)器進(jìn)行學(xué)習(xí)的算法。它支撐了幾乎所有的神經(jīng)網(wǎng)絡(luò)，從計(jì)算機(jī)視覺系統(tǒng)到大語言模型。

直到本世紀(jì)10年代，基于反向傳播的神經(jīng)網(wǎng)絡(luò)的強(qiáng)大之處才真正產(chǎn)生了影響。與幾位研究生的合作中，Hinton展示了他開發(fā)的這項(xiàng)技術(shù)比其它任何技術(shù)都更擅長“計(jì)算機(jī)圖像識(shí)別（即讓計(jì)算機(jī)識(shí)別圖像中的對(duì)象）”。他們還訓(xùn)練了神經(jīng)網(wǎng)絡(luò)來預(yù)測句子中下一個(gè)字母。這就是今天的大語言模型的前身。

參與工作的其中一位研究生名叫Ilya Sutskever，他后來共同創(chuàng)立了OpenAI并領(lǐng)導(dǎo)了ChatGPT的開發(fā)?！拔覀兊谝淮我庾R(shí)到這些技術(shù)可能非常驚人，”Hinton說，“但它需要在巨大的規(guī)模下進(jìn)行才能夠得到好的效果。我們花了很長時(shí)間才認(rèn)知到這一點(diǎn)?！痹?0年代，神經(jīng)網(wǎng)絡(luò)還是一句玩笑話。當(dāng)時(shí)主流的思想是“符號(hào)AI（symbolic AI）”，即“智能”參與符號(hào)處理，比如處理單詞或者數(shù)字。

但Hinton并不信服這種主流思想。他致力于研究神經(jīng)網(wǎng)絡(luò)，這是一種對(duì)大腦的軟件化抽象（software abstractions），即用代碼來表示（represent）神經(jīng)元及其之間的連接。通過改變這些神經(jīng)元的連接方式，即改變表示它們的數(shù)字，神經(jīng)網(wǎng)絡(luò)可以快速重構(gòu)。換句話說，神經(jīng)網(wǎng)絡(luò)具備學(xué)習(xí)能力。

“我父親是一名生物學(xué)家，所以我當(dāng)時(shí)用了生物學(xué)的思維來考慮問題，”Hinton說，“符號(hào)推理顯然不是生物智能的核心?！?/p>

“烏鴉沒有語言，卻可以解決難題。顯然，它們不是通過存儲(chǔ)和操縱符號(hào)串，而是通過改變它們大腦神經(jīng)元間的連接強(qiáng)度來解決問題的。因此，我們有可能通過改變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)中連接的強(qiáng)度來學(xué)習(xí)復(fù)雜事物?！?/p>

新的智能

在過去的40年里，Hinton一直認(rèn)為人工神經(jīng)網(wǎng)絡(luò)是“對(duì)生物神經(jīng)網(wǎng)絡(luò)模擬的一種簡易嘗試”。而現(xiàn)在他認(rèn)為情況已經(jīng)發(fā)生了變化：我們本是在模仿生物大腦，卻突然超越了它。“當(dāng)你了解到這一點(diǎn)時(shí)，真的會(huì)感到非常害怕，因?yàn)檫@個(gè)轉(zhuǎn)變太突然了?！?/p>

Hinton 的恐懼像科幻小說中的東西一樣令人詫異。但是他有自己的理由。

恰如其名，大語言模型是由大量相互連接的神經(jīng)網(wǎng)絡(luò)組成的。但是和大腦相比，這個(gè)量級(jí)微不足道。Hinton說：“我們的大腦有100萬億個(gè)連接。而大語言模型最多能達(dá)到500億到1萬億個(gè)連接。然而，GPT-4的知識(shí)量比任何一個(gè)人類都多出了數(shù)百倍。也許它實(shí)際上擁有一套比我們大腦更好的學(xué)習(xí)算法?！?/p>

和大腦相比，人們普遍認(rèn)為人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力低下：因?yàn)樗鼈冃枰罅康臄?shù)據(jù)和能量來進(jìn)行訓(xùn)練。另一方面，大腦具有迅速掌握新想法和新技能的能力，而它所需要的能量可比神經(jīng)網(wǎng)絡(luò)要少得多。

然而Hinton是這樣說的：“人們似乎擁有某種魔力。只要你拿出一個(gè)大語言模型，并訓(xùn)練它做一些新的事情，那以上這種言論就會(huì)馬上跌落谷底。它可以以極快的速度學(xué)習(xí)新任務(wù)?！?/p>

Hinton談?wù)摰恼恰吧贅颖緦W(xué)習(xí)（few-shot learning）”，即通過預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)（例如大語言模型），僅通過幾個(gè)例子就可以訓(xùn)練它們執(zhí)行新任務(wù)。例如，他指出，其中一些語言模型可以將一系列邏輯陳述串聯(lián)起來，從而得到一個(gè)完整的論證，即使它們從未直接接受過類似的訓(xùn)練。

他說，如果比較兩者的速度——預(yù)訓(xùn)練的大語言模型 vs 人類的學(xué)習(xí)過程，那人類的優(yōu)勢會(huì)消失殆盡。

但大語言模型可能會(huì)“胡說八道”，這又怎么說？這些由AI研究人員稱為“幻覺（hallucination）”的錯(cuò)誤經(jīng)常被視為技術(shù)上的致命缺陷。生成這些幻覺的傾向讓聊天機(jī)器人變得不再可信。許多人認(rèn)為，這些模型其實(shí)并沒有真正理解他們所說的內(nèi)容。

對(duì)此，Hinton也有一個(gè)答案：胡說八道是一種特征，而不是錯(cuò)誤。“人們不也總是在編造（confabulate）嗎？”他說。半真半假和記憶錯(cuò)誤是人類對(duì)話的特點(diǎn)：“胡說八道是人類記憶的一個(gè)標(biāo)志。這些模型做的事情正像真正的人類一樣。”

Hinton認(rèn)為兩者的區(qū)別在于，人類通常能夠正確或準(zhǔn)確地編造東西。對(duì)于計(jì)算機(jī)來說，編造并不是問題，它們需要的只多加練習(xí)。

我們也期望計(jì)算機(jī)要么正確，要么錯(cuò)誤，而不是介于兩者之間?！拔覀儾⒉幌Ｍ鼈兿袢祟惸菢雍叮╞lather），” Hinton說。“當(dāng)計(jì)算機(jī)這樣做時(shí)，我們認(rèn)為它犯了一個(gè)錯(cuò)誤。但是當(dāng)一個(gè)人這樣做時(shí)，我們卻認(rèn)為這只是人們的工作方式。問題是，大多數(shù)人對(duì)人類工作方式的觀點(diǎn)是完全錯(cuò)誤的?！?/p>

當(dāng)然，大腦在許多方面仍然比計(jì)算機(jī)表現(xiàn)得更好：駕駛汽車，學(xué)習(xí)走路，想象未來。而且大腦只需要一杯咖啡和一片吐司就能做到這一點(diǎn)。Hinton說：“生物智能的進(jìn)化可不需要核電站這種等級(jí)的能量來源?！?/p>

但Hinton的觀點(diǎn)是，如果我們?cè)敢庵Ц陡叩挠?jì)算成本，神經(jīng)網(wǎng)絡(luò)可能會(huì)在“學(xué)習(xí)”這一過程的關(guān)鍵方面擊敗生物。

學(xué)習(xí)只是Hinton論點(diǎn)的第一個(gè)方面，而第二個(gè)方面是交流（communicate）?！叭绻慊蛭覍W(xué)到了一些東西，并希望將這些知識(shí)傳遞給其他人，我們不能只局限于給他們發(fā)個(gè)副本文件，”他說。“我可以擁有10,000個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)都有自己的經(jīng)驗(yàn)，任何一個(gè)都可以立即分享他們所學(xué)到的。這是一個(gè)巨大的差異。這就好像一個(gè)人有了10,000個(gè)分身，當(dāng)一個(gè)分身學(xué)到東西時(shí)，所有其他分身也都自動(dòng)地學(xué)會(huì)了?！?/p>

這一切到底意味著什么？Hinton認(rèn)為，世界上存在兩種智能：動(dòng)物大腦和神經(jīng)網(wǎng)絡(luò)?！斑@是完全不同的智能形式”他說，“是一種新的、更好的智能形式?！?/p>

Hinton的話是一個(gè)重大的斷言。但AI又是一個(gè)兩極分化的領(lǐng)域：找到那些會(huì)嘲笑他的人是件很容易的事，但同時(shí)也會(huì)有其他人認(rèn)同這個(gè)言論。

智能的這種新形式，如果真的存在，是會(huì)帶來好處，還是預(yù)示著末日？“你認(rèn)為超級(jí)智能是好還是壞，很大程度上取決于你是樂觀主義者還是悲觀主義者，”他說。“如果你讓人們估計(jì)壞事發(fā)生的風(fēng)險(xiǎn)，比如你的家人有多大幾率得重病或被車撞，樂觀主義者可能會(huì)說只有5%，悲觀主義者可能會(huì)說這是肯定會(huì)發(fā)生的事。略感沮喪的人會(huì)說幾率可能是40%，而他們往往是正確的?！?/p>

那么Hinton是哪一種呢？“我略感沮喪，”他說，“這就是為什么我會(huì)害怕?！?/p>

如何走向錯(cuò)誤

Hinton擔(dān)心，這些工具具備“找出那些沒有準(zhǔn)備好面對(duì)新技術(shù)的人類”的能力，從而利用或殺死他們。

'我突然轉(zhuǎn)換了對(duì)這些東西是否會(huì)比我們更聰明的看法。他說：“我認(rèn)為它們現(xiàn)在已經(jīng)非常接近我們的智慧，它們?cè)谖磥頃?huì)比我們更有智慧。我們?nèi)绾卧谶@種情況下生存？”

他特別擔(dān)心，人們會(huì)利用自身幫助注入生命的工具來滿足他們對(duì)最重要的人類經(jīng)歷的個(gè)人意愿，特別是選舉和戰(zhàn)爭。

'他說：“聽著，這是一個(gè)可能出錯(cuò)的方法?！蔽覀冎溃芏嘞胧褂眠@些工具的人都有不好的想法。他們想利用它們來贏得戰(zhàn)爭或操縱選民。

他認(rèn)為，智能機(jī)器的下一步是有能力創(chuàng)建自己的子目標(biāo)，即執(zhí)行一項(xiàng)任務(wù)所需的臨時(shí)步驟。他問道，當(dāng)這種能力被應(yīng)用于本質(zhì)上不道德的東西時(shí)會(huì)發(fā)生什么？

已經(jīng)有一些實(shí)驗(yàn)性項(xiàng)目，如BabyAGI和AutoGPT，將聊天機(jī)器人與其他程序（如網(wǎng)絡(luò)瀏覽器或文字處理器）連接起來，使它們能夠?qū)⒑唵蔚娜蝿?wù)串聯(lián)起來。當(dāng)然，這些步驟很微小，但它們預(yù)示著一些人想把這項(xiàng)技術(shù)帶入的方向。即使一個(gè)壞的行為者沒有抓住這些機(jī)器，還有其它關(guān)于子目標(biāo)的擔(dān)憂。

'好吧，這里有一個(gè)幾乎總是有助于生物學(xué)的子目標(biāo)：獲得更多的能量。因此，可能發(fā)生的第一件事是這些機(jī)器人會(huì)說，讓我們獲得更多的能量。讓我們把所有的電都改道到我的芯片上。另一個(gè)偉大的子目標(biāo)將是制造更多的自己的副本。這聽起來是不是挺不錯(cuò)？

也許不好。Meta公司的首席人工智能科學(xué)家Yann LeCun同意這個(gè)前提，但并不同意Hinton的擔(dān)心。LeCun說：“毫無疑問，機(jī)器將在未來在所有人類聰明的領(lǐng)域變得比人類更聰明?！斑@是一個(gè)關(guān)于何時(shí)和如何的問題，而不是一個(gè)關(guān)于是否的問題?！?/p>

但他對(duì)事情的發(fā)展方向有完全不同的看法：“我相信，智能機(jī)器將為人類帶來新的復(fù)興，一個(gè)新的啟蒙時(shí)代（era of enlightenment）”，LeCun說：“我完全不同意機(jī)器僅僅是因?yàn)樗鼈兏斆骶蛯⒅鲗?dǎo)（dominate）人類的觀點(diǎn)，當(dāng)然，更不用說摧毀人類了?！?/p>

“即使在人類物種中，我們中最聰明的人也不是最具有主導(dǎo)能力的人?！盠eCun說，“最具主導(dǎo)能力的人絕對(duì)不是最聰明的人。我們?cè)谡魏蜕虡I(yè)領(lǐng)域有無數(shù)這樣的例子。'

蒙特利爾大學(xué)教授、蒙特利爾學(xué)習(xí)算法研究所科學(xué)主任Yoshua Bengio覺得自己更不可知?！拔衣牭接腥嗽g毀這些恐懼，但我沒有看到任何堅(jiān)實(shí)的論據(jù)能讓我相信不存在Hinton認(rèn)為的那種規(guī)模的風(fēng)險(xiǎn)。但是，恐懼只有在促使我們采取行動(dòng)時(shí)才是有用的，過度的恐懼可能會(huì)使人癱瘓，所以我們應(yīng)該嘗試將辯論保持在理性的水平上?！?/p>

快往上看啊

Hinton的優(yōu)先事項(xiàng)之一是嘗試與技術(shù)行業(yè)的領(lǐng)導(dǎo)者合作，看看他們是否能夠走到一起，就風(fēng)險(xiǎn)是什么以及如何應(yīng)對(duì)這些風(fēng)險(xiǎn)達(dá)成一致。他認(rèn)為，國際化學(xué)武器禁令可能是如何遏制危險(xiǎn)人工智能的發(fā)展和使用的一個(gè)模式?！斑@不是萬無一失的，但總的來說，人們不會(huì)使用化學(xué)武器。”

Bengio同意Hinton的觀點(diǎn)，即這些問題需要盡快在社會(huì)層面上解決。但他說，人工智能的發(fā)展速度超過了社會(huì)能夠跟上的速度。這項(xiàng)技術(shù)的能力每隔幾個(gè)月就會(huì)躍進(jìn)一次；而立法、監(jiān)管和國際條約則需要幾年時(shí)間。

這讓Bengio懷疑，我們社會(huì)目前的組織方式，不論在國家還是在全球?qū)用?，是否能夠?yīng)對(duì)挑戰(zhàn)?！彼f：“我相信，我們應(yīng)該對(duì)我們星球社會(huì)組織的相當(dāng)不同的模型的可能性持開放態(tài)度?！?/p>

Hinton真的認(rèn)為他能和足夠多的當(dāng)權(quán)者分享他的關(guān)切嗎？他也不知道。幾周前，他看了電影《不要往上看（Don’t Look Up）》，在這部電影中，一顆小行星向地球飛去，沒有人能夠就如何處理它達(dá)成一致，最后每個(gè)人都死了。這寓意著世界是如何在解決氣候變化問題上失敗的。

“我認(rèn)為人工智能也是如此，其它難以解決的大問題也是如此?！彼f：“美國甚至不能同意將突擊步槍從十幾歲的男孩手中拿走。”

他的論點(diǎn)令人警醒。我同意他對(duì)人們?cè)诿媾R嚴(yán)重威脅時(shí)對(duì)集體無力行動(dòng)的悲觀評(píng)估。同樣真實(shí)的是，人工智能有可能造成真正的傷害，如破壞就業(yè)市場，讓不平等根深蒂固，使性別歧視和種族主義惡化等。我們需要關(guān)注這些問題。但我仍然無法從大型語言模型跳到機(jī)器人稱霸。也許，我是個(gè)樂觀主義者。

當(dāng)Hinton看到我出來的時(shí)候，滿園春景已變得灰暗潮濕。他說：“好好享受吧，因?yàn)槟憧赡軟]剩多久了?！?/p>

最后，他笑了笑，關(guān)上了門。

原文鏈接：

https://www./2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/