ChatGPT上線僅2個(gè)多月，就已火遍全球，月活用戶超過1個(gè)億。

ChatGPT不僅可以作為一款功能強(qiáng)大的搜索引擎，陪人們娛樂聊天，還能完成寫文章、敲代碼、翻譯等工作。在美國(guó)，有學(xué)生用ChatGPT生成的論文拿到了全班最高分。由于它過于強(qiáng)大，人類開始為自己感到擔(dān)憂，會(huì)不會(huì)被AI控制？是否會(huì)取代人類的工作崗位？

這個(gè)“無(wú)所不能”的ChatGPT到底是什么？澎湃問吧邀請(qǐng)上海人工智能研究院研究員陳逸君，一起聊聊ChatGPT以及AI的發(fā)展變遷。

點(diǎn)擊圖片即可提問

對(duì)人類社會(huì)的影響

@a勇188：會(huì)有很多人因?yàn)镃hatGPT失業(yè)嗎？

陳逸君：我認(rèn)為這個(gè)問題需要辯證地去看待。短期來(lái)看一些諸如客服、公文寫作、數(shù)據(jù)分析等較為基礎(chǔ)的崗位可能會(huì)被取代。但就目前的情況而言，我認(rèn)為人工智能在未來(lái)歷史的很長(zhǎng)時(shí)期內(nèi)都無(wú)法取代人類創(chuàng)造性的腦力活動(dòng)，它實(shí)質(zhì)上并不具有真正的思辨能力。而且，人工智能的迅速發(fā)展又會(huì)創(chuàng)造很多需要?jiǎng)?chuàng)造性勞動(dòng)的崗位，長(zhǎng)期來(lái)看有益于人類的發(fā)展。正如蒸汽機(jī)替代馬車一樣，馬車夫這一行業(yè)漸漸消失了，但更多的機(jī)會(huì)涌現(xiàn)了，人類的生產(chǎn)效率也得到了飛速提升。我認(rèn)為應(yīng)當(dāng)樂觀地看待這件事情。

@澎湃網(wǎng)友6RVv6j：ChatGPT會(huì)不會(huì)自行發(fā)展智慧，最后擺脫人類控制？

陳逸君：我認(rèn)為目前來(lái)看不可能。ChatGPT是OpenAI公司基于GPT-3模型開發(fā)的生成式聊天機(jī)器人應(yīng)用。而GPT-3是一種基于深度神經(jīng)網(wǎng)絡(luò)的大型預(yù)訓(xùn)練語(yǔ)言模型。以我對(duì)目前深度神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練方式和模型結(jié)構(gòu)的了解，其運(yùn)作原理與生物大腦有著深刻的本質(zhì)性的區(qū)別。ChatGPT更像是對(duì)全球人類歷史經(jīng)驗(yàn)的一個(gè)總結(jié)，卻不具備真正意義上的思辨能力，因而以當(dāng)前的技術(shù)路線發(fā)展下去的話，無(wú)法完成您所描述的自我演化。

@橙子靚靚：在一些科幻電影中，人工智能可以不斷學(xué)習(xí)人類的語(yǔ)言，最終擁有和人類類似的思想。ChatGPT是否擁有這樣的學(xué)習(xí)能力，未來(lái)AI能夠進(jìn)步到可以給人類提供情緒價(jià)值，甚至變成線上伴侶嗎？

陳逸君：ChatGPT經(jīng)過大量數(shù)據(jù)的訓(xùn)練，對(duì)人類交流的模仿已經(jīng)到了真?zhèn)坞y辨的地步。如果算力和容量能夠無(wú)限堆積，ChatGPT應(yīng)該能在這條“形似”的路線上走到極致，一定程度上或許能滿足用戶的情緒價(jià)值需求。

但是，他始終是在已經(jīng)看到過的歷史信息中尋找相似的答案進(jìn)行反饋。在和他的對(duì)話中，能夠清晰感覺到他沒有邏輯思辨能力，無(wú)法舉一反三，沒有創(chuàng)造性和發(fā)散性的思維。通過訓(xùn)練，他或許知道某段文字在統(tǒng)計(jì)概率上分屬哪一類情感，但是他始終不會(huì)形成自己的人格。就個(gè)人觀點(diǎn)而言，比起與一個(gè)把模仿做到極致的機(jī)器人聊天，我更會(huì)被人類創(chuàng)作的包含情感和理性的音樂、文學(xué)、電影、游戲等作品感動(dòng)。

本質(zhì)上，ChatGPT所基于的可微分的人工神經(jīng)網(wǎng)絡(luò)，與生物脈沖神經(jīng)網(wǎng)絡(luò)的運(yùn)作機(jī)制有著巨大區(qū)別。AI通過訓(xùn)練得到知識(shí)的過程，也與人類對(duì)世界的認(rèn)知方式有著天壤之別。如果您所希望的產(chǎn)物是強(qiáng)人工智能的伴侶，目前的技術(shù)路線下，我認(rèn)為很難實(shí)現(xiàn)。究竟人類的“思考”、“情緒”等能力的本質(zhì)是什么，還有待腦神經(jīng)科學(xué)研究的進(jìn)步發(fā)展來(lái)揭示。

ChatGPT的技術(shù)邏輯

@Edwards：請(qǐng)問ChatGPT對(duì)政治問題的回答邏輯是怎么實(shí)現(xiàn)的？

陳逸君：ChatGPT對(duì)于所有問題的回答邏輯都是一致的。他所基于的GPT-3是一種大型預(yù)訓(xùn)練語(yǔ)言模型。每時(shí)每刻發(fā)生在全球互聯(lián)網(wǎng)中的所有語(yǔ)料，都可以成為它的訓(xùn)練材料。他擁有1750億參數(shù)，這些參數(shù)被訓(xùn)練后記憶了大量信息，如果您輸入的問題（或描述）與他曾經(jīng)看到的某些信息很相像，他便可以輸出對(duì)應(yīng)答案或下文。不過，ChatGPT中還加入了某些檢測(cè)機(jī)制，因此對(duì)于一些較為敏感的問題，會(huì)選擇拒絕或回避回答。

@大大大寶劍：基于GPT-3的訓(xùn)練需要很大的成本嗎？有報(bào)道說(shuō)ChatGPT一次訓(xùn)練要1200美元。具體是怎么訓(xùn)練的？

陳逸君：GPT-3目前已經(jīng)把模型參數(shù)增加到了1750億，訓(xùn)練數(shù)據(jù)規(guī)模也達(dá)到了45TB。想必通過這兩個(gè)數(shù)字，也能直觀感受到其巨大的算力開銷。我們所說(shuō)的包括GPT在內(nèi)的深度學(xué)習(xí)模型，通常都是指基于深度人工神經(jīng)網(wǎng)絡(luò)的算法模型，也有另一類基于脈沖神經(jīng)網(wǎng)絡(luò)的研究。其最基本的訓(xùn)練方式是構(gòu)造最小化損失函數(shù)對(duì)梯度進(jìn)行求導(dǎo)，利用反向傳播進(jìn)行參數(shù)更新。通俗一點(diǎn)理解的話，可以把1750億個(gè)參數(shù)都想象成自變量，把損失函數(shù)想象成因變量，它們之間的關(guān)系是非線性的且無(wú)法直觀獲得的。

理論上，依據(jù)鏈?zhǔn)角髮?dǎo)法則對(duì)這樣一個(gè)龐大的關(guān)系式進(jìn)行微分，可以實(shí)現(xiàn)梯度的反向傳播，從而更新參數(shù)。而在計(jì)算機(jī)中，這一過程采用一種叫做自動(dòng)微分的算法實(shí)現(xiàn)。超大型預(yù)訓(xùn)練模型對(duì)GPU算力資源的要求非常高，而且可能需要分布式的計(jì)算資源協(xié)同完成，因而還會(huì)產(chǎn)生網(wǎng)絡(luò)開銷。這些都是普通用戶或中小型公司所不具備的。

新一輪AI革命

@SELINAA：在ChatGPT之前已經(jīng)有過很多聊天機(jī)器人，比如蘋果的SIRI。請(qǐng)問它爆紅的原因是什么，在技術(shù)領(lǐng)域有什么突破性的進(jìn)步？

陳逸君：我認(rèn)為您所想了解的突破性進(jìn)步，大概發(fā)生在2017年。Transformer模型和注意力機(jī)制的提出改變了整個(gè)AI界，其首先在自然語(yǔ)言處理任務(wù)上展現(xiàn)出非凡的能力，之后又不斷演化，并被用于圖像處理、聲音處理甚至多模態(tài)的任務(wù)當(dāng)中。通俗來(lái)講，注意力機(jī)制使模型更加關(guān)注重要的信息，而忽略不重要的信息，使得同樣的參數(shù)量下模型能力得到質(zhì)的飛躍。

追根溯源，ChatGPT背后的模型正是Transformer。Transformer當(dāng)年早已火遍學(xué)術(shù)圈，而ChatGPT現(xiàn)在才火出圈，我認(rèn)為是更強(qiáng)的算力、更大的模型從量變產(chǎn)生了質(zhì)變。正如您所說(shuō)，SIRI、Cortana等應(yīng)用對(duì)自然語(yǔ)言的理解往往不盡如人意，而ChatGPT擁有千億級(jí)的參數(shù)，能夠在模型隱藏層中記憶更多信息，并且能夠把用戶的提示信息和自己的上一次輸出包含在下一次的輸入當(dāng)中，理解上下文依賴關(guān)系。

模型的膨脹、算力的擴(kuò)張，理論上可以不斷堆積下去，AI便能記住更多和更久遠(yuǎn)的信息。只要能找到合適的模型訓(xùn)練方法，這條技術(shù)路線能在對(duì)人類的“形似”上走到極致，讓AI能夠回答任何有答案的問題。這究竟算不算一種突破性的進(jìn)步，相信您有自己的判斷。

@非我惟主：新聞?wù)f阿里巴巴正研發(fā)"阿里版"ChatGPT，目前處于內(nèi)測(cè)階段。請(qǐng)問中國(guó)版與原版將會(huì)有何不同？未來(lái)會(huì)強(qiáng)過對(duì)方嗎？

陳逸君：ChatGPT所基于的GPT-3模型在2021年被復(fù)現(xiàn)，目前處于開源的狀態(tài)，因而無(wú)論哪家公司去做ChatGPT，其理論基礎(chǔ)都是相同的。但是，ChatGPT需要使用大量語(yǔ)料進(jìn)行預(yù)訓(xùn)練，而全球互聯(lián)網(wǎng)中英語(yǔ)使用頻率遠(yuǎn)高于其他語(yǔ)言。英語(yǔ)與中文在語(yǔ)言特性上有著巨大差異，因此，OpenAI的ChatGPT對(duì)于中文是缺少優(yōu)化的。

阿里、百度等企業(yè)作為其所處領(lǐng)域的行業(yè)巨頭，在中文環(huán)境下?lián)碛衅渌髽I(yè)所不可比擬、無(wú)法獲得的海量數(shù)據(jù)信息。利用這些數(shù)據(jù)對(duì)ChatGPT進(jìn)行預(yù)訓(xùn)練，并且針對(duì)中文的語(yǔ)言特點(diǎn)進(jìn)行模型優(yōu)化、剪枝等等，將使得他們做出來(lái)的ChatGPT在中文互聯(lián)網(wǎng)環(huán)境中表現(xiàn)更為優(yōu)異。未來(lái)，在工程化和應(yīng)用方面，我認(rèn)為“中國(guó)版”一定會(huì)在某些領(lǐng)域發(fā)揮自己的特色。

@江海云鶴：除了ChatGPT外，目前比較有名的人工智能軟件還有哪些？它們各有哪些功能和特點(diǎn)？

陳逸君：從廣義的軟件定義來(lái)講，人工智能技術(shù)早已滲透在我們?nèi)粘Ｉ畹姆椒矫婷?。我們手機(jī)、平板里的修圖軟件、會(huì)議軟件等等，目前普遍集成了基于深度學(xué)習(xí)的圖像、視頻處理技術(shù)；我們使用的聊天軟件中，也廣泛采用了語(yǔ)音識(shí)別、文字生成技術(shù)；而在駕駛導(dǎo)航、車路協(xié)同、自動(dòng)駕駛等領(lǐng)域，更是融合了處理多模態(tài)時(shí)序數(shù)據(jù)相關(guān)的人工智能技術(shù)……此等事例不勝枚舉。作為科研工作者，用于輔助代碼編寫的工具Copilot極大提高了我的工作效率。此外，我比較關(guān)注最新涌現(xiàn)的基于擴(kuò)散模型的相關(guān)應(yīng)用， 如AI作畫的 Stable Diffusion 和音頻生成的AudioLDM等等。