ChatGPT 剖析、技術(shù)優(yōu)化到 AGI 體系化、工程化

520jefferson 2023-04-14 發(fā)布于中國臺灣

展開全文

導(dǎo)讀 本次分享題目為 ChatGPT 技術(shù)剖析、工程應(yīng)用到可工程化 AGI。也是作者第一次對可工程化的通用人工智能進(jìn)行公開講課，這一塊基本超出了所有人的認(rèn)知，所以完全看懂需要大量的知識儲備。

主要內(nèi)容包括：

1. 為學(xué)日益（ChatGPT 剖析：ChatGPT 如何學(xué)到社交型高級推理能力）

2. 學(xué)以致用（ChatGPT 工程化：輔助編程，如何從問題尋“道”）

3. 為道日損（ChatGPT AGI 化：如何擴(kuò)展到通用人工智能）

4. 道人無為（AGI 展望：如何讓通用人工智能工程化、產(chǎn)業(yè)化）

分享嘉賓｜裘炅責(zé)聯(lián)科技首席技術(shù)專家、《責(zé)任信息學(xué)》責(zé)聯(lián)網(wǎng)、盡責(zé)學(xué)習(xí)創(chuàng)始人

編輯整理｜王來奇

出品社區(qū)｜DataFun

ChatGPT 剖析（為學(xué)日益）

1. 認(rèn)知模型

首先對 ChatGPT 模型進(jìn)行一下剖析，為什么 ChatGPT 會出現(xiàn)涌現(xiàn)呢？為了方便大家的理解，這里以微觀世界為例水分子為提示（Prompt）如何出現(xiàn)涌現(xiàn)的過程。把 ChatGPT 的知識集比作萬物，強化訓(xùn)練相當(dāng)于一個物質(zhì)爆破機(jī)，用于拆解萬物中的化學(xué)結(jié)構(gòu)、元素、鍵值等，拆解后便形成了包含萬物化學(xué)結(jié)構(gòu)庫和各種權(quán)重、關(guān)聯(lián)指數(shù)的高參數(shù)的大語言模型（Large Language Model，簡稱 LLM，175B 參數(shù)的 GPT-3.5）。接下來就可以使用生成的 LLM。通過提示（Prompt）的方式對水進(jìn)行描述，爆破機(jī)就會對水分子進(jìn)行拆解，生成帶有意圖的 Token 矩陣，去 LLM 中找相關(guān)知識就會找到液態(tài)、氣態(tài)、固態(tài)水分子，即目標(biāo) Tokens 生成，合成獲得所需要的微水滴，最終出現(xiàn)涌現(xiàn)狀態(tài)。整個抽象出來的 ChatGPT 的認(rèn)知模型如圖 1 所示。

主要出錯點在：知識的“純”度、強化預(yù)訓(xùn)練方式、大模型的管理機(jī)制、聊天的機(jī)制上。

圖1 ChatGPT 總體示意圖（綠色模型相關(guān)，紅色為對話相關(guān)）

2. 模型即服務(wù)

模型即服務(wù)，ChatGPT 模型作為服務(wù)前需要進(jìn)行三方面的工作內(nèi)容。首先搜集用于訓(xùn)練 LLM 模型的數(shù)據(jù)集，用于訓(xùn)練模型的數(shù)據(jù)集是比較龐大的，包含維基百科、書籍、期刊、Reddit 鏈接、Common Crawl、Github 等其他數(shù)據(jù)集。其次選用 GPT-3.5 作為初始化的語言模型，該語言具有 1750 億的參數(shù)，使用 RLFH（Reinforcement Learning from Human Feedback，RLHF）這種基于人類反饋的訓(xùn)練范式進(jìn)行訓(xùn)練。最后是對訓(xùn)練出來的 ChatGPT 模型進(jìn)行優(yōu)化，主要包含模型效率、非注意力機(jī)制的建模、稀疏路由等方面的優(yōu)化；對預(yù)訓(xùn)練算法方面的優(yōu)化主要包含知識更新、知識嵌入、訓(xùn)練效率提升等。OpenAI 把訓(xùn)練出來的模型代碼統(tǒng)稱為 Text-davinci-003 供用戶使用。具體發(fā)展歷程可以看圖 2。

圖2 模型即服務(wù)數(shù)據(jù)和演進(jìn)過程

有了服務(wù)之后，就要開始滿足不同的需求。比如知識匹配方式，如圖 3 中右上角的坐標(biāo)塊所示，2021 年底提示微調(diào)（Prompt tuning）是最優(yōu)的方式，當(dāng)然現(xiàn)在是提示工程了。另外，需求是在不斷變化的，ChatGPT 可能只是整個協(xié)同中的一個環(huán)節(jié)，數(shù)據(jù)集也可能在不斷擴(kuò)大和更新，因此服務(wù)要去不斷適應(yīng)需求。

圖3 服務(wù)如何滿足需求

3. 前端應(yīng)用

模型進(jìn)行前端應(yīng)用前需要進(jìn)行用戶調(diào)試、運維方面的工作。在提高效率方面包括 Delta-Tuning、Y-Tuning、Block-Box Tuning 等調(diào)效算法。在上下文學(xué)習(xí)方面使用統(tǒng)一的范式 RLHF 這種基于人類反饋的強化學(xué)習(xí)，使模型最終與人類思維鏈一樣，不需要參數(shù)更新即可進(jìn)行正確學(xué)習(xí)。ChatGPT 模型作為前端應(yīng)用前需要進(jìn)行的調(diào)試工作如圖 4 所示。

圖4 ChatGPT 前端應(yīng)用及范式變化

4. 內(nèi)部結(jié)構(gòu)

下圖中列出了 ChatGPT 的內(nèi)部結(jié)構(gòu)。這里 Text-davici-003 和 Code-davici-002 的邊界不一定如圖 5 這樣清晰，而且很可能都融合在一起了。

圖5 ChatGPT 的內(nèi)部結(jié)構(gòu)及對外接口

5. 對外接口

OpenAI 內(nèi)部模型經(jīng)過幾代演變后，最終提供了對外的統(tǒng)一接口 API。如圖 5 所示，對外接口 API 包含的主要參數(shù)有 Prompt 是用戶輸入的提示內(nèi)容，max_tokens 是控制文本的長度，temperature 參數(shù)的大小具有隨機(jī)性，取值范圍在 0 到 1 之間，參數(shù) top_p 用于控制生成的精度，取值范圍在 0 到 1 之間，stop 參數(shù)生成文本的終止標(biāo)志?；?ChatGPT 提供的 API 從輸入到輸出的示例如圖 6 所示。

圖6 ChatGPT 的 API

ChatGPT 工程化

（學(xué)以致用，以軟件編程為例）

目前 ChatGPT 在工程化方面的能力還處于較低的等級，只能做輔助工作，如輔助編程、輔助文檔、輔助測試等。之所以工程化等級比較低的水平，是因為該模型的工程化認(rèn)知能力不夠，還需要進(jìn)一步的發(fā)展。ChatGPT 在工程化上的對應(yīng)等級如圖 7 所示。

在工程上，僅有技術(shù)是不夠的，三分技術(shù)七分管理，技術(shù)應(yīng)該是為管理服務(wù)的。

圖7 工程化認(rèn)知水平（ChatGPT 處于輔助層）

要想提高 ChatGPT 工程化的能力，需要從以下幾方面著手。需要將輔助編程放在一個完整的體系化中來考量，即輔助編程來提高效能目標(biāo)，實現(xiàn)效能指標(biāo)的傳遞，迭代并持續(xù)提升 ChatGPT 的輔助編程能力，如圖 8 所示。

圖8 從體系化看輔助編程

提高 ChatGPT 工程化能力的策略目標(biāo)有如下幾種：CollabChain、SDLM、Online 等，其中輔助編程主要包含代碼開發(fā)和質(zhì)量檢測，具體應(yīng)用研發(fā)全域度量（Application Development Lifecycle Measurement，ADLM）如圖 9 所示。

圖9 ChatGPT 輔助工作可以發(fā)揮作用的方面（綠色或偏綠部分）

更具體的，可以如圖 10 所示，在進(jìn)行 ChatGPT 工程化過程中涉及到的有效任務(wù)指標(biāo)責(zé)任化中包含的實現(xiàn)層、工程效能。同時還需要專門有人來審核，并根據(jù)審核流程來擔(dān)責(zé)。

圖10 更細(xì)化的應(yīng)用領(lǐng)域和方式

如圖11 所示，輔助編程也可以借助于模板技術(shù)、系統(tǒng)工程來提升，這樣可以從助手到幫手，再到顧問。在進(jìn)行 ChatGPT 工程化過程中涉及到的相關(guān)問題源有，需要編寫合適的 Prompt 進(jìn)行理解自身角色，了解任務(wù)過程是干什么的，以及輸出的結(jié)果。代碼質(zhì)量檢查任務(wù)包含：代碼可理解性、代碼執(zhí)行效率、代碼全路徑測試驗證等。在理解需求輔助編程方面要找全需求中不確定的部分、需求理解的邏輯能力、需求詳細(xì)設(shè)計輔助能力等。

圖11 輔助編程的層次可以不斷提升

對于 ChatGPT 擴(kuò)展式輔助編程設(shè)計方面包含知識庫擴(kuò)展、自然語言接口、人-機(jī)協(xié)同模式的改變、多智能體機(jī)制管理、開發(fā)基于知識生成的搜索引擎、信息推送過程知識管理、理清當(dāng)前知識邊界、理清歷史演變過程摘要等。工程化可以支持多個 LLM，比如與自建的 LLM 結(jié)合。

ChatGPT AGI 化（為道日損）

人工智能工程化的思路是加州大學(xué)伯克利分校的邁克爾·喬丹院士提出來的，他認(rèn)為 2018 年的 AI 與 1950 年前后的化工差不多，只有打好工程化的數(shù)理基礎(chǔ)才能產(chǎn)業(yè)化，后面美國國家計劃也放在卡耐基·梅隆大學(xué)。在這個思路下通用人工智能（AGI）不應(yīng)該僅僅只是圖靈機(jī)的層面，而應(yīng)該是一項能夠改造所有業(yè)務(wù)領(lǐng)域的革命性技術(shù)，因此可以將通用人工智能定義為：所有軟件都 AI 化 + 人類知識工程化。

目前 ChatGPT 工程化還存在重大缺陷，比如一個優(yōu)秀的程序員能夠解決復(fù)雜的問題，卓越的程序員能夠處理產(chǎn)品模糊問題，頂尖程序員能夠探索人類未來即學(xué)無止境。從學(xué)無止境的角度來說我們可以定義為簡單問題、復(fù)雜問題、模糊問題、未知問題。我們把整個尋“道”就稱為風(fēng)險，因此核心問題是對風(fēng)險的管控?？梢园扬L(fēng)險分為簡單風(fēng)險、復(fù)雜風(fēng)險、模糊風(fēng)險、未知風(fēng)險四個級別。

圖12 機(jī)器學(xué)習(xí)的本質(zhì)是什么？

從圖 12 可以看出整個機(jī)器學(xué)習(xí)的本質(zhì)就是對風(fēng)險的學(xué)習(xí)也叫對風(fēng)險的認(rèn)知管理，通用人工智能的核心就是要管理模糊風(fēng)險和未知風(fēng)險，因此我們要對風(fēng)險進(jìn)行數(shù)量化，這時對于簡單風(fēng)險適用的數(shù)學(xué)機(jī)制就是概率統(tǒng)計、區(qū)間數(shù)學(xué)、貝葉斯網(wǎng)絡(luò)等；對于復(fù)雜風(fēng)險適用的數(shù)學(xué)機(jī)制是模糊數(shù)學(xué)、粗糙集、聚類、圖論等；對于模糊風(fēng)險適用的數(shù)學(xué)機(jī)制是注意力參數(shù)化、軟集等；對于不可預(yù)知風(fēng)險適用的數(shù)學(xué)機(jī)制是構(gòu)建新的數(shù)學(xué)認(rèn)知集。風(fēng)險種類和適用數(shù)學(xué)機(jī)制以及量化級別對應(yīng)關(guān)系如圖 13 所示。

圖13 智能計算的數(shù)學(xué)體系化

ChatGPT 模型 AGI 化過程中軟件開發(fā)數(shù)學(xué)示例中包含的風(fēng)險層、風(fēng)險論域、風(fēng)險參數(shù)和模糊軟集的對應(yīng)關(guān)系如圖 14 所示。

圖14 ChatGPT AGI 可以采用的數(shù)學(xué)

在工程化的 AGI 中，我們首先需要把不同的風(fēng)險給定義出來，如：創(chuàng)新風(fēng)險、倫理風(fēng)險、社會風(fēng)險、道德風(fēng)險、法律風(fēng)險、安全風(fēng)險、組織風(fēng)險等，然后用數(shù)學(xué)進(jìn)行建模。其次就是認(rèn)知方面：經(jīng)驗函數(shù)、注意力、先驗知識。最后就是責(zé)任：距離函數(shù)、量化知責(zé)、量化履責(zé)。我們就把可工程化的 AGI 定義為盡責(zé)學(xué)習(xí)，包含三大方面的內(nèi)容：量化明責(zé)、量化履責(zé)、量化評責(zé)，具體內(nèi)容如下圖所示。

圖15 盡責(zé)學(xué)習(xí)的形式化描述

最終通過定義各個階段的目標(biāo)如：風(fēng)險時空自動化、責(zé)任時空、目標(biāo)責(zé)任清單、量化明責(zé)、量化履責(zé)、目標(biāo)盡責(zé)使得 AGI 工程化后可以勝任各崗位，具體流程如圖 16 所示。

圖16 AGI 工程化的原理

ChatGPT 展望

對于 AGI 產(chǎn)業(yè)化、工業(yè)化方面，有以下幾點展望。

（1）編程語言大一統(tǒng)，并不是要廢除原有的語言，而是要實現(xiàn)人工智能時代的大一統(tǒng)機(jī)制，并實現(xiàn) AI 的自動編程。

根據(jù)不同的風(fēng)險進(jìn)行指標(biāo)優(yōu)化，形成自動化編程機(jī)制，我們稱為基于風(fēng)險的編程機(jī)制，可以兼容統(tǒng)一面向過程、面向?qū)ο蟆⒚嫦蚍矫?、低代碼編程語言，還可以兼容統(tǒng)一各種人工智能模型、數(shù)據(jù)治理模型和風(fēng)險模型。

（2）人工智能自動化，包括 AGI 機(jī)器人，AGI 智能網(wǎng)聯(lián)等，按圖 16 的機(jī)制進(jìn)行展開，可以實現(xiàn)通用人工智能時代的綜合產(chǎn)品，比如 L4（或 L5）的智能網(wǎng)聯(lián)汽車等。

（3）管理智能化，即現(xiàn)在常說的數(shù)字化、智能化轉(zhuǎn)型，從無管理，到 PKI、OKR，再到戰(zhàn)略績效、使命驅(qū)動，從精益管理到卓越管理，再到更高的管理機(jī)制，實現(xiàn)技術(shù)、管理和文化的融合。

（4）芯片認(rèn)知化，包括腦機(jī)接口+認(rèn)知芯片，光量子化，電子化等。

（5）超級人工智能方面取得突破。

今天的分享就到這里，謝謝大家。

分享嘉賓

INTRODUCTION

裘炅

責(zé)聯(lián)科技

首席技術(shù)專家、《責(zé)任信息學(xué)》責(zé)聯(lián)網(wǎng)、盡責(zé)學(xué)習(xí)創(chuàng)始人

2004 年浙江大學(xué)博士畢業(yè)，著有《責(zé)任信息學(xué)》，主導(dǎo)研發(fā)的平臺產(chǎn)品是責(zé)聯(lián)網(wǎng)，另外還有《風(fēng)險認(rèn)知學(xué)》、《人工智能學(xué)》未出版，首次提出可工程化的通用人工智能。