??作者主頁：小虛竹

??作者簡介：大家好,我是小虛竹。2022年度博客之星評選TOP 10??，Java領(lǐng)域優(yōu)質(zhì)創(chuàng)作者??，CSDN博客專家??，華為云享專家??，掘金年度人氣作者??，阿里云專家博主??，51CTO專家博主??

??技術(shù)活，該賞

??點贊 ?? 收藏 ?再看，養(yǎng)成習(xí)慣

零：前言

虛竹哥最近發(fā)現(xiàn)，當(dāng)國外OpenAI的權(quán)力的游戲反轉(zhuǎn)再反轉(zhuǎn)的時候，國內(nèi)的AI創(chuàng)業(yè)者們除了吃瓜之外也沒閑著。

有很多程序員正在AIGC賽道中默默發(fā)財，有通過短視頻做內(nèi)容爆火，接廣告的；有賣AI解決方案的；有賣AI課程的；也有賣AI產(chǎn)品，慢慢做大做強的…更不必說，那些拿下“人均年薪100萬”大模型相關(guān)崗位的“贏家們”。

你看，拼多多殺入大模型，狂發(fā)年薪百萬的大模型offer。vivo副總裁周圍也表示目前vivo大模型的人才成本平均稅后為100萬元。而且通過今年的秋招，我們能看到，大平臺都在找懂大模型的人，而NLP算法工程師、深度學(xué)習(xí)等崗位更是大模型人才市場里最為緊缺和急需的頭批人才。

一、顯然，率先擁抱AI的人，已經(jīng)拿到了新世界的入場券。

虛竹哥希望能夠幫助粉絲朋友們迅速地抓住機遇，吃上大模型時代紅利，為此，帶來了這本由新加坡科技研究局人工智能高級研究員黃佳編寫的**《GPT圖解大模型是怎樣構(gòu)建的》**。

不管你是NLP領(lǐng)域?qū)W生、研究人員，還是對ChatGPT和生成式模型有興趣的人，亦或是基礎(chǔ)不深，但是想入門AI的初學(xué)者，都別錯過這本書！

要知道，市面上講述大模型的書籍，大多采用百科全書式的呈現(xiàn)方法，為讀者講解現(xiàn)成的知識結(jié)論。 《GPT圖解大模型是怎樣構(gòu)建的》 卻是通過一問一答的方式，趣味詮釋程序員們應(yīng)該知道、可能好奇的ChatGPT和大模型的疑問、核心技術(shù)，梳理生成式語言模型的發(fā)展脈絡(luò)。

在這本書里，黃佳老師將帶領(lǐng)讀者踏上一段扣人心弦的探索之旅，了解ChatGPT的前世今生，并能動手從0到1搭建語言模型。

二、誰說大模型只是一夕之間爆火的？每一次技術(shù)的演進(jìn)都有它背后的故事

在20世紀(jì)40年代和50年代，人工智能的概念開始浮現(xiàn)，但直到1956年的 達(dá)特茅斯會議 上，它才成為一個獨立的學(xué)科領(lǐng)域。

達(dá)特茅斯會議吸引了許多計算機科學(xué)家、數(shù)學(xué)家和其他領(lǐng)域的研究者，他們聚集在一起討論智能機器的發(fā)展前景。他們的共同目標(biāo)是在計算機上實現(xiàn)人類智能的各個方面，為現(xiàn)代人工智能研究開辟了道路。從那時起，人工智能領(lǐng)域不斷發(fā)展，涌現(xiàn)出了大量的理論、技術(shù)和應(yīng)用。

人工智能（Artificial Intelligence，AI）技術(shù)有兩大核心應(yīng)用：計算機視覺（Computer Vision，CV）和自然語言處理 （Natural Language Processing，NLP）。而在 AI 技術(shù)發(fā)展里程碑中，前期的突破多與 CV 相關(guān)， 如 CNN 和 AlexNet ；而后期的突破則多與 NLP 相關(guān)，如 Transformer 和 ChatGPT。

從發(fā)端，到寒冬，到發(fā)展，到二次寒冬，再到深度學(xué)習(xí)時代的崛起，最后到如今的ChatGPT輝煌時代。可以說，AI技術(shù)的發(fā)展并不是一帆風(fēng)順的：盛夏與寒冬交錯，期望和失望交融。

自然語言處理技術(shù)也是如此。

這本書在談?wù)撽P(guān)于語言模型的原理和代碼以外，最耐人尋味的便是余老師對自然語言處理技術(shù)演進(jìn)的科普以及何為語言？信息又如何傳播？

同時他讓讀者了解到：自然語言處理技術(shù)的演進(jìn)過程包含一些獨屬于它的微妙細(xì)節(jié)。而對這個過程的體會，能夠讓我們對自然語言處理技術(shù)有更深的領(lǐng)悟。

比如，對于NLP的定義，黃佳老師在書中是這樣描述的：

“自然語言處理是人工智能的一個子領(lǐng)域，關(guān)注計算機如何理解、解釋和生成人類語言。NLP 的核心任務(wù)，就是為人類的語言編碼并解碼，只有讓計算機能夠理解人類的語言，它才有可能完成原本只有人類才能夠完成的任務(wù)。因此我們可以說：NLP 就是人類和計算機之間溝通的橋梁！”

再比如，對于NLP 技術(shù)的演進(jìn)過程，黃佳老師將其分為4個階段，使用了 4 個詞語來概括它們，分別是起源、基于規(guī)則、基于統(tǒng)計、深度學(xué)習(xí)和大數(shù)據(jù)驅(qū)動，厘清了它們的傳承關(guān)系。

基于規(guī)則和基于統(tǒng)計的語言模型是 NLP 技術(shù)發(fā)展的關(guān)鍵節(jié)點，而大規(guī)模語言模型的誕生又進(jìn)一步拓展了 NLP 技術(shù)的應(yīng)用范圍。

過去的十余年，語言模型的算法層出不窮。這本書的可貴之處在于它能夠追本溯源，既讓讀者學(xué)會了語言模型的經(jīng)典與主流算法，也讓讀者見證了其發(fā)展脈絡(luò)，引導(dǎo)讀者思考自然語言處理技術(shù)是怎么一步一步走到今天的。

比如，書中精選了早期的N-gram以及基于淺層神經(jīng)網(wǎng)絡(luò)的NPLM進(jìn)行詳細(xì)講解，并逐步過渡到基于深層網(wǎng)絡(luò)的語言模型（生成式語言模型GPT）。GPT模型的深層網(wǎng)絡(luò)不再采用CNN、RNN或者LSTM等結(jié)構(gòu)，而是采用表達(dá)能力更強的Transformer，因此在講解GPT模型時，黃佳老師更細(xì)致地講解了“Transformer的思想是什么，其核心組件有哪些，為什么其表達(dá)能力更強”。

三、不明覺厲的大模型，怎么學(xué)習(xí)？好懂又好記的對話＋圖解方式

說到這里，想必大家已經(jīng)從宏觀上對 NLP 的發(fā)展、大型預(yù)訓(xùn)練模型的發(fā)展， 甚至從 ChatGPT 到 GPT-4 的發(fā)展有了一定的理解。

在這本書中，黃佳老師 會循著自然語言處理技術(shù)的演進(jìn)過程，給讀者講透它的技術(shù)重點，并和大家一起實際操練一番，一步一步帶你學(xué)透 GPT。

正如黃佳老師所說：“今天，在我們?yōu)?ChatGPT、GPT-4 等大模型的神奇能力而驚嘆的同時，讓我們對它們的底層邏輯與技術(shù)做一次嚴(yán)肅而快樂的探索。對我來說，這也是一次朝圣之旅，一次重溫人工智能和自然語言處理技術(shù) 70 年間艱辛發(fā)展的旅程。”

從 N-Gram、詞袋模型（Bag-of-Words，BoW）、Word2Vec（Word to Vector，W2V）、神經(jīng)概率語言模型（Neural Probabilistic Language Model，NPLM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、Seq2Seq（Sequence-to-Sequence，S2S）、注意力機制（Attention Mechanism）、Transformer、BERT 到 GPT 的技術(shù)，其中凝聚了多少位了不起的大牛的知識和心血，對于許多程序員而言，自行學(xué)習(xí)其中的原理和代碼也是比較麻煩和有難度的。

對于已有基礎(chǔ)的程序員尚且如此，何況是零基礎(chǔ)的小白呢？

這套書令人驚喜的是它試圖通過一問一答的教學(xué)方式，加上圖文并茂的講解，關(guān)注初學(xué)者學(xué)習(xí)中的真實問題，一一回答，講解語言模型，對技術(shù)進(jìn)行解碼。

比如，在介紹N-Gram時：

正文每個小節(jié)以小冰的提問為線索，以最新熱點為引入，以公司同事在不同時間、不同場景中的對話為講述方式，深入淺出地剖析大模型相關(guān)的知識，講解語言模型和算法背后的意義。

小冰是一個充滿好奇心的初學(xué)者，是生活于當(dāng)下的你我他。她的提問正是我們的疑問點，她那不太完美的回答正是我們目前的認(rèn)知。而咖哥則是一位博學(xué)多才、幽默風(fēng)趣且喜歡答疑解惑的技術(shù)大咖。他的特別發(fā)言也被“附”在書中，記錄對應(yīng)的原理和代碼，專業(yè)解答相關(guān)問題。

在小冰和咖哥一問一答的演繹下，黃佳老師將晦澀難懂的知識用通俗易懂的語言表述出來，將抽象概念具體化，輕松風(fēng)趣地解答初學(xué)者可能會對大模型感到好奇的種種問題。

在翻閱這本書時，像下面這些章節(jié)名也令人印象深刻：

序章 看似尋常最奇崛，成如容易卻艱辛
第 1 課 高樓萬丈平地起：語言模型的雛形 N-Gram 和簡單文本表示 Bag-of-Words
第 2 課 問君文本何所似：詞的向量表示 Word2Vec 和 Embedding
第 3 課 山重水復(fù)疑無路：神經(jīng)概率語言模型和循環(huán)神經(jīng)網(wǎng)絡(luò)
第 4 課 柳暗花明又一村：Seq2Seq 編碼器 - 解碼器架構(gòu)
第 5 課 見微知著開慧眼：引入注意力機制
第 6 課 層巒疊翠上青天：搭建 GPT 核心組件 Transformer
第 7 課 芳林新葉催陳葉：訓(xùn)練出你的簡版生成式 GPT
第8課 流水后波推前波：ChatGPT基于人類反饋的強化學(xué)習(xí)
第9課 生生不息的循環(huán)：使用強大的GPT-4 API
后 記 莫等閑，白了少年頭

黃佳老師特意以**“古詩詞+章節(jié)內(nèi)容”**的形式為每個講解不同語言模型的篇章命名，多為古詩詞的改編，加上暗喻，用字?jǐn)?shù)簡短但是意蘊深厚的古詩詞提煉大模型的特征、語言模型的發(fā)展脈絡(luò)，讓知識點直觀、易懂、易記。

四、學(xué)習(xí)難度不低的大模型，如何構(gòu)建？生動有趣的圖畫、獨具匠心的項目設(shè)計和詳盡的代碼、數(shù)據(jù)集

黃佳老師 是新加坡科技研究局人工智能高級研究員，他主攻的方向為NLP大模型的研發(fā)與應(yīng)用、持續(xù)學(xué)習(xí)、AI in FinTech、AI in Spectrometry Data。

他曾著有《零基礎(chǔ)學(xué)機器學(xué)習(xí)》《數(shù)據(jù)分析咖哥十話》等多部暢銷書籍，深耕數(shù)據(jù)科學(xué)領(lǐng)域多年，積累了豐富的科研項目和政府、銀行、能源、醫(yī)療等領(lǐng)域AI項目落地實戰(zhàn)經(jīng)驗。

因此，在本書中，他不拘泥于理論的堆砌，而是帶領(lǐng)讀者從基礎(chǔ)到進(jìn)階，從理論模型到實戰(zhàn)剖析，讓讀者真正明白大模型是怎樣構(gòu)建的。

比如，ChatGPT屬于大語言模型的一類，那么黃佳老師首先會在書中通俗地講解“什么是語言模型，什么是大語言模型”，在講解語言模型時，會引出詞向量、詞嵌入等NLP領(lǐng)域幾個最常用的概念，以及經(jīng)典方法Word2Vec。

這時候，好文配好圖，為大模型的教學(xué)錦上添花就十分重要了。插圖作為技術(shù)書籍的重要組成部分，也是讓初學(xué)者能更加直白地汲取知識的一種手段。

此次，書中的插畫抓住黃佳老師講解的技術(shù)精髓，在詮釋技術(shù)原理的同時做到了生動與幽默。除了插圖以外，書中還有大量表格，盡可能地幫助讀者理解相關(guān)問題。

圖文并茂的講解方式 能讓讀者快速了解相關(guān)技術(shù)知識，而手把手的代碼實戰(zhàn)能讓讀者輕松上手搭建大模型，更何況這本書二者兼?zhèn)洹?/p>

黃佳老師會在書中根據(jù)技術(shù)發(fā)展的脈絡(luò)講解多個實戰(zhàn)項目，以生動活潑的筆觸將枯燥的技術(shù)細(xì)節(jié)化作輕松幽默的故事和繽紛多彩的圖畫，一步一代碼加注釋手把手教學(xué)讀者進(jìn)行實戰(zhàn)。

項目一：N-Gram構(gòu)建

項目二：Word2Vec構(gòu)建

項目三：NPLM（Neural Probabilistic Language Model）構(gòu)建

項目四：Seq2Seq架構(gòu)

項目五：注意力機制

項目六：Transformer架構(gòu)

項目七：WikiGPT

項目八：miniChatGPT

令人驚喜的是，本書還提供實例配套資源代碼和實例數(shù)據(jù)集等資源，這有助于讀者更好地理解書中的概念和實踐技巧。通過實例代碼，初學(xué)者可以直接嘗試和運行代碼，通過實踐來加深對書中內(nèi)容的理解。而實例數(shù)據(jù)集則幫助讀者在處理真實數(shù)據(jù)時進(jìn)行實踐操作，從而更好地掌握相關(guān)技術(shù)。

虛竹哥看了這本書后，不由感慨：這多有意思啊！在攀登技術(shù)新峰的奇妙之旅中，我們不僅能深入理解自然語言處理技術(shù)的核心原理，還能自己動手，從零開始搭建起一個又一個語言模型，成就感滿滿！

虛竹哥相信，無論你是在校學(xué)生還是人工智能從業(yè)者，這本書都將成為一盞明燈，照亮你探索人工智能無限奧秘的道路！

五、參考文獻(xiàn)：

1.生成式預(yù)訓(xùn)練語言模型：理論與實戰(zhàn) - 深藍(lán)學(xué)院 - 專注人工智能與自動駕駛的學(xué)習(xí)平臺；

2.奧特曼離職后，OpenAI的競爭對手爭相挖走員工；

3.微軟希望獲得OpenAI董事會席位。