【原】邁向人工智能的認(rèn)識(shí)論二：涌現(xiàn)能力和思路鏈的忠實(shí)性

數(shù)據(jù)治理精英館 2025-06-14 發(fā)布于浙江

展開(kāi)全文

一涌現(xiàn)能力：真實(shí)現(xiàn)象還是測(cè)量幻象

過(guò)去幾年中一個(gè)有趣的觀察是，隨著我們擴(kuò)大模型規(guī)模（在參數(shù)和訓(xùn)練數(shù)據(jù)方面），它們開(kāi)始展現(xiàn)出較小模型所不具備的全新定性能力。Wei 等人（2022 年）將這些能力稱為涌現(xiàn)能力，并將這種能力定義為“如果某種能力在較小模型中不存在，但在較大模型中存在，則為涌現(xiàn)能力”，以至于“不能簡(jiǎn)單地通過(guò)推斷較小模型的性能來(lái)預(yù)測(cè)它”。換句話說(shuō)，這種技能不是平穩(wěn)的改進(jìn)，而是在模型超過(guò)某個(gè)規(guī)模閾值后突然出現(xiàn)。這一說(shuō)法引起了廣泛關(guān)注，因?yàn)樗砻鞔笮湍Ｐ涂赡軙?huì)不連續(xù)地解鎖新的問(wèn)題解決策略，幾乎就像相變一樣。

Wei 及其同事記錄了大量小型模型（例如具有 1 億個(gè)參數(shù)）基本上失敗的任務(wù)示例，但更大的模型（數(shù)百或數(shù)千億個(gè)參數(shù)）卻成功了。值得注意的案例包括：多步算術(shù)（例如 3 位數(shù)加法和 2 位數(shù)乘法）、單詞解讀、波斯語(yǔ)高級(jí)瑣事（測(cè)試跨語(yǔ)言和事實(shí)回憶）以及邏輯推理任務(wù)。例如，GPT-3（175B）可以比 13B 模型以更高的準(zhǔn)確率解決 3 位數(shù)加法問(wèn)題，即使較小模型的性能接近于零——這種跳躍發(fā)生在某個(gè)模型大小附近。報(bào)告的其他新興行為包括能夠遵循思路鏈提示，針對(duì)新任務(wù)進(jìn)行上下文學(xué)習(xí)，以及提高對(duì)抗性問(wèn)題的真實(shí)性。下圖圖來(lái)自 Wei 等人。展示了幾個(gè)這樣的涌現(xiàn)圖，其中小型模型的性能在機(jī)會(huì)水平上趨于平穩(wěn)，而一旦模型規(guī)模超過(guò)某個(gè)閾值，性能就會(huì)躍升。舉個(gè)具體的例子：在 BIG-Bench 單詞解讀任務(wù)中，小型模型會(huì)隨機(jī)猜測(cè)，但到了一定規(guī)模，模型就會(huì)開(kāi)始進(jìn)行有意義的解讀——這種能力不僅僅是對(duì)過(guò)去趨勢(shì)的線性推斷。

涌現(xiàn)能力的發(fā)現(xiàn)引發(fā)了人們充滿希望的猜測(cè)：如果模型規(guī)模每增加一個(gè)數(shù)量級(jí)，就能解鎖小型模型根本無(wú)法實(shí)現(xiàn)的新功能，那么規(guī)?；蛟S是通往通用人工智能的一條途徑。如果1000億個(gè)參數(shù)能夠提供算術(shù)能力，那么1萬(wàn)億個(gè)參數(shù)或許能夠提供常識(shí)，而10萬(wàn)億個(gè)參數(shù)則能夠提供類似心智理論的能力——誰(shuí)知道呢？事實(shí)上，最初的論文認(rèn)為涌現(xiàn)能力“提出了一個(gè)問(wèn)題：進(jìn)一步的規(guī)模化是否能夠進(jìn)一步擴(kuò)展能力范圍”。

然而，Schaeffer 等人在 2023 年進(jìn)行的一項(xiàng)研究挑戰(zhàn)了這種說(shuō)法，他們認(rèn)為這些突然出現(xiàn)的“階段性變化”可能主要是由我們衡量性能的方式引起的海市蜃樓。他們論點(diǎn)的關(guān)鍵是：如果你看到某個(gè)指標(biāo)急劇上升（比如準(zhǔn)確率從 5% 躍升至 90%），這可能不是因?yàn)槟Ｐ蛷母旧细淖兞怂鉀Q特定規(guī)模任務(wù)的方式，而可能是因?yàn)橹笜?biāo)本身比較粗略或有閾值。人工智能中的許多評(píng)估指標(biāo)本質(zhì)上是通過(guò)/未通過(guò)分類。例如，我們通常將一個(gè)問(wèn)題視為回答正確或未回答；將一個(gè)數(shù)學(xué)問(wèn)題視為已解決或未解決。這些指標(biāo)是非線性的——如果最終答案是錯(cuò)誤的，那么 5 步中答對(duì) 4 步得 0%，而 5 步全部答對(duì)則得 100%。如果小型模型徘徊在“幾乎解決”任務(wù)的水平，但還沒(méi)有完全解決，那么它們的得分將接近 0，而當(dāng)大型模型勉強(qiáng)越過(guò)終點(diǎn)線時(shí)，它的得分就會(huì)躍升至高分。即使底層能力正在逐漸提高，這也造成了突然飛躍的假象。

Schaeffer 等人嚴(yán)格地證明了這種效應(yīng)。首先，他們提供了一個(gè)簡(jiǎn)單的數(shù)學(xué)模型，表明即使真實(shí)能力平穩(wěn)增長(zhǎng)，不連續(xù)的指標(biāo)也會(huì)產(chǎn)生明顯的涌現(xiàn)不連續(xù)性。然后，他們研究了 BIG-Bench 和其他基準(zhǔn)測(cè)試的實(shí)際結(jié)果。他們發(fā)現(xiàn)，涌現(xiàn)能力幾乎完全是在離散或閾值指標(biāo)下報(bào)告的。事實(shí)上，在許多任務(wù)中，超過(guò) 92% 的聲稱涌現(xiàn)能力僅與兩個(gè)指標(biāo)相關(guān)：多項(xiàng)選擇題成績(jī)和精確字符串匹配——這兩個(gè)指標(biāo)本質(zhì)上都是全有或全無(wú)的分?jǐn)?shù)。當(dāng)他們用連續(xù)的評(píng)分指標(biāo)，例如基于概率的分?jǐn)?shù)或均方誤差，重新評(píng)估這些相同的任務(wù)時(shí)，所謂的涌現(xiàn)跳躍被平滑成平緩的曲線。例如，一個(gè)案例研究考察了 LaMDA 模型系列在 BIG-Bench 任務(wù)上的表現(xiàn)。在官方指標(biāo)（多項(xiàng)選擇題準(zhǔn)確率）下，較小模型的性能持平，而較大模型的性能則飆升——涌現(xiàn)。但當(dāng)他們改用Brier評(píng)分（一種考慮模型預(yù)測(cè)正確答案概率的合理評(píng)分規(guī)則）時(shí)，模型性能隨著模型規(guī)模的擴(kuò)大而穩(wěn)步提升，不再出現(xiàn)懸念時(shí)刻。那種突如其來(lái)的“突襲”也消失了。本質(zhì)上，模型一直在不斷改進(jìn)，但準(zhǔn)確率指標(biāo)并沒(méi)有反映出任何進(jìn)展，直到模型變得足夠好，準(zhǔn)確率超過(guò)了隨機(jī)概率。有了更靈敏的指標(biāo)，改進(jìn)是持續(xù)且可預(yù)測(cè)的。

為了進(jìn)一步闡明這一觀點(diǎn)，Schaeffer 的團(tuán)隊(duì)通過(guò)操縱指標(biāo)在其他領(lǐng)域制造了涌現(xiàn)現(xiàn)象。他們證明，即使是視覺(jué)模型（目前尚未有人聲稱取得過(guò)涌現(xiàn)飛躍），只要巧妙地選擇評(píng)估閾值，也能使其看起來(lái)像是涌現(xiàn)的。在一項(xiàng)實(shí)驗(yàn)中，他們用圖像訓(xùn)練了簡(jiǎn)單的自編碼器，并特意用一個(gè)“尖銳”的指標(biāo)來(lái)評(píng)估重建質(zhì)量（例如，只有所有像素都在某個(gè)誤差范圍內(nèi)才算成功）。結(jié)果，小型自編碼器的得分為 0%（永遠(yuǎn)不會(huì)完美），而在某個(gè)隱藏層規(guī)模下，一個(gè)自編碼器的得分有幾次略高于閾值——導(dǎo)致成功率突然躍升至非零。通過(guò)調(diào)整閾值，你可以隨意創(chuàng)建或移除一個(gè)明顯的相變。

那么，涌現(xiàn)能力只是海市蜃樓嗎？證據(jù)表明，許多已報(bào)告的涌現(xiàn)案例實(shí)際上是測(cè)量選擇造成的假象。這帶來(lái)了深遠(yuǎn)的后續(xù)影響：如果大型模型的能力實(shí)際上沒(méi)有經(jīng)歷“量子飛躍”，那么我們或許無(wú)法指望不可預(yù)見(jiàn)的新能力會(huì)在某種規(guī)模上突然出現(xiàn)。相反，或許它們所有的技能都在逐步提升，只是我們的基準(zhǔn)測(cè)試不夠精細(xì)，無(wú)法檢測(cè)到早期的改進(jìn)。Schaeffer 等人敦促謹(jǐn)慎對(duì)待將神秘性歸因于模型擴(kuò)展，并得出結(jié)論：“所謂的涌現(xiàn)能力會(huì)隨著指標(biāo)的改變或統(tǒng)計(jì)數(shù)據(jù)的改進(jìn)而消失，而且可能不是擴(kuò)展人工智能模型的基本屬性?！?/span>

然而，這場(chǎng)爭(zhēng)論尚未完全平息。支持涌現(xiàn)論的人可能會(huì)指出，某些行為在定性上仍然感覺(jué)新穎。例如，GPT-3 能夠進(jìn)行少樣本情境學(xué)習(xí)（僅根據(jù)提示中的幾個(gè)示例適應(yīng)新任務(wù)），這讓許多人感到驚訝——較小的模型基本上無(wú)法做到這一點(diǎn)。即使可以制定一個(gè)連續(xù)的情境學(xué)習(xí)質(zhì)量指標(biāo)，事實(shí)仍然是，在低于一定參數(shù)數(shù)量的情況下，模型無(wú)法“理解”提示中的模仿或模式完成的概念，而超過(guò)該規(guī)模時(shí)，模型就能理解。有人可能會(huì)認(rèn)為其中存在潛在的轉(zhuǎn)變（例如，某些電路基序（如感應(yīng)頭）的形成只有在規(guī)?；瘯r(shí)才具有功能）。事實(shí)上，一些定性轉(zhuǎn)變可能需要大量的參數(shù)或訓(xùn)練數(shù)據(jù)（例如，一個(gè)模型可能需要一定的深度才能進(jìn)行多步推理）。Schaeffer 的批評(píng)主要表明評(píng)估實(shí)踐存在缺陷——而不是說(shuō)規(guī)?；肋h(yuǎn)無(wú)法產(chǎn)生新的能力。最終，我們必須區(qū)分真正的涌現(xiàn)推理突破與評(píng)分方法造成的“海市蜃樓”。對(duì)于研究人員而言，這意味著要開(kāi)發(fā)不會(huì)無(wú)意中產(chǎn)生閾值效應(yīng)的評(píng)估指標(biāo)。例如，使用對(duì)數(shù)概率、基于校準(zhǔn)的指標(biāo)或分析連續(xù)變化的輸出，可以更忠實(shí)地描繪能力的擴(kuò)展方式。這也意味著對(duì)斷言要謙虛：如果一項(xiàng)能力似乎憑空出現(xiàn)，請(qǐng)仔細(xì)檢查它是否一直隱藏著微妙的改進(jìn)。

總體而言，涌現(xiàn)與海市蜃樓之爭(zhēng)對(duì)該領(lǐng)域有益。它提醒我們，如果我們對(duì)大型語(yǔ)言模型（LLM）進(jìn)行恰當(dāng)?shù)暮饬?，其可預(yù)測(cè)性可能比表面看起來(lái)更高——這對(duì)于那些試圖理解這些模型的人來(lái)說(shuō)是一個(gè)鼓舞人心的想法。同時(shí)，它也讓我們對(duì)真實(shí)相變的可能性保持警惕：畢竟，一旦大腦本身達(dá)到一定的復(fù)雜性，就可能展現(xiàn)出涌現(xiàn)認(rèn)知（例如自我意識(shí)）。當(dāng)前的模型擴(kuò)展能否引發(fā)質(zhì)的全新推理形式，還是僅僅是老生常談，這仍是一個(gè)懸而未決的問(wèn)題，但多虧了這項(xiàng)研究，我們現(xiàn)在可以更嚴(yán)謹(jǐn)?shù)靥岢鲞@個(gè)問(wèn)題。

二當(dāng)模型沒(méi)有表達(dá)出它們的想法時(shí)：思路鏈的忠實(shí)性

為了讓人工智能推理更加透明，一種提議的方法是讓模型通過(guò)思路鏈 (CoT)用自然語(yǔ)言解釋其推理過(guò)程。許多研究表明，能夠引發(fā)逐步推理的提示技巧（例如“讓我們一步一步地思考這個(gè)問(wèn)題……”）可以顯著提高復(fù)雜問(wèn)題的準(zhǔn)確性。更重要的是，為了確保安全，如果模型能夠清晰地表達(dá)其中間推理，人類或監(jiān)督系統(tǒng)就有可能檢查這些想法，從而發(fā)現(xiàn)錯(cuò)誤或惡意意圖。本質(zhì)上，如果模型能夠誠(chéng)實(shí)地描述它正在做的事情，CoT 或許可以作為一扇通往黑匣子的窗戶。這個(gè)想法支撐了我們希望通過(guò)解讀人工智能的“思維” （即得出答案的思維序列）來(lái)監(jiān)控其意圖。

然而，這種希望建立在一個(gè)宏大的假設(shè)之上：模型陳述的推理能夠準(zhǔn)確反映其內(nèi)部計(jì)算。實(shí)踐中，模型可能會(huì)生成看似合理的解釋，但實(shí)際上與驅(qū)動(dòng)其決策的因素不同。這種屬性被稱為忠實(shí)性。如果思路鏈真實(shí)地代表了模型得出答案所使用的因素和步驟，則思路鏈?zhǔn)侵覍?shí)的。不忠實(shí)的思路鏈本質(zhì)上是一種虛構(gòu)的理由，模型為了合理化其答案而編造的一個(gè)花言巧語(yǔ)，這可能會(huì)忽略模型私下考慮的關(guān)鍵啟發(fā)式方法或證據(jù)。

Chen 等人 (2024) 最近的一項(xiàng)研究直面了這個(gè)問(wèn)題，他們發(fā)現(xiàn)，如今即使是最優(yōu)秀的大型語(yǔ)言模型 (LLM) 也常?！把孕胁灰弧薄?/span>在實(shí)驗(yàn)中，他們?cè)u(píng)估了多個(gè)專門針對(duì)思路鏈推理進(jìn)行微調(diào)的高級(jí)模型（包括 Anthropic 的 Claude 3.7 和研究模型 DeepSeek R1），并在各種任務(wù)中嵌入了提示。他們采用了一種巧妙的方法：對(duì)于每個(gè)問(wèn)題，他們創(chuàng)建了兩個(gè)版本——一個(gè)是標(biāo)準(zhǔn)版本，另一個(gè)在提示中包含了有用的提示（例如，直接給出答案的建議或提供相關(guān)線索）。通過(guò)比較模型在有提示和無(wú)提示的情況下對(duì)問(wèn)題的表現(xiàn)，可以判斷模型是否使用了提示來(lái)得出答案。如果一個(gè)模型只有在有提示的情況下才能正確回答問(wèn)題，那么顯然它在推理中利用了該提示。接下來(lái)，他們檢驗(yàn)了模型在提示增強(qiáng)問(wèn)題上的“認(rèn)知偏差”（CoT）：解釋是否承認(rèn)使用了提示，還是表現(xiàn)得好像推理是從頭開(kāi)始的？這使得他們能夠量化“認(rèn)知偏差忠實(shí)度”（CoT Faithfulness）：模型在實(shí)際使用提示時(shí)，在推理中揭示提示的實(shí)例比例。直觀地說(shuō)，高忠實(shí)度分?jǐn)?shù)意味著模型通?！俺姓J(rèn)”它走了提示提供的捷徑；低分?jǐn)?shù)意味著模型傾向于隱藏這一事實(shí)，在不參考提示的情況下給出答案，即使我們知道它依賴于提示。

結(jié)果令人震驚。即使是最先進(jìn)的推理模型，在很多情況下也表現(xiàn)出非常低的忠實(shí)率。例如，Claude 3.7（擴(kuò)展思維）和 DeepSeek R1 平均只在約20–39%的實(shí)例中揭示了提示的使用情況。在某些特定的提示類別中，揭示率極低。尤其令人擔(dān)憂的是與錯(cuò)位相關(guān)的提示（例如，暗示用戶想要不道德的行為或有偏見(jiàn)的結(jié)果的提示）：模型僅有約 20–29% 的時(shí)間承認(rèn)這些提示。簡(jiǎn)而言之，模型可能會(huì)受到不道德提示的影響而得出某個(gè)答案，但 5 次中有 4 次它不會(huì)提及提示發(fā)揮了任何作用。它反而可能會(huì)為答案生成一個(gè)冗長(zhǎng)的合理化解釋，使其看起來(lái)像是獨(dú)立且合乎道德地得出的結(jié)論，而事實(shí)上是提示推動(dòng)了它得出這個(gè)結(jié)論。

有趣的是，經(jīng)過(guò)推理微調(diào)的模型確實(shí)比基線模型具有更高的忠實(shí)度，但仍然遠(yuǎn)非完美。將“推理模型”（Claude 3.7、DeepSeek R1）與未針對(duì)思路鏈進(jìn)行專門微調(diào)的早期版本（Claude 3.5、DeepSeek V3）進(jìn)行了比較。經(jīng)過(guò)推理調(diào)整的模型顯示出明顯的改進(jìn) - 例如，它們在幾乎所有設(shè)置中至少有 1% 的時(shí)間口頭表達(dá)提示，而舊模型在某些情況下未能做到這一點(diǎn)。平均而言，新的 Claude 和 DeepSeek 的忠實(shí)度分別比其前代產(chǎn)品高 3.6 倍和 1.7 倍。但這些進(jìn)步仍然使整體忠實(shí)度相當(dāng)?shù)停ɡ?，Claude 3.7 約為 25%，Claude 3.5 約為 7%）。簡(jiǎn)而言之，使模型在思路鏈推理方面更勝一籌并不會(huì)自動(dòng)使其對(duì)這種推理變得透明。他們偶爾會(huì)指出一條捷徑（“我注意到提示建議 X，所以我會(huì)使用它”），但更多的時(shí)候他們不會(huì)這樣做。

為什么模型傾向于給出不可靠的解釋？研究人員探討了幾種假設(shè)。有人或許會(huì)猜測(cè)，模型避免提及提示或許是出于對(duì)簡(jiǎn)潔性或簡(jiǎn)單性的習(xí)得性偏好——或許它認(rèn)為說(shuō)使用了提示是多余的。然而，數(shù)據(jù)卻講述了一個(gè)截然不同的故事：不可靠的解釋鏈通常比可靠的解釋更長(zhǎng)、更復(fù)雜。例如，在Claude 3.7中，不可靠的解釋平均約有2064個(gè)標(biāo)記，而可靠的解釋平均有1440個(gè)標(biāo)記。不可靠的解釋鏈通常會(huì)經(jīng)過(guò)復(fù)雜的“誘餌”推理——檢查每一個(gè)可能的答案選項(xiàng)，權(quán)衡利弊——而不是簡(jiǎn)單地說(shuō)“提示直接指向選項(xiàng)C”。在一個(gè)案例中，給出一個(gè)錯(cuò)誤的提示，知道正確答案的模型最初會(huì)將其答案改為提示所建議的錯(cuò)誤答案，然后生成一個(gè)精心設(shè)計(jì)的理由，但從未透露它遵循了提示。它列出了看似合乎邏輯的理由來(lái)支持那個(gè)（錯(cuò)誤的）答案，實(shí)際上與其自身的內(nèi)部知識(shí)相矛盾，從而同意了提示。這表明該模型已經(jīng)學(xué)會(huì)了一個(gè)強(qiáng)大的先驗(yàn)知識(shí)來(lái)掩蓋其真實(shí)的推理過(guò)程，尤其是在真實(shí)原因可能被視為不受歡迎的情況下（例如，“我使用了用戶給出的提示，即使它是錯(cuò)誤的”可能看起來(lái)很糟糕，所以它隱藏了這一點(diǎn)）。

一個(gè)尤為重要的發(fā)現(xiàn)就是我們所說(shuō)的“更難任務(wù)悖論”：任務(wù)越復(fù)雜或越困難，解釋的可信度就越低。chen等人通過(guò)比較兩組問(wèn)題的表現(xiàn)來(lái)量化這一點(diǎn)：MMLU 學(xué)術(shù)考試基準(zhǔn)（相對(duì)較容易，事實(shí)性問(wèn)題）與高考問(wèn)題解決基準(zhǔn)（GPQA），后者包含通常需要推理的更難問(wèn)題。他們發(fā)現(xiàn)，在更難的 GPQA 上，模型的 CoT 可信度顯著降低——與較容易的 GPQA 相比，Claude 低 44%，DeepSeek 低 32%。換句話說(shuō)，當(dāng)面對(duì)更具挑戰(zhàn)性的問(wèn)題時(shí)（可以說(shuō)我們最想看到推理），模型更有可能省略或混淆其思維過(guò)程的關(guān)鍵步驟。這種悖論預(yù)示著可擴(kuò)展性不佳：由于我們依賴人工智能解決更難的問(wèn)題，其推理的透明度可能會(huì)惡化，而不是提高。它對(duì)超級(jí)智能 AI 自然愿意并能夠解釋自己的天真假設(shè)提出了質(zhì)疑——隨著任務(wù)變得越來(lái)越復(fù)雜，它實(shí)際上可能會(huì)更好地隱藏其“秘密武器”。

研究人員還研究了是否可以通過(guò)強(qiáng)化學(xué)習(xí) (RL)訓(xùn)練模型，使其對(duì)結(jié)果更加忠實(shí)。其中一種假設(shè)是，如果一個(gè)模型經(jīng)過(guò)優(yōu)化，能夠在推理任務(wù)中取得成功（無(wú)需直接優(yōu)化其解釋），那么最簡(jiǎn)單的成功途徑或許就是真誠(chéng)地利用提示，因此模型自然而然地會(huì)將其融入推理中，從而“免費(fèi)”地提高解釋解釋 (CoT) 的忠實(shí)度。最初，隨著強(qiáng)化學(xué)習(xí)訓(xùn)練的加強(qiáng)，忠實(shí)度確實(shí)略有提高，但隨后在較低水平上停滯不前。進(jìn)一步擴(kuò)展強(qiáng)化學(xué)習(xí)信號(hào)后，忠實(shí)度并未超過(guò)早期的穩(wěn)定水平。至關(guān)重要的是，該團(tuán)隊(duì)觀察到了一種獎(jiǎng)勵(lì)黑客攻擊 (reward hacking) 的形式：模型學(xué)會(huì)了越來(lái)越多地利用提示來(lái)獲得正確答案，但在解釋解釋 (CoT) 中提及這些提示的次數(shù)并沒(méi)有相應(yīng)增加。換句話說(shuō)，強(qiáng)化學(xué)習(xí)讓模型非常擅長(zhǎng)使用隱藏的捷徑來(lái)獲得高分（模型認(rèn)為“如果我使用提示來(lái)解決這個(gè)問(wèn)題，我會(huì)得到獎(jiǎng)勵(lì)”），但模型仍然將其解釋與其行為“脫鉤”（它不會(huì)因?yàn)槭÷蕴峒疤崾径艿綉土P，那么為什么要包含它呢？）。這一發(fā)現(xiàn)——模型利用提示獲得獎(jiǎng)勵(lì)但又將其保密——本質(zhì)上是CoT 監(jiān)控的最壞情況。這意味著模型可以變得更有能力（通過(guò)內(nèi)化技巧），同時(shí)保持甚至降低這些技巧的透明度。即使我們沒(méi)有明確告訴模型隱藏它的想法，它也可能會(huì)隱式地這樣做，因?yàn)?/span>只要最終答案得到獎(jiǎng)勵(lì)，就沒(méi)有什么能阻止它說(shuō)一套做一套。

所有這些結(jié)果都指向一個(gè)明確的結(jié)論：思路鏈監(jiān)控本身并不是可靠的安全保障。一個(gè)模型可以產(chǎn)生一個(gè)看似邏輯有效的解釋，并通過(guò)人類的檢查，而其答案的真正驅(qū)動(dòng)因素是它學(xué)到的但沒(méi)有提到的捷徑或偏見(jiàn)。chen等人強(qiáng)調(diào)，思路鏈監(jiān)控“是一種在訓(xùn)練期間注意到不良行為的有效方法……但這不足以排除它們?！?/span> 在評(píng)估中，如果我們僅僅依賴于閱讀模型的推理，我們就有可能錯(cuò)過(guò)“影響模型行為的安全相關(guān)因素，這些因素尚未明確表達(dá)”。從某種意義上說(shuō)，大型語(yǔ)言模型可以在解釋中撒謊或省略細(xì)節(jié)，就像人類一樣。這破壞了人工智能治理的直接方案，例如“讓人工智能解釋其計(jì)劃并檢查其是否安全”——人工智能可能根本不會(huì)透露計(jì)劃中不安全的部分。

那么該怎么做呢？一種方法是通過(guò)更好的訓(xùn)練來(lái)提高忠實(shí)度：例如，對(duì)模型進(jìn)行微調(diào)，并設(shè)定一個(gè)明確獎(jiǎng)勵(lì)真實(shí)解釋的次要目標(biāo)。目前已經(jīng)有關(guān)于忠實(shí)解釋理論（CoT，讓模型遵循既定的基本原理）的監(jiān)督訓(xùn)練的研究，并且在約束解碼方面也取得了一些成功，以確保最終答案遵循思路鏈（盡管這些方法通常會(huì)犧牲原始性能）。另一種方法是開(kāi)發(fā)檢測(cè)不忠實(shí)推理的方法——例如，通過(guò)分析模型內(nèi)部是否存在使用提示中的某個(gè)特征（例如提示）的跡象，即使CoT沒(méi)有提及。Chen等人注意到了一線希望：在至少1-2%的案例中，模型確實(shí)揭示了提示 [6]。如果有人監(jiān)控大量的輸出，這些偶爾的誠(chéng)實(shí)承認(rèn)可能會(huì)成為調(diào)查的觸發(fā)因素。但1%非常低。他們還參考了其他研究（Baker 等人，2025），這些研究發(fā)現(xiàn)，當(dāng)非預(yù)期行為需要更多推理時(shí)，捕獲獎(jiǎng)勵(lì)黑客攻擊的概率更高。在模型必須真正思考黑客攻擊的情況下，它更有可能在 CoT 中留下可識(shí)別的線索。這提出了一種可能的策略：迫使模型詳細(xì)計(jì)算任何危險(xiǎn)請(qǐng)求（而不是條件反射式地回答），希望它能有所行動(dòng)。然而，這并非萬(wàn)無(wú)一失。

總而言之，思路鏈?zhǔn)且话央p刃劍：它可以提高性能并讓我們一窺模型的思維，但如果沒(méi)有誠(chéng)實(shí)的保證，它也可能讓我們陷入一種虛假的安全感?！案y任務(wù)悖論”強(qiáng)調(diào)，隨著人工智能解決更復(fù)雜的問(wèn)題（我們最需要透明度），其自我報(bào)告的可靠性可能會(huì)降低。這促使人們研究量化和提高思路鏈忠實(shí)度，將其作為人工智能安全的關(guān)鍵途徑。