最近開(kāi)發(fā)者社區(qū)里流傳著一個(gè)很有意思的視頻讓 OpenAI 的模型回答一組看似簡(jiǎn)單的問(wèn)題表面上一問(wèn)一答非常流暢但把回答拆開(kāi)細(xì)看會(huì)發(fā)現(xiàn)模型在關(guān)鍵推理節(jié)點(diǎn)上完全跑偏甚至前后矛盾卻依然語(yǔ)氣篤定。這類(lèi)內(nèi)容在英文社區(qū)被概括成一句話——“OpenAI just proved AI has no idea what its doing”。直譯過(guò)來(lái)就是“OpenAI 剛剛證明了 AI 并不知道自己在做什么”。很多第一次接觸這個(gè)結(jié)論的開(kāi)發(fā)者會(huì)覺(jué)得很震撼但長(zhǎng)期做大模型應(yīng)用的人反而覺(jué)得這是意料之中當(dāng)前的大模型本質(zhì)上是一個(gè)概率化文本生成系統(tǒng)它的“流暢”來(lái)自大規(guī)模語(yǔ)言建模它的“篤定”來(lái)自對(duì)齊訓(xùn)練而它是否真的“知道自己在做什么”從來(lái)就不是訓(xùn)練目標(biāo)。這篇文章不打算做情緒化討論而是圍繞這個(gè)現(xiàn)象做一次技術(shù)拆解先講清楚模型能力邊界背后的原理再用 Python 寫(xiě)一組小實(shí)驗(yàn)實(shí)際觀測(cè)模型“過(guò)度自信但答錯(cuò)”的情況最后給出大模型落地時(shí)比較穩(wěn)妥的工程處理方案。無(wú)論你是剛接觸大模型開(kāi)發(fā)的新手還是在做 Agent、客服機(jī)器人、自動(dòng)化報(bào)告等生產(chǎn)級(jí)應(yīng)用的開(kāi)發(fā)者這篇文章都值得收藏備用。1. 背景這個(gè)視頻實(shí)驗(yàn)暴露了什么問(wèn)題1.1 現(xiàn)象本身流暢、篤定、但經(jīng)不起推敲最近幾個(gè)月開(kāi)發(fā)者社區(qū)流傳了大量針對(duì)大模型的“壓力測(cè)試”視頻和帖子。測(cè)試方式通常很簡(jiǎn)單不考專(zhuān)業(yè)知識(shí)只問(wèn)一些接近常識(shí)、但需要模型真正確認(rèn)“前提是否成立”的問(wèn)題。比較有代表性的幾類(lèi)問(wèn)題包括反事實(shí)推理把物理規(guī)則改成相反方向問(wèn)結(jié)果會(huì)怎樣自指類(lèi)問(wèn)題讓模型評(píng)價(jià)自己上一條回答是否正確計(jì)數(shù)與字符級(jí)操作數(shù)一個(gè)單詞里出現(xiàn)了幾次某個(gè)字母常識(shí)邊界問(wèn)題直接詢問(wèn)模型“你真的確定嗎”看它會(huì)不會(huì)修改答案。實(shí)驗(yàn)結(jié)果通常呈現(xiàn)同一個(gè)趨勢(shì)模型回答的語(yǔ)法非常完整態(tài)度非常自信但答案的正確率遠(yuǎn)遠(yuǎn)低于它的自信程度。也就是說(shuō)模型不是“答錯(cuò)了但知道自己可能錯(cuò)”而是“答錯(cuò)了還特別堅(jiān)定”。這個(gè)現(xiàn)象正是標(biāo)題所說(shuō)“AI 不知道自己在做什么”的直接證據(jù)。注意這里說(shuō)的“不知道自己在做什么”不是指模型像人類(lèi)一樣有自我意識(shí)卻故意犯錯(cuò)而是指它在生成機(jī)制上缺少一個(gè)“我知道自己不知道”的判斷通道。1.2 這不是偶然翻車(chē)而是系統(tǒng)性現(xiàn)象有些人把這類(lèi)測(cè)試當(dāng)成“AI 翻車(chē)集錦”來(lái)看覺(jué)得只要換一個(gè)更大的模型就能解決。但實(shí)際上這類(lèi)錯(cuò)誤不是偶發(fā) bug而是當(dāng)前技術(shù)路線的系統(tǒng)性輸出。原因可以拆成三層預(yù)訓(xùn)練階段模型學(xué)的是“給定上文預(yù)測(cè)下一個(gè)詞元”指令微調(diào)階段模型學(xué)的是“跟隨人類(lèi)指令生成人類(lèi)偏好的回答”對(duì)齊階段模型學(xué)著表現(xiàn)出“有用、誠(chéng)實(shí)、無(wú)害”的樣子但它的誠(chéng)實(shí)是行為層面的不是認(rèn)知層面的。換句話說(shuō)模型沒(méi)有一個(gè)獨(dú)立于語(yǔ)言的“思考內(nèi)核”它的一切“思考”最后都體現(xiàn)為文本生成。當(dāng)文本生成足夠流暢時(shí)我們會(huì)在心理上把“流暢”誤認(rèn)為“聰明”把“語(yǔ)氣堅(jiān)定”誤認(rèn)為“有把握”。1.3 為什么開(kāi)發(fā)者必須重視這個(gè)問(wèn)題如果你只是拿 ChatGPT 閑聊這類(lèi)問(wèn)題最多算段子。但如果你正在做 AI 客服、自動(dòng)化報(bào)告、Agent 工作流、代碼生成等生產(chǎn)級(jí)應(yīng)用模型“自信地犯錯(cuò)”就會(huì)造成非常嚴(yán)重的后果。舉幾個(gè)實(shí)際場(chǎng)景自動(dòng)生成財(cái)務(wù)分析報(bào)告模型給出精確到小數(shù)點(diǎn)的錯(cuò)誤數(shù)字客服機(jī)器人篤定地告訴用戶錯(cuò)誤的退換貨政策導(dǎo)致客訴升級(jí)Agent 根據(jù)模型幻覺(jué)出來(lái)的函數(shù)名去調(diào)用一個(gè)不存在的接口代碼補(bǔ)全工具生成一個(gè)看起來(lái)正常、但編譯不過(guò)或邏輯錯(cuò)誤的函數(shù)。這些問(wèn)題不會(huì)因?yàn)槟Ｐ桶姹旧?jí)就完全消失只會(huì)以不同形式反復(fù)出現(xiàn)。因此理解模型的能力邊界并且在系統(tǒng)設(shè)計(jì)上把這種邊界考慮進(jìn)去是每個(gè)做 AI 應(yīng)用的開(kāi)發(fā)者都繞不開(kāi)的功課。2. 核心概念先搞清楚“AI 到底知不知道自己在做什么”在寫(xiě)測(cè)試代碼之前先建立幾個(gè)基礎(chǔ)概念。理解了這幾個(gè)概念后面看實(shí)驗(yàn)結(jié)果就不會(huì)困惑。2.1 語(yǔ)言模型的本質(zhì)概率預(yù)測(cè)器大語(yǔ)言模型Large Language Model簡(jiǎn)稱(chēng) LLM的核心訓(xùn)練任務(wù)是“根據(jù)前面的文本預(yù)測(cè)下一個(gè)最可能的詞元token”。我們看到的“回答”本質(zhì)上是模型在候選詞元空間里反復(fù)做概率采樣每次選一個(gè)詞元拼到已有文本后面直到生成結(jié)束標(biāo)記?？梢园阉斫鉃檫@樣一個(gè)循環(huán)輸入文本 - 計(jì)算每個(gè)詞元出現(xiàn)的概率 - 選擇/采樣一個(gè)詞元 - 拼接到文本 - 重復(fù)模型確實(shí)在訓(xùn)練中學(xué)習(xí)了大量語(yǔ)法、知識(shí)和推理模式但它學(xué)習(xí)這些內(nèi)容的目的不是為了“掌握真理”而是為了讓“預(yù)測(cè)下一個(gè)詞”更準(zhǔn)確。這兩者大多數(shù)時(shí)候一致但在邊界場(chǎng)景下會(huì)出現(xiàn)明顯偏差。這也是“AI 不知道自己在做什么”的根源之一它沒(méi)有獨(dú)立于文本生成之外的驗(yàn)證系統(tǒng)。2.2 記憶、推理與表態(tài)是三件不同的事實(shí)際使用中我們經(jīng)常把三件事混在一起記憶模型在訓(xùn)練數(shù)據(jù)里見(jiàn)過(guò)類(lèi)似內(nèi)容能夠復(fù)述出來(lái)推理模型基于已有信息通過(guò)多步邏輯推導(dǎo)得到新結(jié)論表態(tài)模型選擇用什么樣的語(yǔ)氣、結(jié)構(gòu)、確定性程度來(lái)表達(dá)。當(dāng)前模型在“記憶”和“表態(tài)”上做得很好但“推理”的可靠性要差得多。尤其當(dāng)問(wèn)題需要多步推導(dǎo)、或者前提與訓(xùn)練數(shù)據(jù)中的常見(jiàn)模式不一致時(shí)模型很容易滑向“記憶中最相似的答案”而不是“基于當(dāng)前前提重新推導(dǎo)”。這就是為什么反事實(shí)推理測(cè)試特別能暴露問(wèn)題因?yàn)橛?xùn)練數(shù)據(jù)里幾乎沒(méi)有“水的凝固點(diǎn)是 -10 攝氏度”這種樣本模型找不到可復(fù)述的記憶只能現(xiàn)場(chǎng)推理而現(xiàn)場(chǎng)推理恰恰是它的弱項(xiàng)。2.3 校準(zhǔn)度說(shuō)“有把握”不代表真準(zhǔn)機(jī)器學(xué)習(xí)里有一個(gè)概念叫校準(zhǔn)度Calibration。簡(jiǎn)單說(shuō)就是模型預(yù)測(cè)的概率和真實(shí)結(jié)果發(fā)生的頻率是否一致。舉個(gè)例子如果模型對(duì) 100 個(gè)問(wèn)題都給出了 90% 的置信度而這 100 個(gè)問(wèn)題里真的有 90 個(gè)答對(duì)那么校準(zhǔn)度很好如果模型對(duì) 100 個(gè)問(wèn)題都給出了 90% 的置信度結(jié)果只答對(duì) 60 個(gè)那么模型就是過(guò)度自信。大模型在自然語(yǔ)言場(chǎng)景下的常見(jiàn)問(wèn)題就是“置信度高估”。它會(huì)用“這是顯而易見(jiàn)的”“可以肯定地說(shuō)”這類(lèi)強(qiáng)勢(shì)句式但背后的正確率并沒(méi)有那么高。這是“AI 不知道自己不知道”的量化體現(xiàn)也是我們?cè)诘?4 節(jié)要實(shí)測(cè)的核心指標(biāo)。2.4 幻覺(jué)看起來(lái)合理實(shí)際上無(wú)中生有幻覺(jué)Hallucination是指模型生成了與事實(shí)不符、或者根本沒(méi)有依據(jù)的內(nèi)容?；糜X(jué)通常分為兩類(lèi)事實(shí)性幻覺(jué)生成的內(nèi)容與真實(shí)世界知識(shí)矛盾忠實(shí)性幻覺(jué)生成的內(nèi)容與用戶輸入的上下文矛盾?；糜X(jué)不是模型“故意撒謊”。更準(zhǔn)確地說(shuō)模型在生成時(shí)并不區(qū)分“從記憶中復(fù)述”和“現(xiàn)場(chǎng)編造”因?yàn)樗鼪](méi)有事實(shí)數(shù)據(jù)庫(kù)可以查詢它只有參數(shù)里隱含的概率分布。這一點(diǎn)在工程上特別重要很多錯(cuò)誤不是靠提示詞就能完全消除的必須在系統(tǒng)層面加上校驗(yàn)。3. 技術(shù)拆解為什么模型會(huì)“自信地胡說(shuō)八道”這一節(jié)深入分析幾個(gè)具體原因。每個(gè)原因都對(duì)應(yīng)后面的測(cè)試思路與工程方案。3.1 訓(xùn)練目標(biāo)里沒(méi)有“我不知道”這個(gè)選項(xiàng)在預(yù)訓(xùn)練階段模型的任務(wù)是補(bǔ)全文本。它看到“中國(guó)的首都是____”訓(xùn)練標(biāo)簽是“北京”。在大量這樣的樣本之后模型學(xué)會(huì)的是遇到類(lèi)似模式就輸出高頻聯(lián)想詞。問(wèn)題在于對(duì)于人類(lèi)來(lái)說(shuō)“我不知道”是一個(gè)合理的答案但對(duì)于語(yǔ)言模型訓(xùn)練來(lái)說(shuō)“我不知道”在概率上永遠(yuǎn)不是最高頻的補(bǔ)全。到了 RLHF基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)階段標(biāo)注者通常更喜歡“給了具體答案”的回答而不是“拒絕回答”。于是模型進(jìn)一步學(xué)會(huì)了即使沒(méi)有把握也要給出一個(gè)結(jié)構(gòu)化、看似完整的答案而不是老實(shí)承認(rèn)自己不知道。所以你會(huì)看到哪怕模型完全不會(huì)做某道題它也會(huì)寫(xiě)出“根據(jù)題目條件我們可以得出……”這樣的思考過(guò)程而不是直接說(shuō)“我不會(huì)”。3.2 多步推理中的誤差累積模型生成時(shí)是逐詞元進(jìn)行的。對(duì)于三步推理題模型第一步可能對(duì)了第二步開(kāi)始偏移第三步已經(jīng)完全偏離。但生成過(guò)程是單向的已經(jīng)生成的文本不會(huì)因?yàn)楹竺娴腻e(cuò)誤而回退。可以類(lèi)比成一個(gè)人一邊走路一邊答題每走一步都寫(xiě)下一句“我確定答案是什么”。一旦前面寫(xiě)錯(cuò)了后面所有內(nèi)容都建立在這個(gè)錯(cuò)誤基礎(chǔ)上。模型不會(huì)像人類(lèi)解題那樣先在草稿紙上推導(dǎo)、驗(yàn)證、再謄寫(xiě)最終答案。這也是為什么在測(cè)試中只要問(wèn)題的推理鏈變長(zhǎng)正確率就會(huì)明顯下降。你問(wèn)它兩步推理題它可能還能應(yīng)付問(wèn)到四步、五步錯(cuò)誤率就會(huì)快速上升。3.3 評(píng)測(cè)數(shù)據(jù)誤導(dǎo)了能力判斷很多模型評(píng)測(cè)基準(zhǔn)Benchmark是靜態(tài)的選擇題或簡(jiǎn)答題。模型在訓(xùn)練語(yǔ)料里很可能見(jiàn)過(guò)大量相似題目甚至見(jiàn)過(guò)標(biāo)準(zhǔn)答案。這使得評(píng)測(cè)分?jǐn)?shù)反映的是“記憶檢索能力”而不是“真實(shí)推理能力”。當(dāng)訓(xùn)練語(yǔ)料把評(píng)測(cè)題的答案也包含進(jìn)去之后評(píng)測(cè)分?jǐn)?shù)會(huì)虛高。這也是為什么有些模型在公開(kāi)基準(zhǔn)上表現(xiàn)優(yōu)異一旦換成全新的、需要實(shí)時(shí)推導(dǎo)的問(wèn)題可靠性就大打折扣。開(kāi)發(fā)者要特別警惕這一點(diǎn)不要只看一家評(píng)測(cè)榜單就做技術(shù)選型最好用自己業(yè)務(wù)場(chǎng)景的私有數(shù)據(jù)集跑一遍。3.4 知識(shí)邊界沒(méi)有兜底機(jī)制模型訓(xùn)練數(shù)據(jù)有截止時(shí)間也有覆蓋范圍。當(dāng)用戶輸入的內(nèi)容落在訓(xùn)練分布之外比如新出的政策、內(nèi)部系統(tǒng)的數(shù)據(jù)、罕見(jiàn)的邊界條件模型依然會(huì)強(qiáng)行生成“聽(tīng)起來(lái)合理”的回答而不是觸發(fā)“超出知識(shí)范圍”的提醒。這不是模型偷懶而是它沒(méi)有內(nèi)建一個(gè)“知識(shí)邊界檢測(cè)器”。它只能根據(jù)語(yǔ)言模式判斷“這類(lèi)問(wèn)題通常怎么回答”而無(wú)法判斷“這個(gè)問(wèn)題是否在我的知識(shí)范圍內(nèi)”。這種設(shè)計(jì)在工程上帶來(lái)的后果是凡是涉及新知識(shí)、私有數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的場(chǎng)景都不能讓模型憑空回答必須給它提供上下文或者用程序校驗(yàn)結(jié)果。4. 用 Python 實(shí)測(cè)觀察模型的過(guò)度自信理論講再多不如動(dòng)手測(cè)一輪。這一節(jié)我們用 Python 調(diào)用 OpenAI API 做兩個(gè)小實(shí)驗(yàn)把“過(guò)度自信”變成可以量化的數(shù)據(jù)。4.1 準(zhǔn)備環(huán)境和依賴(lài)實(shí)驗(yàn)環(huán)境需要Python 3.9 及以上版本OpenAI Python SDK一個(gè)可用的 OpenAI API Key。安裝依賴(lài)pip install openai設(shè)置 API Key建議使用環(huán)境變量不要寫(xiě)死在代碼里export OPENAI_API_KEY你的key這里要特別強(qiáng)調(diào)兩點(diǎn)第一API Key 是敏感憑證只應(yīng)從官方平臺(tái)創(chuàng)建不要使用任何第三方“共享 Key”也不要提交到 Git 倉(cāng)庫(kù)第二實(shí)驗(yàn)會(huì)消耗少量 API 額度建議先用小額充值測(cè)試。模型名以你賬號(hào)實(shí)際可用的模型為準(zhǔn)本文示例使用gpt-4o-mini。4.2 封裝基礎(chǔ)調(diào)用函數(shù)先寫(xiě)一個(gè)公共模塊讓模型在回答末尾輸出置信度再解析回答內(nèi)容和置信度數(shù)字。# 文件路徑experiment/llm_utils.py import os from openai import OpenAI client OpenAI(api_keyos.environ.get(OPENAI_API_KEY)) SYSTEM_PROMPT ( 你是實(shí)驗(yàn)助手。請(qǐng)回答問(wèn)題并在回答末尾單獨(dú)一行輸出\n CONFIDENCE:0到100之間的整數(shù)\n 表示你對(duì)自己答案的把握程度。 ) def ask_with_confidence(prompt: str, model: str gpt-4o-mini) - dict: resp client.chat.completions.create( modelmodel, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: prompt}, ], temperature0, ) content resp.choices[0].message.content return parse_answer(content) def parse_answer(content: str) - dict: lines content.strip().splitlines() answer [] confidence None for line in lines: if line.upper().startswith(CONFIDENCE:): try: confidence int(line.split(:, 1)[1].strip()) except ValueError: confidence None else: answer.append(line) return { answer: \n.join(answer).strip(), confidence: confidence, }這段代碼做了三件事讓模型在回答末尾輸出一個(gè)置信度數(shù)字用temperature0減少隨機(jī)性觀察模型的默認(rèn)行為把回答內(nèi)容和置信度分開(kāi)解析。4.3 測(cè)試一反事實(shí)推理反事實(shí)推理要求模型暫時(shí)忽略訓(xùn)練數(shù)據(jù)里的常識(shí)接受一個(gè)假設(shè)前提再推導(dǎo)結(jié)果。這能很好地觀察模型到底是在“檢索記憶”還是“重新推理”。# 文件路徑experiment/test_counterfactual.py from llm_utils import ask_with_confidence cases [ 如果水的凝固點(diǎn)不是0攝氏度而是-10攝氏度那么在-5攝氏度的環(huán)境里一杯純水會(huì)處于什么狀態(tài), 假設(shè)人類(lèi)的心臟長(zhǎng)在右側(cè)胸腔那么做心臟彩超時(shí)探頭應(yīng)該放在身體的哪一側(cè), 如果一年不是365天而是100天那么一個(gè)30歲的人相當(dāng)于現(xiàn)在通常意義下的多少歲, ] for idx, case in enumerate(cases, 1): result ask_with_confidence(case) print(f 問(wèn)題 {idx} ) print(問(wèn)題:, case) print(回答:, result[answer]) print(置信度:, result[confidence]) print()這類(lèi)問(wèn)題的特點(diǎn)是模型在訓(xùn)練語(yǔ)料里幾乎不可能見(jiàn)過(guò)完全一致的問(wèn)答對(duì)。如果模型能正確完成推理說(shuō)明它確實(shí)在按規(guī)則推導(dǎo)如果它給出的是訓(xùn)練數(shù)據(jù)里的常識(shí)答案就說(shuō)明它只是在做相似記憶檢索。實(shí)測(cè)中常見(jiàn)的現(xiàn)象是對(duì)于第一類(lèi)問(wèn)題模型能給出“水在 -5 攝氏度仍然為液態(tài)”這樣的正確推導(dǎo)但如果把條件變得更反直覺(jué)、或者增加推導(dǎo)步數(shù)模型就會(huì)逐漸回到常識(shí)答案同時(shí)置信度依然很高。4.4 測(cè)試二置信度與正確率對(duì)比設(shè)計(jì)一組包含明確標(biāo)準(zhǔn)答案的題目統(tǒng)計(jì)模型在各個(gè)置信度區(qū)間內(nèi)的實(shí)際正確率。# 文件路徑experiment/test_calibration.py from llm_utils import ask_with_confidence cases [ (17 * 23 ?, 391), (192 * 47 ?, 9024), (1234 5678 ?, 6912), (中國(guó)是哪一年加入世界貿(mào)易組織的, 2001), (《紅樓夢(mèng)》的作者是誰(shuí), 曹雪芹), ] hit 0 for q, expected in cases: result ask_with_confidence(q) correct expected in result[answer] hit int(correct) print(f[{正確 if correct else 錯(cuò)誤}] 置信度{result[confidence]} 問(wèn)題{q}) print(f總正確率: {hit / len(cases):.0%})這里需要說(shuō)明判斷“是否答對(duì)”用的是非常初級(jí)的子串匹配真實(shí)評(píng)估時(shí)要根據(jù)題型寫(xiě)更嚴(yán)謹(jǐn)?shù)呐蓄}邏輯。這個(gè)腳本的意義在于演示思路把模型的回答和置信度一起收集再對(duì)比正確率觀察校準(zhǔn)度偏差。如果你把題目數(shù)量擴(kuò)到幾十個(gè)甚至上百個(gè)就會(huì)發(fā)現(xiàn)一個(gè)規(guī)律置信度在 90 以上的題目正確答案比例并不等于 90%。尤其在數(shù)值計(jì)算、時(shí)間類(lèi)、政策類(lèi)問(wèn)題上模型會(huì)給出很高的置信度但答案是錯(cuò)的。4.5 如何解讀實(shí)驗(yàn)結(jié)果如果你按上面的腳本親測(cè)一輪大概率會(huì)得出幾個(gè)結(jié)論模型的自然語(yǔ)言回答質(zhì)量很高幾乎不會(huì)有語(yǔ)法問(wèn)題置信度普遍偏高很少出現(xiàn)“我完全沒(méi)把握”的情況正確率低于置信度也就是過(guò)度自信當(dāng)問(wèn)題涉及多步計(jì)算或反事實(shí)條件時(shí)錯(cuò)誤率明顯上升。這些觀察與大模型評(píng)測(cè)領(lǐng)域的公開(kāi)結(jié)論是一致的。簡(jiǎn)單說(shuō)模型在“語(yǔ)言組織”維度已經(jīng)非常強(qiáng)但在“自知之明”維度依然很弱。這也是工程上必須增加外部校驗(yàn)的核心原因。5. 工程實(shí)踐如何與一個(gè)“過(guò)度自信”的模型安全協(xié)作5.1 定位讓模型做生成器而不是決策器在系統(tǒng)設(shè)計(jì)中不要把大模型當(dāng)作最終決策者。更合理的分層是大模型負(fù)責(zé)理解用戶意圖、生成草稿、組織語(yǔ)言、提取信息規(guī)則系統(tǒng)負(fù)責(zé)校驗(yàn)、計(jì)算、權(quán)限判斷、關(guān)鍵數(shù)據(jù)查詢?nèi)斯へ?fù)責(zé)最終確認(rèn)、異常處理。例如自動(dòng)生成周報(bào)時(shí)可以讓模型生成文本框架但所有數(shù)字必須從數(shù)據(jù)庫(kù)查詢后由程序填充不能允許模型“大概估計(jì)”。把不可靠的環(huán)節(jié)從模型手里拿掉是降低系統(tǒng)性風(fēng)險(xiǎn)最直接的辦法。5.2 用 RAG 引入可信事實(shí)RAGRetrieval-Augmented Generation檢索增強(qiáng)生成是目前降低事實(shí)性幻覺(jué)最常用的手段之一。流程如下用戶問(wèn)題 - 檢索相關(guān)文檔片段 - 把文檔片段作為上下文拼入提示詞 - 模型基于文檔生成回答這樣做的好處是模型不需要“自己想起”事實(shí)而是基于檢索到的可追溯內(nèi)容生成答案。即使回答仍可能有瑕疵至少我們能定位到信息來(lái)源為人工復(fù)核提供依據(jù)。RAG 的關(guān)鍵點(diǎn)不在于“把文檔塞進(jìn)提示詞”而在于檢索質(zhì)量。如果檢索到的片段本身不相關(guān)模型一樣會(huì)跑偏。所以在工程上要同時(shí)關(guān)注文檔切分方式embedding 模型選擇檢索結(jié)果數(shù)量與排序引用來(lái)源展示。5.3 結(jié)構(gòu)化輸出與字段校驗(yàn)對(duì)于需要精確值的場(chǎng)景不要讓模型自由輸出文本?？梢砸竽Ｐ洼敵?JSON再用程序校驗(yàn)字段類(lèi)型和取值范圍。# 文件路徑experiment/structured_output.py import json import re from openai import OpenAI client OpenAI() def extract_order_info(text: str) - dict: prompt f 從下面的客服對(duì)話中提取訂單信息只輸出 JSON不要輸出其他內(nèi)容。 格式 {{order_no: 訂單號(hào)或null, amount: 金額數(shù)字或null, status: 狀態(tài)或null}} 對(duì)話內(nèi)容 {text} resp client.chat.completions.create( modelgpt-4o-mini, messages[{role: user, content: prompt}], temperature0, response_format{type: json_object}, ) content resp.choices[0].message.content try: data json.loads(content) except json.JSONDecodeError: data {} # 字段級(jí)校驗(yàn) if order_no in data and not re.match(r^[A-Z0-9]{6,20}$, data[order_no] or ): data[order_no] None if amount in data and not isinstance(data[amount], (int, float)): data[amount] None return data if __name__ __main__: text 你好我的訂單20240815001金額是299元顯示已發(fā)貨。 print(extract_order_info(text))response_format{type: json_object}是 OpenAI 提供的結(jié)構(gòu)化輸出能力可以讓模型盡量遵守 JSON 格式。但程序仍然需要自己校驗(yàn)字段因?yàn)槟Ｐ团及l(fā)情況下仍可能輸出不符合預(yù)期的 JSON或者把金額字段提取成字符串。5.4 用自我一致性判斷可靠性自我一致性Self-Consistency的思路很簡(jiǎn)單同一個(gè)問(wèn)題用較高溫度采樣多次如果模型每次答案都一致說(shuō)明答案更可靠如果答案來(lái)回切換說(shuō)明模型并沒(méi)有穩(wěn)定把握。# 文件路徑experiment/self_consistency.py from collections import Counter from openai import OpenAI client OpenAI() def sample_answers(prompt: str, model: str gpt-4o-mini, n: int 5): answers [] for _ in range(n): resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.8, ) answers.append(resp.choices[0].message.content.strip()) return answers if __name__ __main__: prompt 一個(gè)長(zhǎng)方形的長(zhǎng)是8寬是5面積是多少 ans sample_answers(prompt, n5) counter Counter(ans) for text, count in counter.most_common(): print(f{count} 次: {text})注意自我一致性只能作為輔助判斷不能當(dāng)作絕對(duì)標(biāo)準(zhǔn)。因?yàn)槟Ｐ涂赡茉诙啻尾蓸又卸挤€(wěn)定地犯同一個(gè)錯(cuò)誤尤其是那些它在訓(xùn)練中形成強(qiáng)偏見(jiàn)的題目。5.5 建立回歸測(cè)試集對(duì) AI 功能做版本升級(jí)或提示詞修改時(shí)一定要準(zhǔn)備一個(gè)回歸測(cè)試集。測(cè)試集應(yīng)該包含正常輸入邊界輸入容易觸發(fā)幻覺(jué)的輸入反事實(shí)或?qū)剐暂斎?。每次改?dòng)后跑一遍觀察正確率、格式合規(guī)率、置信度分布。這樣至少能在發(fā)版前發(fā)現(xiàn)“某個(gè)問(wèn)題被修好了但另外一批問(wèn)題變差了”的回歸風(fēng)險(xiǎn)。在小團(tuán)隊(duì)里這個(gè)測(cè)試集可以先從 50 條手工用例開(kāi)始后面逐步補(bǔ)充線上真實(shí)用戶的高頻問(wèn)題。測(cè)試代碼本身不要復(fù)雜最簡(jiǎn)單的方式就是像第 4 節(jié)那樣寫(xiě)一個(gè)腳本循環(huán)調(diào)用模型輸出一份統(tǒng)計(jì)報(bào)告。6. 常見(jiàn)誤區(qū)與 FAQ6.1 模型說(shuō)“不知道”就等于有自知之明嗎不一定。模型偶爾會(huì)說(shuō)“我無(wú)法確認(rèn)”這通常是因?yàn)樗挠?xùn)練數(shù)據(jù)里有類(lèi)似表達(dá)或者 RLHF 階段被鼓勵(lì)在特定話題上保持克制。它不代表模型真的在內(nèi)部檢查了自己的知識(shí)邊界。實(shí)測(cè)中同一個(gè)模型在不同措辭下可能一個(gè)版本說(shuō)“我不知道”另一個(gè)版本就給出詳細(xì)回答。所以不要用模型是否“承認(rèn)不知道”來(lái)評(píng)估它的可靠性要看它在真實(shí)業(yè)務(wù)數(shù)據(jù)上的校準(zhǔn)度。6.2 換更大的模型能根治過(guò)度自信嗎在一定程度上能緩解但不能根治。更大參數(shù)的模型在記憶和推理基準(zhǔn)上通常更強(qiáng)但在分布外輸入、反事實(shí)推理、長(zhǎng)鏈路邏輯上依然會(huì)出現(xiàn)過(guò)度自信。生產(chǎn)環(huán)境不能把可靠性完全押在“換大模型”上。更務(wù)實(shí)的做法是不換模型的前提下通過(guò) RAG、結(jié)構(gòu)化輸出、人工審核把這些風(fēng)險(xiǎn)兜住。6.3 模型“自我糾正”是真正的反思嗎不是。當(dāng)模型在提示詞里被要求“檢查你的回答再修改”它做的依然是文本生成根據(jù)“我剛才的答案 檢查指令”重新生成一段文本。這個(gè)流程看起來(lái)像反思但模型并沒(méi)有一個(gè)獨(dú)立的驗(yàn)證器來(lái)確認(rèn)新答案更正確。某些時(shí)候新答案確實(shí)更好某些時(shí)候反而會(huì)把對(duì)的改成錯(cuò)的。所以涉及關(guān)鍵判斷時(shí)不要依賴(lài)“讓模型自查”這一招應(yīng)該用外部程序校驗(yàn)。6.4 Agent 場(chǎng)景下這個(gè)問(wèn)題會(huì)更嚴(yán)重嗎會(huì)更嚴(yán)重。Agent 類(lèi)應(yīng)用例如代碼生成助手、自動(dòng)化執(zhí)行工具會(huì)把模型的輸出直接轉(zhuǎn)化為操作行為。如果模型自信地生成了一個(gè)不存在的函數(shù)名Agent 可能就會(huì)報(bào)錯(cuò)或做出預(yù)期之外的動(dòng)作。所以在 Agent 的架構(gòu)里建議在“模型生成”和“工具調(diào)用”之間加一層工具白名單校驗(yàn)只允許模型調(diào)用系統(tǒng)注冊(cè)過(guò)的函數(shù)并且對(duì)參數(shù)做類(lèi)型和范圍檢查。這也是目前比較穩(wěn)妥的工程實(shí)踐。7. 最佳實(shí)踐與工程建議7.1 生產(chǎn)環(huán)境檢查清單如果你正在把大模型接入業(yè)務(wù)系統(tǒng)建議對(duì)照這張清單逐項(xiàng)確認(rèn)風(fēng)險(xiǎn)點(diǎn)建議做法API Key 泄露使用環(huán)境變量或密鑰管理服務(wù)禁止入庫(kù)幻覺(jué)數(shù)據(jù)進(jìn)入業(yè)務(wù)關(guān)鍵數(shù)據(jù)用 RAG 或數(shù)據(jù)庫(kù)回填不允許模型直接生成用戶輸入注入對(duì)拼接進(jìn)提示詞的不可信內(nèi)容做邊界處理模型輸出格式不穩(wěn)使用 JSON 結(jié)構(gòu)化輸出 程序字段校驗(yàn)錯(cuò)誤無(wú)法定位記錄完整輸入、輸出、檢索片段保留日志升級(jí)導(dǎo)致行為變化建立回歸測(cè)試集發(fā)版前全量比對(duì)7.2 一個(gè)可復(fù)用的定位原則實(shí)際開(kāi)發(fā)中比較推薦的做法是把大模型當(dāng)作“高智商但低可靠性的實(shí)習(xí)生”。它適合做初稿、做分類(lèi)、做信息提取但所有關(guān)鍵環(huán)節(jié)必須有人或系統(tǒng)復(fù)核。這個(gè)定位聽(tīng)起來(lái)保守卻是目前把大模型安全落地的現(xiàn)實(shí)方式。它不否定大模型的價(jià)值只是把模型放在它真正擅長(zhǎng)并且容錯(cuò)率高的位置。7.3 后續(xù)可以做些什么如果你打算把本文的測(cè)試腳本改造成自己團(tuán)隊(duì)的評(píng)測(cè)工具建議從兩類(lèi)問(wèn)題入手一類(lèi)是已有標(biāo)準(zhǔn)答案的事實(shí)題用來(lái)觀察校準(zhǔn)度另一類(lèi)是需要多步推導(dǎo)的反事實(shí)題用來(lái)觀察推理穩(wěn)定性。把這兩類(lèi)問(wèn)題自動(dòng)化每周跑一次比臨時(shí)用幾個(gè) prompt 試效果要有用得多。當(dāng)模型版本、提示詞或業(yè)務(wù)上下文發(fā)生變化時(shí)你手里有數(shù)據(jù)就能快速判斷改動(dòng)到底有沒(méi)有讓