言模型信息失真：結(jié)構(gòu)化提示詞與自我校驗(yàn)實(shí)踐)
1. 背景與核心概念在業(yè)務(wù)迭代中接觸大語(yǔ)言模型應(yīng)用時(shí)我最常遇到的并不是“模型能力不夠”而是“模型理解得不準(zhǔn)確”。一個(gè)需求從產(chǎn)品經(jīng)理描述給研發(fā)再由研發(fā)寫成提示詞最后模型把結(jié)果輸出給用戶這中間每一次轉(zhuǎn)換都可能引入偏差。就像“傳話游戲”一樣第一棒說(shuō)“我想知道某個(gè)商品的價(jià)格區(qū)間”傳到最后一棒可能變成“請(qǐng)列出所有商品明細(xì)并打分”。這個(gè)現(xiàn)象不是偶然的而是大語(yǔ)言模型在信息傳遞過(guò)程中的固有風(fēng)險(xiǎn)。本文圍繞“不要讓 LLM 把你的想法當(dāng)傳話游戲”這一主題從原理、工程實(shí)踐、智能體場(chǎng)景三個(gè)層面展開(kāi)講清楚信息失真發(fā)生在哪里以及如何通過(guò)結(jié)構(gòu)化提示詞、上下文管理、自我校驗(yàn)等手段把這種失真降到最低。適合讀者正在搭建 LLM 應(yīng)用、智能體或者 RAG 管道的后端開(kāi)發(fā)者以及想把大模型接入業(yè)務(wù)的算法工程師。讀完本文后你能掌握一套防止 LLM 信息失真的工程方法并直接用于自己的項(xiàng)目。1.1 什么是“傳話游戲”效應(yīng)傳話游戲在英語(yǔ)里叫 Telephone Game也叫 Chinese Whispers。一群人手拉手站成一排第一個(gè)人小聲說(shuō)一句話后面的人依次把聽(tīng)到的內(nèi)容復(fù)述給下一個(gè)人傳到隊(duì)列末尾時(shí)原話往往已經(jīng)被改得面目全非。LLM 的信息處理過(guò)程中確實(shí)存在類似現(xiàn)象。當(dāng)一個(gè)輸入文本經(jīng)過(guò)多輪改寫、摘要、翻譯、補(bǔ)全之后語(yǔ)義會(huì)發(fā)生逐級(jí)漂移。比如先讓模型把一段客戶反饋壓縮成三個(gè)關(guān)鍵詞再把這三個(gè)關(guān)鍵詞交給另一個(gè)模型去生成解決方案最后得到的方案可能完全偏離原始反饋的真實(shí)意圖。更進(jìn)一步這種失真不只在多個(gè)模型之間發(fā)生。即使只有一個(gè)模型如果你把一段話拆成多個(gè)中間步驟并讓模型在每一步都做壓縮或轉(zhuǎn)述同樣的偏差也會(huì)出現(xiàn)。1.2 為什么 LLM 會(huì)曲解你的想法大語(yǔ)言模型本質(zhì)上是基于概率的文本生成系統(tǒng)。它并不保存一份“事實(shí)數(shù)據(jù)庫(kù)”而是在給定上下文的情況下預(yù)測(cè)最有可能的下一個(gè) token。這種機(jī)制決定了它天生具有如下特點(diǎn)概括會(huì)丟失細(xì)節(jié)。模型在摘要時(shí)往往會(huì)保留高權(quán)重信息丟棄低頻但關(guān)鍵的限定條件。歧義需要有默認(rèn)假設(shè)。當(dāng)指令不夠明確時(shí)模型會(huì)自動(dòng)補(bǔ)全一個(gè)“最可能的解釋”這個(gè)解釋未必是你的本意。長(zhǎng)上下文中早期信息會(huì)被稀釋。注意力機(jī)制會(huì)更關(guān)注近期內(nèi)容早期約束容易被遺忘。自我一致性并非絕對(duì)保證。同一個(gè)模型在不同溫度參數(shù)下對(duì)同一句話的理解可能不同。所以當(dāng)你的想法以自然語(yǔ)言形式、不附帶約束條件直接交給 LLM 時(shí)模型只能根據(jù)訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律去“猜”你的意圖。猜的次數(shù)多了偏差就會(huì)累積。1.3 本文的討論范圍本文不會(huì)停留在“提示詞要寫清楚”這種泛泛建議上而是從工程實(shí)踐角度給出可執(zhí)行的方案。具體包括拆解信息失真的四個(gè)關(guān)鍵環(huán)節(jié)。給出一個(gè)可運(yùn)行的 Python 實(shí)戰(zhàn)案例展示一個(gè)典型的多步信息傳遞管道如何失真以及如何修復(fù)。將結(jié)論擴(kuò)展到智能體自主容錯(cuò)控制、數(shù)據(jù)標(biāo)注一致性、本地 GGUF 模型部署等具體場(chǎng)景。提供一套排查思路和工程規(guī)范方便你在自己的項(xiàng)目中落地。2. 信息失真產(chǎn)生的四個(gè)核心環(huán)節(jié)2.1 提示詞注入與指令漂移指令漂移是整個(gè) LLM 應(yīng)用中最隱蔽的問(wèn)題。所謂指令漂移是指用戶的實(shí)際意圖在進(jìn)入提示詞之后被其他信息逐步“覆蓋”。舉個(gè)例子。你希望模型判斷一條評(píng)論的情感極性于是構(gòu)造了這樣一個(gè)模板你是一個(gè)文本分類器。 請(qǐng)判斷下面評(píng)論的情感極性輸出正面、負(fù)面或中性。 評(píng)論這家酒店的早餐很差但前臺(tái)服務(wù)很好。這句話包含兩個(gè)信息點(diǎn)早餐差負(fù)面前臺(tái)好正面。如果模型只輸出“中性”其實(shí)是一種折中如果模型輸出“負(fù)面”則忽略了服務(wù)好評(píng)。兩種結(jié)果都可能不是業(yè)務(wù)方想要的。業(yè)務(wù)想要的是“分維度判斷”。指令漂移的本質(zhì)是業(yè)務(wù)方的完整意圖沒(méi)有在提示詞中結(jié)構(gòu)化表達(dá)出來(lái)導(dǎo)致模型在多個(gè)信息點(diǎn)之間做模糊加權(quán)。解決這個(gè)問(wèn)題不能靠“寫長(zhǎng)一點(diǎn)”而要靠明確輸出格式和判斷規(guī)則。2.2 上下文窗口截?cái)嗌舷挛拇翱谑?LLM 的硬約束。當(dāng)你需要把大量文本傳給模型時(shí)常見(jiàn)做法是截?cái)嗷虼直┓指?。但裁掉的?nèi)容可能就是關(guān)鍵信息。例如在處理一份長(zhǎng)合同摘要時(shí)如果前面的段落包含“本協(xié)議自 2026 年生效試用期 3 個(gè)月”而后面的段落包含賠償條款。截?cái)嗪笕绻槐Ａ艉竺娴亩温淠Ｐ途筒恢涝囉闷谂c賠償之間的關(guān)系。更常見(jiàn)的場(chǎng)景是在 RAG 檢索中系統(tǒng)先把文檔切片再只把 top-k 個(gè)相關(guān)片段送給模型。如果切片策略不合理關(guān)鍵信息被切成兩半或相關(guān)片段沒(méi)有包含限定條件那么模型的回答就會(huì)失真。2.3 結(jié)構(gòu)化缺失大語(yǔ)言模型輸出的原始形態(tài)是自然語(yǔ)言。自然語(yǔ)言適合人閱讀但不適合程序做邏輯判斷。如果后續(xù)環(huán)節(jié)繼續(xù)把自然語(yǔ)言當(dāng)作輸入就會(huì)累積誤差。假設(shè)第一步讓模型輸出“這段描述的主要問(wèn)題”第二步讓模型基于“主要問(wèn)題”給修復(fù)建議。第一步輸出的是自然語(yǔ)言段落第二步又要重新解釋這段自然語(yǔ)言這其實(shí)就構(gòu)成了一個(gè)傳話回路。每一步的概括都會(huì)把細(xì)節(jié)再壓扁一層。如果第一步的輸出被定義為一個(gè) JSON 結(jié)構(gòu)比如{ primary_issue: 早餐質(zhì)量差, secondary_issue: 前臺(tái)服務(wù)好, confidence: 0.92 }那第二步的邏輯就可以直接基于 primary_issue 字段而不是重新解析一段話。結(jié)構(gòu)化不是為了好看而是為了切斷“自然語(yǔ)言轉(zhuǎn)述”這條失真鏈路。2.4 多代理通信失真在智能體或多模型協(xié)作場(chǎng)景中信息失真會(huì)被進(jìn)一步放大。一個(gè) Planner 模型制定計(jì)劃一個(gè) Executor 模型執(zhí)行計(jì)劃一個(gè) Reviewer 模型審查結(jié)果。三個(gè)模型之間的通信如果都是自然語(yǔ)言那么每一步都可能丟失信息。假設(shè) Planner 輸出計(jì)劃第 1 步查詢用戶訂單。 第 2 步判斷訂單是否超時(shí)。 第 3 步如果超時(shí)則自動(dòng)退款。Executor 在執(zhí)行“查詢用戶訂單”時(shí)可能需要一個(gè)精確的訂單 ID。如果 Planner 沒(méi)有在通信消息中帶上訂單 IDExecutor 只能自己去猜或者返回一個(gè)模糊錯(cuò)誤。多代理場(chǎng)景的核心是代理之間傳遞的應(yīng)該是結(jié)構(gòu)化消息而不是一串自然語(yǔ)言。每個(gè)代理的輸出要有明確的字段邊界這樣下一個(gè)代理才能準(zhǔn)確消費(fèi)。3. 環(huán)境準(zhǔn)備與通用工程基線3.1 依賴與模型選擇本文代碼示例以 Python 為主運(yùn)行環(huán)境建議為 Python 3.10 及以上。模型調(diào)用部分采用 OpenAI 兼容接口的通用格式這樣無(wú)論你使用在線 API 還是本地部署的 GGUF 模型都可以用同一套代碼邏輯。如果使用本地模型可以借助 llama.cpp 或者支持 GGUF 格式的運(yùn)行時(shí)。安卓端本地運(yùn)行 GGUF 格式的 LLM 軟件也是可行的但資源受限建議處理短文本。并不強(qiáng)行指定具體依賴版本。只要你使用的 SDK 支持 chat/completions 接口即可。下面是一個(gè)最小化依賴列表pip install requests pip install pydantic如果你使用的是 OpenAI 官方的 Python SDK可以替換為pip install openai具體版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整本文重點(diǎn)演示配置和代碼思路。3.2 可復(fù)用的調(diào)用封裝為了不讓示例散落在各個(gè)模型廠商的 SDK 里我們先封裝一個(gè)簡(jiǎn)單的 LLM 調(diào)用類。這個(gè)類接收消息列表返回字符串結(jié)果同時(shí)保留一個(gè)“原始響應(yīng)”字段方便后續(xù)做結(jié)構(gòu)化和日志。# 文件路徑llm_client.py import os import json from typing import List, Dict, Optional import requests class LLMClient: 一個(gè)極簡(jiǎn)的 OpenAI 兼容接口封裝用于演示信息傳遞控制。 def __init__( self, api_base: Optional[str] None, api_key: Optional[str] None, model: str deepseek-chat, temperature: float 0.2, ): self.api_base api_base or os.getenv(LLM_API_BASE, https://api.example.com/v1) self.api_key api_key or os.getenv(LLM_API_KEY, ) self.model model self.temperature temperature def chat(self, messages: List[Dict[str, str]]) - str: 發(fā)送消息返回文本內(nèi)容。 headers { Authorization: fBearer {self.api_key}, Content-Type: application/json, } payload { model: self.model, messages: messages, temperature: self.temperature, } resp requests.post( f{self.api_base}/chat/completions, headersheaders, jsonpayload, timeout60, ) resp.raise_for_status() data resp.json() return data[choices][0][message][content]這里把temperature默認(rèn)設(shè)置為 0.2。需要說(shuō)明的是在信息傳遞場(chǎng)景中較低的溫度有助于減少隨機(jī)漂移。如果業(yè)務(wù)場(chǎng)景需要?jiǎng)?chuàng)造性再適當(dāng)調(diào)高。4. 實(shí)戰(zhàn)一個(gè)“傳話”管道及其修復(fù)4.1 需求分析設(shè)計(jì)一個(gè)模擬傳話失真的管道。場(chǎng)景如下輸入一段來(lái)自用戶的模糊描述。第一步讓模型提取“核心要點(diǎn)”。第二步讓模型基于“核心要點(diǎn)”生成一份任務(wù)清單。第三步讓模型檢查任務(wù)清單是否覆蓋原始描述中的全部約束。我們希望展示當(dāng)三個(gè)步驟都用自然語(yǔ)言直接傳遞時(shí)約束會(huì)逐漸丟失當(dāng)我們引入結(jié)構(gòu)化中間表示后信息能基本無(wú)損傳遞。4.2 第一階段有問(wèn)題的管道先寫一個(gè)“自然語(yǔ)言傳話”版本不做任何結(jié)構(gòu)化約束。為了能清晰看出問(wèn)題輸入里故意包含兩個(gè)限定條件時(shí)間限定和數(shù)量限定。# 文件路徑pipeline_uncontrolled.py from llm_client import LLMClient client LLMClient() original_text ( 請(qǐng)幫我在本周五之前完成銷售數(shù)據(jù)報(bào)表包含華東和華北兩個(gè)區(qū)域 只要訂單金額大于1000元的記錄不需要展示退款訂單。 ) # 第一步提取核心要點(diǎn) step1 client.chat([ {role: system, content: 你是一名項(xiàng)目助理請(qǐng)?zhí)崛∮脩粜枨蟮暮诵囊c(diǎn)用簡(jiǎn)潔的語(yǔ)言描述。}, {role: user, content: original_text}, ]) print(第一步輸出, step1) # 第二步基于核心要點(diǎn)生成任務(wù)清單 step2 client.chat([ {role: system, content: 你是任務(wù)規(guī)劃師請(qǐng)根據(jù)核心要點(diǎn)生成可執(zhí)行任務(wù)清單分條列出。}, {role: user, content: f核心要點(diǎn){step1}}, ]) print(第二步輸出, step2) # 第三步檢查任務(wù)清單是否完整 step3 client.chat([ {role: system, content: 你是質(zhì)量檢查員請(qǐng)檢查任務(wù)清單是否全部覆蓋原始需求指出遺漏項(xiàng)。}, {role: user, content: f原始需求{original_text}\n任務(wù)清單{step2}}, ]) print(第三步輸出, step3)這個(gè)管道看起來(lái)邏輯完整但實(shí)際運(yùn)行時(shí)第一步的輸出很可能變成核心要點(diǎn)完成銷售數(shù)據(jù)報(bào)表覆蓋華東、華北區(qū)域過(guò)濾金額門檻。注意這里“本周五之前”這個(gè)時(shí)間約束可能會(huì)在第一步被省略。到了第二步模型只能看到“核心要點(diǎn)”它并不知道原始需求里有時(shí)間限定和退款訂單排除條件。于是第二步生成的任務(wù)清單可能漏掉“排除退款訂單”這一項(xiàng)。就算第三步拿著“原始需求”去檢查也不一定能全部補(bǔ)回來(lái)因?yàn)榈谝徊降摹昂诵囊c(diǎn)”已經(jīng)把信息壓扁了。第三步只能基于印象去猜測(cè)遺漏項(xiàng)而不是基于可驗(yàn)證的結(jié)構(gòu)化字段進(jìn)行比對(duì)。4.3 第二階段結(jié)構(gòu)化中間表示要解決這個(gè)問(wèn)題關(guān)鍵在于把“自然語(yǔ)言摘要”替換成“結(jié)構(gòu)化字段”。我們把第一步的輸出定義為一個(gè) JSON Schema要求模型嚴(yán)格輸出以下字段deadline截止日期regions區(qū)域列表min_amount最小訂單金額exclude_refund是否排除退款訂單第二步則直接讀取這個(gè) JSON 的字段來(lái)生成任務(wù)清單而不是讓模型重新理解一段自然語(yǔ)言。# 文件路徑pipeline_structured.py import json from llm_client import LLMClient client LLMClient() original_text ( 請(qǐng)幫我在本周五之前完成銷售數(shù)據(jù)報(bào)表包含華東和華北兩個(gè)區(qū)域 只要訂單金額大于1000元的記錄不需要展示退款訂單。 ) # 第一步輸出結(jié)構(gòu)化 JSON step1_prompt f 請(qǐng)從用戶需求中提取以下字段并輸出 JSON不要輸出其他內(nèi)容。 字段說(shuō)明 - deadline: 截止日期如果沒(méi)提到則為 null - regions: 區(qū)域名稱數(shù)組 - min_amount: 最小訂單金額數(shù)字如果沒(méi)提到則為 null - exclude_refund: 是否排除退款訂單布爾值 用戶需求{original_text} raw_step1 client.chat([ {role: system, content: 你是一個(gè)信息抽取器只輸出 JSON。}, {role: user, content: step1_prompt}, ]) # 解析 JSON step1_data json.loads(raw_step1) print(結(jié)構(gòu)化核心信息, step1_data) # 第二步基于結(jié)構(gòu)化字段生成任務(wù)清單 task_prompt f 根據(jù)以下結(jié)構(gòu)化需求生成任務(wù)清單逐條列出 - 截止日期{step1_data.get(deadline)} - 區(qū)域{, .join(step1_data.get(regions, []))} - 最小訂單金額{step1_data.get(min_amount)} - 是否排除退款訂單{step1_data.get(exclude_refund)} 要求任務(wù)清單必須完整覆蓋上述所有字段不能遺漏。 step2 client.chat([ {role: system, content: 你是任務(wù)規(guī)劃師。}, {role: user, content: task_prompt}, ]) print(任務(wù)清單, step2)在這個(gè)版本中第一步輸出的 JSON 相當(dāng)于一個(gè)“強(qiáng)類型中間表示”。第二步不再去猜測(cè)“核心要點(diǎn)”是什么而是直接消費(fèi)字段。只要第一步抽取準(zhǔn)確后續(xù)環(huán)節(jié)就不會(huì)因?yàn)槲谋巨D(zhuǎn)述而丟失信息。為了讓第一步更穩(wěn)定可以在提示詞中再加入一個(gè)示例也就是 few-shotexample 示例輸入請(qǐng)?jiān)谙聜€(gè)月3號(hào)前整理華南區(qū)訂單金額大于500去掉取消的訂單。 示例輸出 { deadline: 下個(gè)月3號(hào), regions: [華南], min_amount: 500, exclude_refund: true, } 把示例拼進(jìn) system 提示詞能明顯提高 JSON 抽取的準(zhǔn)確率。4.4 第三階段自我校驗(yàn)與容錯(cuò)控制結(jié)構(gòu)化中間表示解決的是“格式問(wèn)題”但還沒(méi)有解決“內(nèi)容是否準(zhǔn)確”的問(wèn)題。如果模型抽取出來(lái)的regions是[華東, 華北]但原始文本寫的是“華東和華中”那后續(xù)任務(wù)清單也會(huì)跟著錯(cuò)。所以還需要增加一個(gè)校驗(yàn)器。校驗(yàn)器可以是一個(gè)純代碼邏輯也可以是一個(gè) LLM 檢查器。在工程上更推薦優(yōu)先用代碼校驗(yàn)因?yàn)榇a是確定性的。我們可以在第一步 JSON 輸出后增加校驗(yàn)規(guī)則# 文件路徑validator.py def validate_extracted_data(original_text: str, data: dict) - list: 校驗(yàn)抽取字段與原始文本的一致性返回遺漏和疑似錯(cuò)誤列表。 issues [] # 校驗(yàn)區(qū)域是否都在原文中出現(xiàn) for region in data.get(regions, []): if region not in original_text: issues.append(f區(qū)域 {region} 未在原文中出現(xiàn)) # 校驗(yàn)排款字段 if data.get(exclude_refund) is True and 退款 not in original_text: issues.append(exclude_refund 為 true但原文沒(méi)有提到退款) if data.get(exclude_refund) is False and 退款 in original_text: issues.append(exclude_refund 為 false但原文明確提到退款) return issues如果校驗(yàn)發(fā)現(xiàn)問(wèn)題不能直接采用抽取結(jié)果而要把問(wèn)題反饋給模型讓它重新抽取。這就是一個(gè)簡(jiǎn)單的“自主容錯(cuò)控制”# 文件路徑pipeline_with_retry.py import json from llm_client import LLMClient from validator import validate_extracted_data client LLMClient() original_text ( 請(qǐng)幫我在本周五之前完成銷售數(shù)據(jù)報(bào)表包含華東和華北兩個(gè)區(qū)域 只要訂單金額大于1000元的記錄不需要展示退款訂單。 ) exemplar 示例輸入請(qǐng)?jiān)谙聜€(gè)月3號(hào)前整理華南區(qū)訂單金額大于500去掉取消的訂單。 示例輸出 { deadline: 下個(gè)月3號(hào), regions: [華南], min_amount: 500, exclude_refund: true, } max_retry 3 data None for attempt in range(max_retry): step1_prompt f 請(qǐng)從用戶需求中提取字段并輸出 JSON不要輸出其他內(nèi)容。 {exemplar} 用戶需求{original_text} raw client.chat([ {role: system, content: 你是信息抽取器只輸出 JSON。}, {role: user, content: step1_prompt}, ]) try: data json.loads(raw) except json.JSONDecodeError as e: print(f第 {attempt 1} 次解析失敗{e}) continue issues validate_extracted_data(original_text, data) if issues: print(f第 {attempt 1} 次校驗(yàn)發(fā)現(xiàn)問(wèn)題{issues}) # 把問(wèn)題反饋給模型讓它重新抽取 original_text \n\n注意 .join(issues) else: print(校驗(yàn)通過(guò)) break if data is None: print(多次嘗試后仍然失敗需要人工介入) else: print(最終結(jié)構(gòu)化數(shù)據(jù), data)這段代碼展示了一個(gè)最樸素的容錯(cuò)閉環(huán)抽取 - 規(guī)則校驗(yàn) - 反饋 - 重新抽取。它不依賴復(fù)雜的智能體框架但已經(jīng)具備自主容錯(cuò)控制的基本要素——感知錯(cuò)誤、定位問(wèn)題、重新嘗試。4.5 運(yùn)行結(jié)果與對(duì)比在不做結(jié)構(gòu)化控制的管道中第一步輸出往往是一個(gè)概括性的自然語(yǔ)言段落第二步基于段落繼續(xù)生成。當(dāng)原始需求包含多個(gè)條件時(shí)條件丟失是高頻現(xiàn)象。在結(jié)構(gòu)化控制管道中第一步輸出如下形式的 JSON{ deadline: 本周五之前, regions: [華東, 華北], min_amount: 1000, exclude_refund: true }第二步生成的清單可以逐項(xiàng)對(duì)應(yīng)字段比如在“本周五之前”生成銷售數(shù)據(jù)報(bào)表。數(shù)據(jù)范圍華東、華北。訂單金額過(guò)濾僅保留大于 1000 元的記錄。排除退款訂單。第三步如果繼續(xù)做完整性檢查可以直接比對(duì) JSON 字段是否全部被任務(wù)清單引用。這個(gè)比對(duì)過(guò)程是確定性的不再依賴模型“想起來(lái)什么”。如果只看最終結(jié)果兩個(gè)版本可能看起來(lái)差不多。但在真實(shí)項(xiàng)目中隨著需求復(fù)雜度和步驟數(shù)量增加結(jié)構(gòu)化控制版本的正確率遠(yuǎn)高于自由文本版本。尤其當(dāng)模型換成參數(shù)量更小的本地 GGUF 模型時(shí)結(jié)構(gòu)化約束帶來(lái)的穩(wěn)定性提升更加明顯。5. 從單個(gè)管道擴(kuò)展到智能體場(chǎng)景5.1 智能體自主容錯(cuò)控制本文前面講的自校驗(yàn)加重試本質(zhì)上就是一種面向 LLM 的容錯(cuò)控制。到了更復(fù)雜的智能體場(chǎng)景這種設(shè)計(jì)需要進(jìn)一步模塊化。一個(gè)典型的智能體系統(tǒng)可能有規(guī)劃器、工具調(diào)用器、記憶模塊、評(píng)審模塊。如果每個(gè)模塊之間都用自然語(yǔ)言消息傳遞那么任何一個(gè)模塊的輸出偏差都會(huì)被下游模塊放大。更合理的做法是模塊間消息使用協(xié)議化的結(jié)構(gòu)比如 JSON 或 Protobuf而不是 Markdown 文本。每個(gè)模塊的輸入輸出都有明確 schema。設(shè)置確定性校驗(yàn)器對(duì)關(guān)鍵字段做存在性檢查。對(duì)失敗分支設(shè)計(jì)重試和回退策略。所謂的“LLM 智能體自主容錯(cuò)控制”不是讓模型自己判斷對(duì)錯(cuò)而是讓系統(tǒng)具備感知偏差、糾正偏差、防止偏差傳播的能力。規(guī)則校驗(yàn)器不一定要用模型用代碼就可以做得又快又穩(wěn)。5.2 數(shù)據(jù)標(biāo)注中的一致性問(wèn)題在 LLM 數(shù)據(jù)標(biāo)注流程中信息失真同樣常見(jiàn)。比如標(biāo)注員把“原意”總結(jié)成一句短標(biāo)簽再交給大模型生成擴(kuò)展樣本結(jié)果擴(kuò)展樣本可能偏離原意。又比如多個(gè)標(biāo)注員面對(duì)同一條數(shù)據(jù)由于提示詞模板不一致輸出的標(biāo)簽五花八門。要提升數(shù)據(jù)標(biāo)注一致性可以采取類似思路標(biāo)注任務(wù)必須給出字段級(jí) schema不允許自由發(fā)揮。提供正例和反例減少模型對(duì)指令的歧義理解。對(duì)標(biāo)注結(jié)果做規(guī)則校驗(yàn)比如枚舉值必須屬于給定集合。對(duì)明顯偏離的數(shù)據(jù)做二次確認(rèn)而不是直接進(jìn)入訓(xùn)練集。結(jié)構(gòu)化輸出在數(shù)據(jù)標(biāo)注中的價(jià)值不只是讓結(jié)果更規(guī)范還能讓后續(xù)的清洗和過(guò)濾變得更自動(dòng)化。5.3 本地部署 GGUF 模型時(shí)的注意事項(xiàng)如果你在本地部署 GGUF 格式模型例如通過(guò) llama.cpp 或者安卓本地運(yùn)行 LLM 軟件同樣要面對(duì)信息失真的問(wèn)題。本地小模型對(duì)指令遵循能力更弱更容易在長(zhǎng)上下文中遺忘約束。這時(shí)候更推薦盡量把 prompt 壓縮成結(jié)構(gòu)化模板減少上下文長(zhǎng)度。降低 temperature避免隨機(jī)性帶來(lái)的字段漂移。輸出格式用代碼層面強(qiáng)制約束不要依賴模型自覺(jué)。如果模型輸出 JSON 不穩(wěn)定可以加入“只輸出 JSON”的提示并做解析失敗重試。本地模型最大的優(yōu)勢(shì)是數(shù)據(jù)不出域但代價(jià)是精度下降。用結(jié)構(gòu)化中間表示和自動(dòng)校驗(yàn)來(lái)補(bǔ)償精度損失是最常見(jiàn)的工程路徑。6. 常見(jiàn)問(wèn)題與排查思路在實(shí)際項(xiàng)目中信息失真通常以各種異?，F(xiàn)象表現(xiàn)出來(lái)。下面梳理幾個(gè)高頻問(wèn)題。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路模型忘記截止時(shí)間原始文本中的時(shí)間條件被摘要壓縮時(shí)間字段單獨(dú)抽取不要放在自然語(yǔ)言摘要中模型輸出 JSON 但很冗長(zhǎng)提示詞沒(méi)有明確規(guī)定輸出格式system 提示詞中加入“只輸出 JSON”同一個(gè)輸入多次輸出不同結(jié)果temperature 設(shè)置過(guò)高信息抽取場(chǎng)景降低 temperature 到 0 或 0.2區(qū)域列表被合并成“相關(guān)區(qū)域”缺少可枚舉字段約束把區(qū)域定義為枚舉值校驗(yàn)器檢查是否在合法集合內(nèi)校驗(yàn)器誤報(bào)校驗(yàn)規(guī)則過(guò)嚴(yán)允許同義詞映射或把規(guī)則改造成評(píng)分制多代理之間字段丟失代理通信使用自由文本代理間消息使用 JSON 結(jié)構(gòu)并增加協(xié)議版本號(hào)本地 GGUF 模型頻繁輸出無(wú)效 JSON小模型指令遵循能力弱減少 prompt 長(zhǎng)度增加 few-shot 示例允許解析失敗后重試如果你遇到“模型說(shuō)得挺好但最后結(jié)果不對(duì)”的情況不要忙著換更大的模型先檢查你的數(shù)據(jù)鏈路里是否有自然語(yǔ)言轉(zhuǎn)自然語(yǔ)言的中間環(huán)節(jié)。排查清單如下列出所有 LLM 調(diào)用點(diǎn)并記錄每個(gè)調(diào)用點(diǎn)的輸入輸出。檢查相鄰兩個(gè)調(diào)用點(diǎn)之間是否有信息被壓縮或改寫。如果輸入輸出都是自然語(yǔ)言改成結(jié)構(gòu)化 schema。增加規(guī)則校驗(yàn)器覆蓋關(guān)鍵枚舉字段和必填字段。對(duì)失敗分支設(shè)置重試并記錄重試原因。在日志中保留原始輸入、模型輸出、校驗(yàn)結(jié)論三個(gè)信息方便事后回溯。7. 最佳實(shí)踐與工程建議7.1 提示詞設(shè)計(jì)規(guī)范不要把業(yè)務(wù)需求直接復(fù)制到 prompt 里。先拆分字段再在 prompt 中顯式列出每個(gè)字段的含義和取值范圍。例如提取字段 - deadline: ISO 格式日期或 null - regions: 必須屬于 {華東, 華北, 華南, 華中, 西南, 西北, 東北} - min_amount: 非負(fù)整數(shù)或 null - exclude_refund: true/false字段越明確模型自由發(fā)揮空間越小。7.2 上下文管理長(zhǎng)文本場(chǎng)景下不要把所有內(nèi)容一股腦塞進(jìn) prompt。優(yōu)先采用檢索或分段策略。如果必須完整傳入把關(guān)鍵約束放到指令末尾附近因?yàn)槟Ｐ蛯?duì)后部?jī)?nèi)容更敏感。如果使用 RAG講清楚每篇文檔切片與原始文檔的映射關(guān)系避免丟失限定條件。上下文接近窗口上限時(shí)優(yōu)先丟棄示例性內(nèi)容而不是丟棄字段定義和指令。7.3 結(jié)構(gòu)化輸出與 schema 校驗(yàn)代碼層面至少做三類校驗(yàn)類型校驗(yàn)min_amount必須是數(shù)字。枚舉校驗(yàn)regions必須在國(guó)內(nèi)分區(qū)列表中。邏輯校驗(yàn)exclude_refund為 true 時(shí)原始文本應(yīng)包含退款字樣。如果項(xiàng)目規(guī)模較大可以使用 Pydantic 定義模型并讓 LLM 輸出 JSON 后直接解析成 Pydantic 對(duì)象。這樣既能類型檢查又能自動(dòng)生成可讀的錯(cuò)誤信息。# 文件路徑schema.py from pydantic import BaseModel from typing import List, Optional class ExtractedRequirement(BaseModel): deadline: Optional[str] None regions: List[str] min_amount: Optional[float] None exclude_refund: bool解析時(shí)即使字段缺失Pydantic 也會(huì)給出具體錯(cuò)誤這比手動(dòng)json.loads后到處取 key 要可靠得多。7.4 日志與可觀測(cè)性信息失真排查依賴于日志。建議每個(gè) LLM 調(diào)用點(diǎn)都記錄請(qǐng)求 ID。完整輸入 prompt 摘要。模型原始輸出。解析后的結(jié)構(gòu)化字段。校驗(yàn)器結(jié)論。重試次數(shù)。日志不需要存全量 prompt但至少要能定位到是哪個(gè)環(huán)節(jié)丟字段。對(duì)有問(wèn)題的樣本再單獨(dú)存全量鏈路信息。7.5 安全與最小權(quán)限如果這個(gè) LLM 管道連接了業(yè)務(wù)系統(tǒng)比如自動(dòng)退款、自動(dòng)下單必須設(shè)置安全邊界。容錯(cuò)控制不能只盯著信息準(zhǔn)確性還要考慮操作權(quán)限。寫操作必須經(jīng)過(guò)人工確認(rèn)。模型輸出字段不能直接作為數(shù)據(jù)庫(kù)條件必須先經(jīng)過(guò)白名單校驗(yàn)。對(duì)敏感操作使用最小權(quán)限賬號(hào)。所有自動(dòng)變更都應(yīng)該可回滾、可審計(jì)。信息準(zhǔn)確性和系統(tǒng)安全是兩件事。前者防止傳話失真后者防止失真后的操作造成更大問(wèn)題。8. 總結(jié)從“不要讓 LLM 當(dāng)傳話游戲”出發(fā)本文梳理了大語(yǔ)言模型信息失真的主要來(lái)源提示詞指令漂移、上下文截?cái)?、結(jié)構(gòu)化缺失、多代理通信失真。然后通過(guò)一個(gè)可運(yùn)行的 Python 管道展示了結(jié)構(gòu)化中間表示和自校驗(yàn)機(jī)制如何把語(yǔ)義損耗控制在可接受范圍。我建議你在自己的項(xiàng)目里先做一次鏈路盤點(diǎn)找出所有“自然語(yǔ)言進(jìn)、自然語(yǔ)言出”的環(huán)節(jié)然后逐個(gè)替換為結(jié)構(gòu)化 schema。這一步做完之后再疊加規(guī)則校驗(yàn)、重試策略和日志記錄模型的穩(wěn)定性會(huì)有非常明顯的提升。下一步可以繼續(xù)深入的方向包括更復(fù)雜的智能體編排框架、基于 Pydantic 的嚴(yán)格輸出協(xié)議、本地小模型的量化調(diào)優(yōu)、以及如何設(shè)計(jì)貼近業(yè)務(wù)語(yǔ)義的校驗(yàn)規(guī)則。如果是剛接觸 LLM 工程建議先從本文的管道示例開(kāi)始把結(jié)構(gòu)化輸出和校驗(yàn)閉環(huán)跑通再逐步擴(kuò)展到真實(shí)業(yè)務(wù)。如果本文對(duì)你有幫助可以收藏備用。你在項(xiàng)目中是否也遇到過(guò)模型把需求越傳越偏的情況歡迎在評(píng)論區(qū)聊聊具體踩坑場(chǎng)景。 避免大語(yǔ)言模型信息失真：結(jié)構(gòu)化提示詞與自我校驗(yàn)實(shí)踐
1. 背景與核心概念在業(yè)務(wù)迭代中接觸大語(yǔ)言模型應(yīng)用時(shí)我最常遇到的并不是“模型能力不夠”而是“模型理解得不準(zhǔn)確”。一個(gè)需求從產(chǎn)品經(jīng)理描述給研發(fā)再由研發(fā)寫成提示詞最后模型把結(jié)果輸出給用戶這中間每一次轉(zhuǎn)換都可能引入偏差。就像“傳話游戲”一樣第一棒說(shuō)“我想知道某個(gè)商品的價(jià)格區(qū)間”傳到最后一棒可能變成“請(qǐng)列出所有商品明細(xì)并打分”。這個(gè)現(xiàn)象不是偶然的而是大語(yǔ)言模型在信息傳遞過(guò)程中的固有風(fēng)險(xiǎn)。本文圍繞“不要讓 LLM 把你的想法當(dāng)傳話游戲”這一主題從原理、工程實(shí)踐、智能體場(chǎng)景三個(gè)層面展開(kāi)講清楚信息失真發(fā)生在哪里以及如何通過(guò)結(jié)構(gòu)化提示詞、上下文管理、自我校驗(yàn)等手段把這種失真降到最低。適合讀者正在搭建 LLM 應(yīng)用、智能體或者 RAG 管道的后端開(kāi)發(fā)者以及想把大模型接入業(yè)務(wù)的算法工程師。讀完本文后你能掌握一套防止 LLM 信息失真的工程方法并直接用于自己的項(xiàng)目。1.1 什么是“傳話游戲”效應(yīng)傳話游戲在英語(yǔ)里叫 Telephone Game也叫 Chinese Whispers。一群人手拉手站成一排第一個(gè)人小聲說(shuō)一句話后面的人依次把聽(tīng)到的內(nèi)容復(fù)述給下一個(gè)人傳到隊(duì)列末尾時(shí)原話往往已經(jīng)被改得面目全非。LLM 的信息處理過(guò)程中確實(shí)存在類似現(xiàn)象。當(dāng)一個(gè)輸入文本經(jīng)過(guò)多輪改寫、摘要、翻譯、補(bǔ)全之后語(yǔ)義會(huì)發(fā)生逐級(jí)漂移。比如先讓模型把一段客戶反饋壓縮成三個(gè)關(guān)鍵詞再把這三個(gè)關(guān)鍵詞交給另一個(gè)模型去生成解決方案最后得到的方案可能完全偏離原始反饋的真實(shí)意圖。更進(jìn)一步這種失真不只在多個(gè)模型之間發(fā)生。即使只有一個(gè)模型如果你把一段話拆成多個(gè)中間步驟并讓模型在每一步都做壓縮或轉(zhuǎn)述同樣的偏差也會(huì)出現(xiàn)。1.2 為什么 LLM 會(huì)曲解你的想法大語(yǔ)言模型本質(zhì)上是基于概率的文本生成系統(tǒng)。它并不保存一份“事實(shí)數(shù)據(jù)庫(kù)”而是在給定上下文的情況下預(yù)測(cè)最有可能的下一個(gè) token。這種機(jī)制決定了它天生具有如下特點(diǎn)概括會(huì)丟失細(xì)節(jié)。模型在摘要時(shí)往往會(huì)保留高權(quán)重信息丟棄低頻但關(guān)鍵的限定條件。歧義需要有默認(rèn)假設(shè)。當(dāng)指令不夠明確時(shí)模型會(huì)自動(dòng)補(bǔ)全一個(gè)“最可能的解釋”這個(gè)解釋未必是你的本意。長(zhǎng)上下文中早期信息會(huì)被稀釋。注意力機(jī)制會(huì)更關(guān)注近期內(nèi)容早期約束容易被遺忘。自我一致性并非絕對(duì)保證。同一個(gè)模型在不同溫度參數(shù)下對(duì)同一句話的理解可能不同。所以當(dāng)你的想法以自然語(yǔ)言形式、不附帶約束條件直接交給 LLM 時(shí)模型只能根據(jù)訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律去“猜”你的意圖。猜的次數(shù)多了偏差就會(huì)累積。1.3 本文的討論范圍本文不會(huì)停留在“提示詞要寫清楚”這種泛泛建議上而是從工程實(shí)踐角度給出可執(zhí)行的方案。具體包括拆解信息失真的四個(gè)關(guān)鍵環(huán)節(jié)。給出一個(gè)可運(yùn)行的 Python 實(shí)戰(zhàn)案例展示一個(gè)典型的多步信息傳遞管道如何失真以及如何修復(fù)。將結(jié)論擴(kuò)展到智能體自主容錯(cuò)控制、數(shù)據(jù)標(biāo)注一致性、本地 GGUF 模型部署等具體場(chǎng)景。提供一套排查思路和工程規(guī)范方便你在自己的項(xiàng)目中落地。2. 信息失真產(chǎn)生的四個(gè)核心環(huán)節(jié)2.1 提示詞注入與指令漂移指令漂移是整個(gè) LLM 應(yīng)用中最隱蔽的問(wèn)題。所謂指令漂移是指用戶的實(shí)際意圖在進(jìn)入提示詞之后被其他信息逐步“覆蓋”。舉個(gè)例子。你希望模型判斷一條評(píng)論的情感極性于是構(gòu)造了這樣一個(gè)模板你是一個(gè)文本分類器。 請(qǐng)判斷下面評(píng)論的情感極性輸出正面、負(fù)面或中性。 評(píng)論這家酒店的早餐很差但前臺(tái)服務(wù)很好。這句話包含兩個(gè)信息點(diǎn)早餐差負(fù)面前臺(tái)好正面。如果模型只輸出“中性”其實(shí)是一種折中如果模型輸出“負(fù)面”則忽略了服務(wù)好評(píng)。兩種結(jié)果都可能不是業(yè)務(wù)方想要的。業(yè)務(wù)想要的是“分維度判斷”。指令漂移的本質(zhì)是業(yè)務(wù)方的完整意圖沒(méi)有在提示詞中結(jié)構(gòu)化表達(dá)出來(lái)導(dǎo)致模型在多個(gè)信息點(diǎn)之間做模糊加權(quán)。解決這個(gè)問(wèn)題不能靠“寫長(zhǎng)一點(diǎn)”而要靠明確輸出格式和判斷規(guī)則。2.2 上下文窗口截?cái)嗌舷挛拇翱谑?LLM 的硬約束。當(dāng)你需要把大量文本傳給模型時(shí)常見(jiàn)做法是截?cái)嗷虼直┓指?。但裁掉的?nèi)容可能就是關(guān)鍵信息。例如在處理一份長(zhǎng)合同摘要時(shí)如果前面的段落包含“本協(xié)議自 2026 年生效試用期 3 個(gè)月”而后面的段落包含賠償條款。截?cái)嗪笕绻槐Ａ艉竺娴亩温淠Ｐ途筒恢涝囉闷谂c賠償之間的關(guān)系。更常見(jiàn)的場(chǎng)景是在 RAG 檢索中系統(tǒng)先把文檔切片再只把 top-k 個(gè)相關(guān)片段送給模型。如果切片策略不合理關(guān)鍵信息被切成兩半或相關(guān)片段沒(méi)有包含限定條件那么模型的回答就會(huì)失真。2.3 結(jié)構(gòu)化缺失大語(yǔ)言模型輸出的原始形態(tài)是自然語(yǔ)言。自然語(yǔ)言適合人閱讀但不適合程序做邏輯判斷。如果后續(xù)環(huán)節(jié)繼續(xù)把自然語(yǔ)言當(dāng)作輸入就會(huì)累積誤差。假設(shè)第一步讓模型輸出“這段描述的主要問(wèn)題”第二步讓模型基于“主要問(wèn)題”給修復(fù)建議。第一步輸出的是自然語(yǔ)言段落第二步又要重新解釋這段自然語(yǔ)言這其實(shí)就構(gòu)成了一個(gè)傳話回路。每一步的概括都會(huì)把細(xì)節(jié)再壓扁一層。如果第一步的輸出被定義為一個(gè) JSON 結(jié)構(gòu)比如{ primary_issue: 早餐質(zhì)量差, secondary_issue: 前臺(tái)服務(wù)好, confidence: 0.92 }那第二步的邏輯就可以直接基于 primary_issue 字段而不是重新解析一段話。結(jié)構(gòu)化不是為了好看而是為了切斷“自然語(yǔ)言轉(zhuǎn)述”這條失真鏈路。2.4 多代理通信失真在智能體或多模型協(xié)作場(chǎng)景中信息失真會(huì)被進(jìn)一步放大。一個(gè) Planner 模型制定計(jì)劃一個(gè) Executor 模型執(zhí)行計(jì)劃一個(gè) Reviewer 模型審查結(jié)果。三個(gè)模型之間的通信如果都是自然語(yǔ)言那么每一步都可能丟失信息。假設(shè) Planner 輸出計(jì)劃第 1 步查詢用戶訂單。 第 2 步判斷訂單是否超時(shí)。 第 3 步如果超時(shí)則自動(dòng)退款。Executor 在執(zhí)行“查詢用戶訂單”時(shí)可能需要一個(gè)精確的訂單 ID。如果 Planner 沒(méi)有在通信消息中帶上訂單 IDExecutor 只能自己去猜或者返回一個(gè)模糊錯(cuò)誤。多代理場(chǎng)景的核心是代理之間傳遞的應(yīng)該是結(jié)構(gòu)化消息而不是一串自然語(yǔ)言。每個(gè)代理的輸出要有明確的字段邊界這樣下一個(gè)代理才能準(zhǔn)確消費(fèi)。3. 環(huán)境準(zhǔn)備與通用工程基線3.1 依賴與模型選擇本文代碼示例以 Python 為主運(yùn)行環(huán)境建議為 Python 3.10 及以上。模型調(diào)用部分采用 OpenAI 兼容接口的通用格式這樣無(wú)論你使用在線 API 還是本地部署的 GGUF 模型都可以用同一套代碼邏輯。如果使用本地模型可以借助 llama.cpp 或者支持 GGUF 格式的運(yùn)行時(shí)。安卓端本地運(yùn)行 GGUF 格式的 LLM 軟件也是可行的但資源受限建議處理短文本。并不強(qiáng)行指定具體依賴版本。只要你使用的 SDK 支持 chat/completions 接口即可。下面是一個(gè)最小化依賴列表pip install requests pip install pydantic如果你使用的是 OpenAI 官方的 Python SDK可以替換為pip install openai具體版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整本文重點(diǎn)演示配置和代碼思路。3.2 可復(fù)用的調(diào)用封裝為了不讓示例散落在各個(gè)模型廠商的 SDK 里我們先封裝一個(gè)簡(jiǎn)單的 LLM 調(diào)用類。這個(gè)類接收消息列表返回字符串結(jié)果同時(shí)保留一個(gè)“原始響應(yīng)”字段方便后續(xù)做結(jié)構(gòu)化和日志。# 文件路徑llm_client.py import os import json from typing import List, Dict, Optional import requests class LLMClient: 一個(gè)極簡(jiǎn)的 OpenAI 兼容接口封裝用于演示信息傳遞控制。 def __init__( self, api_base: Optional[str] None, api_key: Optional[str] None, model: str deepseek-chat, temperature: float 0.2, ): self.api_base api_base or os.getenv(LLM_API_BASE, https://api.example.com/v1) self.api_key api_key or os.getenv(LLM_API_KEY, ) self.model model self.temperature temperature def chat(self, messages: List[Dict[str, str]]) - str: 發(fā)送消息返回文本內(nèi)容。 headers { Authorization: fBearer {self.api_key}, Content-Type: application/json, } payload { model: self.model, messages: messages, temperature: self.temperature, } resp requests.post( f{self.api_base}/chat/completions, headersheaders, jsonpayload, timeout60, ) resp.raise_for_status() data resp.json() return data[choices][0][message][content]這里把temperature默認(rèn)設(shè)置為 0.2。需要說(shuō)明的是在信息傳遞場(chǎng)景中較低的溫度有助于減少隨機(jī)漂移。如果業(yè)務(wù)場(chǎng)景需要?jiǎng)?chuàng)造性再適當(dāng)調(diào)高。4. 實(shí)戰(zhàn)一個(gè)“傳話”管道及其修復(fù)4.1 需求分析設(shè)計(jì)一個(gè)模擬傳話失真的管道。場(chǎng)景如下輸入一段來(lái)自用戶的模糊描述。第一步讓模型提取“核心要點(diǎn)”。第二步讓模型基于“核心要點(diǎn)”生成一份任務(wù)清單。第三步讓模型檢查任務(wù)清單是否覆蓋原始描述中的全部約束。我們希望展示當(dāng)三個(gè)步驟都用自然語(yǔ)言直接傳遞時(shí)約束會(huì)逐漸丟失當(dāng)我們引入結(jié)構(gòu)化中間表示后信息能基本無(wú)損傳遞。4.2 第一階段有問(wèn)題的管道先寫一個(gè)“自然語(yǔ)言傳話”版本不做任何結(jié)構(gòu)化約束。為了能清晰看出問(wèn)題輸入里故意包含兩個(gè)限定條件時(shí)間限定和數(shù)量限定。# 文件路徑pipeline_uncontrolled.py from llm_client import LLMClient client LLMClient() original_text ( 請(qǐng)幫我在本周五之前完成銷售數(shù)據(jù)報(bào)表包含華東和華北兩個(gè)區(qū)域 只要訂單金額大于1000元的記錄不需要展示退款訂單。 ) # 第一步提取核心要點(diǎn) step1 client.chat([ {role: system, content: 你是一名項(xiàng)目助理請(qǐng)?zhí)崛∮脩粜枨蟮暮诵囊c(diǎn)用簡(jiǎn)潔的語(yǔ)言描述。}, {role: user, content: original_text}, ]) print(第一步輸出, step1) # 第二步基于核心要點(diǎn)生成任務(wù)清單 step2 client.chat([ {role: system, content: 你是任務(wù)規(guī)劃師請(qǐng)根據(jù)核心要點(diǎn)生成可執(zhí)行任務(wù)清單分條列出。}, {role: user, content: f核心要點(diǎn){step1}}, ]) print(第二步輸出, step2) # 第三步檢查任務(wù)清單是否完整 step3 client.chat([ {role: system, content: 你是質(zhì)量檢查員請(qǐng)檢查任務(wù)清單是否全部覆蓋原始需求指出遺漏項(xiàng)。}, {role: user, content: f原始需求{original_text}\n任務(wù)清單{step2}}, ]) print(第三步輸出, step3)這個(gè)管道看起來(lái)邏輯完整但實(shí)際運(yùn)行時(shí)第一步的輸出很可能變成核心要點(diǎn)完成銷售數(shù)據(jù)報(bào)表覆蓋華東、華北區(qū)域過(guò)濾金額門檻。注意這里“本周五之前”這個(gè)時(shí)間約束可能會(huì)在第一步被省略。到了第二步模型只能看到“核心要點(diǎn)”它并不知道原始需求里有時(shí)間限定和退款訂單排除條件。于是第二步生成的任務(wù)清單可能漏掉“排除退款訂單”這一項(xiàng)。就算第三步拿著“原始需求”去檢查也不一定能全部補(bǔ)回來(lái)因?yàn)榈谝徊降摹昂诵囊c(diǎn)”已經(jīng)把信息壓扁了。第三步只能基于印象去猜測(cè)遺漏項(xiàng)而不是基于可驗(yàn)證的結(jié)構(gòu)化字段進(jìn)行比對(duì)。4.3 第二階段結(jié)構(gòu)化中間表示要解決這個(gè)問(wèn)題關(guān)鍵在于把“自然語(yǔ)言摘要”替換成“結(jié)構(gòu)化字段”。我們把第一步的輸出定義為一個(gè) JSON Schema要求模型嚴(yán)格輸出以下字段deadline截止日期regions區(qū)域列表min_amount最小訂單金額exclude_refund是否排除退款訂單第二步則直接讀取這個(gè) JSON 的字段來(lái)生成任務(wù)清單而不是讓模型重新理解一段自然語(yǔ)言。# 文件路徑pipeline_structured.py import json from llm_client import LLMClient client LLMClient() original_text ( 請(qǐng)幫我在本周五之前完成銷售數(shù)據(jù)報(bào)表包含華東和華北兩個(gè)區(qū)域 只要訂單金額大于1000元的記錄不需要展示退款訂單。 ) # 第一步輸出結(jié)構(gòu)化 JSON step1_prompt f 請(qǐng)從用戶需求中提取以下字段并輸出 JSON不要輸出其他內(nèi)容。 字段說(shuō)明 - deadline: 截止日期如果沒(méi)提到則為 null - regions: 區(qū)域名稱數(shù)組 - min_amount: 最小訂單金額數(shù)字如果沒(méi)提到則為 null - exclude_refund: 是否排除退款訂單布爾值 用戶需求{original_text} raw_step1 client.chat([ {role: system, content: 你是一個(gè)信息抽取器只輸出 JSON。}, {role: user, content: step1_prompt}, ]) # 解析 JSON step1_data json.loads(raw_step1) print(結(jié)構(gòu)化核心信息, step1_data) # 第二步基于結(jié)構(gòu)化字段生成任務(wù)清單 task_prompt f 根據(jù)以下結(jié)構(gòu)化需求生成任務(wù)清單逐條列出 - 截止日期{step1_data.get(deadline)} - 區(qū)域{, .join(step1_data.get(regions, []))} - 最小訂單金額{step1_data.get(min_amount)} - 是否排除退款訂單{step1_data.get(exclude_refund)} 要求任務(wù)清單必須完整覆蓋上述所有字段不能遺漏。 step2 client.chat([ {role: system, content: 你是任務(wù)規(guī)劃師。}, {role: user, content: task_prompt}, ]) print(任務(wù)清單, step2)在這個(gè)版本中第一步輸出的 JSON 相當(dāng)于一個(gè)“強(qiáng)類型中間表示”。第二步不再去猜測(cè)“核心要點(diǎn)”是什么而是直接消費(fèi)字段。只要第一步抽取準(zhǔn)確后續(xù)環(huán)節(jié)就不會(huì)因?yàn)槲谋巨D(zhuǎn)述而丟失信息。為了讓第一步更穩(wěn)定可以在提示詞中再加入一個(gè)示例也就是 few-shotexample 示例輸入請(qǐng)?jiān)谙聜€(gè)月3號(hào)前整理華南區(qū)訂單金額大于500去掉取消的訂單。 示例輸出 { deadline: 下個(gè)月3號(hào), regions: [華南], min_amount: 500, exclude_refund: true, } 把示例拼進(jìn) system 提示詞能明顯提高 JSON 抽取的準(zhǔn)確率。4.4 第三階段自我校驗(yàn)與容錯(cuò)控制結(jié)構(gòu)化中間表示解決的是“格式問(wèn)題”但還沒(méi)有解決“內(nèi)容是否準(zhǔn)確”的問(wèn)題。如果模型抽取出來(lái)的regions是[華東, 華北]但原始文本寫的是“華東和華中”那后續(xù)任務(wù)清單也會(huì)跟著錯(cuò)。所以還需要增加一個(gè)校驗(yàn)器。校驗(yàn)器可以是一個(gè)純代碼邏輯也可以是一個(gè) LLM 檢查器。在工程上更推薦優(yōu)先用代碼校驗(yàn)因?yàn)榇a是確定性的。我們可以在第一步 JSON 輸出后增加校驗(yàn)規(guī)則# 文件路徑validator.py def validate_extracted_data(original_text: str, data: dict) - list: 校驗(yàn)抽取字段與原始文本的一致性返回遺漏和疑似錯(cuò)誤列表。 issues [] # 校驗(yàn)區(qū)域是否都在原文中出現(xiàn) for region in data.get(regions, []): if region not in original_text: issues.append(f區(qū)域 {region} 未在原文中出現(xiàn)) # 校驗(yàn)排款字段 if data.get(exclude_refund) is True and 退款 not in original_text: issues.append(exclude_refund 為 true但原文沒(méi)有提到退款) if data.get(exclude_refund) is False and 退款 in original_text: issues.append(exclude_refund 為 false但原文明確提到退款) return issues如果校驗(yàn)發(fā)現(xiàn)問(wèn)題不能直接采用抽取結(jié)果而要把問(wèn)題反饋給模型讓它重新抽取。這就是一個(gè)簡(jiǎn)單的“自主容錯(cuò)控制”# 文件路徑pipeline_with_retry.py import json from llm_client import LLMClient from validator import validate_extracted_data client LLMClient() original_text ( 請(qǐng)幫我在本周五之前完成銷售數(shù)據(jù)報(bào)表包含華東和華北兩個(gè)區(qū)域 只要訂單金額大于1000元的記錄不需要展示退款訂單。 ) exemplar 示例輸入請(qǐng)?jiān)谙聜€(gè)月3號(hào)前整理華南區(qū)訂單金額大于500去掉取消的訂單。 示例輸出 { deadline: 下個(gè)月3號(hào), regions: [華南], min_amount: 500, exclude_refund: true, } max_retry 3 data None for attempt in range(max_retry): step1_prompt f 請(qǐng)從用戶需求中提取字段并輸出 JSON不要輸出其他內(nèi)容。 {exemplar} 用戶需求{original_text} raw client.chat([ {role: system, content: 你是信息抽取器只輸出 JSON。}, {role: user, content: step1_prompt}, ]) try: data json.loads(raw) except json.JSONDecodeError as e: print(f第 {attempt 1} 次解析失敗{e}) continue issues validate_extracted_data(original_text, data) if issues: print(f第 {attempt 1} 次校驗(yàn)發(fā)現(xiàn)問(wèn)題{issues}) # 把問(wèn)題反饋給模型讓它重新抽取 original_text \n\n注意 .join(issues) else: print(校驗(yàn)通過(guò)) break if data is None: print(多次嘗試后仍然失敗需要人工介入) else: print(最終結(jié)構(gòu)化數(shù)據(jù), data)這段代碼展示了一個(gè)最樸素的容錯(cuò)閉環(huán)抽取 - 規(guī)則校驗(yàn) - 反饋 - 重新抽取。它不依賴復(fù)雜的智能體框架但已經(jīng)具備自主容錯(cuò)控制的基本要素——感知錯(cuò)誤、定位問(wèn)題、重新嘗試。4.5 運(yùn)行結(jié)果與對(duì)比在不做結(jié)構(gòu)化控制的管道中第一步輸出往往是一個(gè)概括性的自然語(yǔ)言段落第二步基于段落繼續(xù)生成。當(dāng)原始需求包含多個(gè)條件時(shí)條件丟失是高頻現(xiàn)象。在結(jié)構(gòu)化控制管道中第一步輸出如下形式的 JSON{ deadline: 本周五之前, regions: [華東, 華北], min_amount: 1000, exclude_refund: true }第二步生成的清單可以逐項(xiàng)對(duì)應(yīng)字段比如在“本周五之前”生成銷售數(shù)據(jù)報(bào)表。數(shù)據(jù)范圍華東、華北。訂單金額過(guò)濾僅保留大于 1000 元的記錄。排除退款訂單。第三步如果繼續(xù)做完整性檢查可以直接比對(duì) JSON 字段是否全部被任務(wù)清單引用。這個(gè)比對(duì)過(guò)程是確定性的不再依賴模型“想起來(lái)什么”。如果只看最終結(jié)果兩個(gè)版本可能看起來(lái)差不多。但在真實(shí)項(xiàng)目中隨著需求復(fù)雜度和步驟數(shù)量增加結(jié)構(gòu)化控制版本的正確率遠(yuǎn)高于自由文本版本。尤其當(dāng)模型換成參數(shù)量更小的本地 GGUF 模型時(shí)結(jié)構(gòu)化約束帶來(lái)的穩(wěn)定性提升更加明顯。5. 從單個(gè)管道擴(kuò)展到智能體場(chǎng)景5.1 智能體自主容錯(cuò)控制本文前面講的自校驗(yàn)加重試本質(zhì)上就是一種面向 LLM 的容錯(cuò)控制。到了更復(fù)雜的智能體場(chǎng)景這種設(shè)計(jì)需要進(jìn)一步模塊化。一個(gè)典型的智能體系統(tǒng)可能有規(guī)劃器、工具調(diào)用器、記憶模塊、評(píng)審模塊。如果每個(gè)模塊之間都用自然語(yǔ)言消息傳遞那么任何一個(gè)模塊的輸出偏差都會(huì)被下游模塊放大。更合理的做法是模塊間消息使用協(xié)議化的結(jié)構(gòu)比如 JSON 或 Protobuf而不是 Markdown 文本。每個(gè)模塊的輸入輸出都有明確 schema。設(shè)置確定性校驗(yàn)器對(duì)關(guān)鍵字段做存在性檢查。對(duì)失敗分支設(shè)計(jì)重試和回退策略。所謂的“LLM 智能體自主容錯(cuò)控制”不是讓模型自己判斷對(duì)錯(cuò)而是讓系統(tǒng)具備感知偏差、糾正偏差、防止偏差傳播的能力。規(guī)則校驗(yàn)器不一定要用模型用代碼就可以做得又快又穩(wěn)。5.2 數(shù)據(jù)標(biāo)注中的一致性問(wèn)題在 LLM 數(shù)據(jù)標(biāo)注流程中信息失真同樣常見(jiàn)。比如標(biāo)注員把“原意”總結(jié)成一句短標(biāo)簽再交給大模型生成擴(kuò)展樣本結(jié)果擴(kuò)展樣本可能偏離原意。又比如多個(gè)標(biāo)注員面對(duì)同一條數(shù)據(jù)由于提示詞模板不一致輸出的標(biāo)簽五花八門。要提升數(shù)據(jù)標(biāo)注一致性可以采取類似思路標(biāo)注任務(wù)必須給出字段級(jí) schema不允許自由發(fā)揮。提供正例和反例減少模型對(duì)指令的歧義理解。對(duì)標(biāo)注結(jié)果做規(guī)則校驗(yàn)比如枚舉值必須屬于給定集合。對(duì)明顯偏離的數(shù)據(jù)做二次確認(rèn)而不是直接進(jìn)入訓(xùn)練集。結(jié)構(gòu)化輸出在數(shù)據(jù)標(biāo)注中的價(jià)值不只是讓結(jié)果更規(guī)范還能讓后續(xù)的清洗和過(guò)濾變得更自動(dòng)化。5.3 本地部署 GGUF 模型時(shí)的注意事項(xiàng)如果你在本地部署 GGUF 格式模型例如通過(guò) llama.cpp 或者安卓本地運(yùn)行 LLM 軟件同樣要面對(duì)信息失真的問(wèn)題。本地小模型對(duì)指令遵循能力更弱更容易在長(zhǎng)上下文中遺忘約束。這時(shí)候更推薦盡量把 prompt 壓縮成結(jié)構(gòu)化模板減少上下文長(zhǎng)度。降低 temperature避免隨機(jī)性帶來(lái)的字段漂移。輸出格式用代碼層面強(qiáng)制約束不要依賴模型自覺(jué)。如果模型輸出 JSON 不穩(wěn)定可以加入“只輸出 JSON”的提示并做解析失敗重試。本地模型最大的優(yōu)勢(shì)是數(shù)據(jù)不出域但代價(jià)是精度下降。用結(jié)構(gòu)化中間表示和自動(dòng)校驗(yàn)來(lái)補(bǔ)償精度損失是最常見(jiàn)的工程路徑。6. 常見(jiàn)問(wèn)題與排查思路在實(shí)際項(xiàng)目中信息失真通常以各種異?，F(xiàn)象表現(xiàn)出來(lái)。下面梳理幾個(gè)高頻問(wèn)題。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路模型忘記截止時(shí)間原始文本中的時(shí)間條件被摘要壓縮時(shí)間字段單獨(dú)抽取不要放在自然語(yǔ)言摘要中模型輸出 JSON 但很冗長(zhǎng)提示詞沒(méi)有明確規(guī)定輸出格式system 提示詞中加入“只輸出 JSON”同一個(gè)輸入多次輸出不同結(jié)果temperature 設(shè)置過(guò)高信息抽取場(chǎng)景降低 temperature 到 0 或 0.2區(qū)域列表被合并成“相關(guān)區(qū)域”缺少可枚舉字段約束把區(qū)域定義為枚舉值校驗(yàn)器檢查是否在合法集合內(nèi)校驗(yàn)器誤報(bào)校驗(yàn)規(guī)則過(guò)嚴(yán)允許同義詞映射或把規(guī)則改造成評(píng)分制多代理之間字段丟失代理通信使用自由文本代理間消息使用 JSON 結(jié)構(gòu)并增加協(xié)議版本號(hào)本地 GGUF 模型頻繁輸出無(wú)效 JSON小模型指令遵循能力弱減少 prompt 長(zhǎng)度增加 few-shot 示例允許解析失敗后重試如果你遇到“模型說(shuō)得挺好但最后結(jié)果不對(duì)”的情況不要忙著換更大的模型先檢查你的數(shù)據(jù)鏈路里是否有自然語(yǔ)言轉(zhuǎn)自然語(yǔ)言的中間環(huán)節(jié)。排查清單如下列出所有 LLM 調(diào)用點(diǎn)并記錄每個(gè)調(diào)用點(diǎn)的輸入輸出。檢查相鄰兩個(gè)調(diào)用點(diǎn)之間是否有信息被壓縮或改寫。如果輸入輸出都是自然語(yǔ)言改成結(jié)構(gòu)化 schema。增加規(guī)則校驗(yàn)器覆蓋關(guān)鍵枚舉字段和必填字段。對(duì)失敗分支設(shè)置重試并記錄重試原因。在日志中保留原始輸入、模型輸出、校驗(yàn)結(jié)論三個(gè)信息方便事后回溯。7. 最佳實(shí)踐與工程建議7.1 提示詞設(shè)計(jì)規(guī)范不要把業(yè)務(wù)需求直接復(fù)制到 prompt 里。先拆分字段再在 prompt 中顯式列出每個(gè)字段的含義和取值范圍。例如提取字段 - deadline: ISO 格式日期或 null - regions: 必須屬于 {華東, 華北, 華南, 華中, 西南, 西北, 東北} - min_amount: 非負(fù)整數(shù)或 null - exclude_refund: true/false字段越明確模型自由發(fā)揮空間越小。7.2 上下文管理長(zhǎng)文本場(chǎng)景下不要把所有內(nèi)容一股腦塞進(jìn) prompt。優(yōu)先采用檢索或分段策略。如果必須完整傳入把關(guān)鍵約束放到指令末尾附近因?yàn)槟Ｐ蛯?duì)后部?jī)?nèi)容更敏感。如果使用 RAG講清楚每篇文檔切片與原始文檔的映射關(guān)系避免丟失限定條件。上下文接近窗口上限時(shí)優(yōu)先丟棄示例性內(nèi)容而不是丟棄字段定義和指令。7.3 結(jié)構(gòu)化輸出與 schema 校驗(yàn)代碼層面至少做三類校驗(yàn)類型校驗(yàn)min_amount必須是數(shù)字。枚舉校驗(yàn)regions必須在國(guó)內(nèi)分區(qū)列表中。邏輯校驗(yàn)exclude_refund為 true 時(shí)原始文本應(yīng)包含退款字樣。如果項(xiàng)目規(guī)模較大可以使用 Pydantic 定義模型并讓 LLM 輸出 JSON 后直接解析成 Pydantic 對(duì)象。這樣既能類型檢查又能自動(dòng)生成可讀的錯(cuò)誤信息。# 文件路徑schema.py from pydantic import BaseModel from typing import List, Optional class ExtractedRequirement(BaseModel): deadline: Optional[str] None regions: List[str] min_amount: Optional[float] None exclude_refund: bool解析時(shí)即使字段缺失Pydantic 也會(huì)給出具體錯(cuò)誤這比手動(dòng)json.loads后到處取 key 要可靠得多。7.4 日志與可觀測(cè)性信息失真排查依賴于日志。建議每個(gè) LLM 調(diào)用點(diǎn)都記錄請(qǐng)求 ID。完整輸入 prompt 摘要。模型原始輸出。解析后的結(jié)構(gòu)化字段。校驗(yàn)器結(jié)論。重試次數(shù)。日志不需要存全量 prompt但至少要能定位到是哪個(gè)環(huán)節(jié)丟字段。對(duì)有問(wèn)題的樣本再單獨(dú)存全量鏈路信息。7.5 安全與最小權(quán)限如果這個(gè) LLM 管道連接了業(yè)務(wù)系統(tǒng)比如自動(dòng)退款、自動(dòng)下單必須設(shè)置安全邊界。容錯(cuò)控制不能只盯著信息準(zhǔn)確性還要考慮操作權(quán)限。寫操作必須經(jīng)過(guò)人工確認(rèn)。模型輸出字段不能直接作為數(shù)據(jù)庫(kù)條件必須先經(jīng)過(guò)白名單校驗(yàn)。對(duì)敏感操作使用最小權(quán)限賬號(hào)。所有自動(dòng)變更都應(yīng)該可回滾、可審計(jì)。信息準(zhǔn)確性和系統(tǒng)安全是兩件事。前者防止傳話失真后者防止失真后的操作造成更大問(wèn)題。8. 總結(jié)從“不要讓 LLM 當(dāng)傳話游戲”出發(fā)本文梳理了大語(yǔ)言模型信息失真的主要來(lái)源提示詞指令漂移、上下文截?cái)?、結(jié)構(gòu)化缺失、多代理通信失真。然后通過(guò)一個(gè)可運(yùn)行的 Python 管道展示了結(jié)構(gòu)化中間表示和自校驗(yàn)機(jī)制如何把語(yǔ)義損耗控制在可接受范圍。我建議你在自己的項(xiàng)目里先做一次鏈路盤點(diǎn)找出所有“自然語(yǔ)言進(jìn)、自然語(yǔ)言出”的環(huán)節(jié)然后逐個(gè)替換為結(jié)構(gòu)化 schema。這一步做完之后再疊加規(guī)則校驗(yàn)、重試策略和日志記錄模型的穩(wěn)定性會(huì)有非常明顯的提升。下一步可以繼續(xù)深入的方向包括更復(fù)雜的智能體編排框架、基于 Pydantic 的嚴(yán)格輸出協(xié)議、本地小模型的量化調(diào)優(yōu)、以及如何設(shè)計(jì)貼近業(yè)務(wù)語(yǔ)義的校驗(yàn)規(guī)則。如果是剛接觸 LLM 工程建議先從本文的管道示例開(kāi)始把結(jié)構(gòu)化輸出和校驗(yàn)閉環(huán)跑通再逐步擴(kuò)展到真實(shí)業(yè)務(wù)。如果本文對(duì)你有幫助可以收藏備用。你在項(xiàng)目中是否也遇到過(guò)模型把需求越傳越偏的情況歡迎在評(píng)論區(qū)聊聊具體踩坑場(chǎng)景。