帶過工業(yè)級(jí)Agent的朋友都知道真正的難點(diǎn)往往不是把大模型接進(jìn)業(yè)務(wù)流程而是搞清楚“用戶這句話到底想讓我干什么”。Agent的意圖識(shí)別和傳統(tǒng)ChatBot完全不是一回事——用戶可能在一次會(huì)話里連續(xù)切換三四個(gè)目標(biāo)可能把“幫我查一下昨天的訂單”說成“那個(gè)單子到哪了”甚至可能在對(duì)話中段突然從查詢意圖跳到投訴意圖。單純的分類模型處理不了這種動(dòng)態(tài)、碎片、多義的輸入拿大模型硬做分類又面臨延遲、成本和置信度不可信的問題。我在這類項(xiàng)目里反復(fù)踩坑后最終沉淀下來一套方案把意圖識(shí)別拆成“召回—分類—置信—仲裁”四個(gè)層級(jí)每一層只負(fù)責(zé)一件事層層收斂最終只把高置信度的結(jié)果交給Agent執(zhí)行。這套分層漏斗思路已經(jīng)在我們多個(gè)線上項(xiàng)目中穩(wěn)定運(yùn)行今天把完整設(shè)計(jì)和實(shí)踐細(xì)節(jié)寫出來給正在做Agent底層能力的朋友一個(gè)可復(fù)用的參考。文章適合算法工程師、Agent平臺(tái)開發(fā)者和技術(shù)負(fù)責(zé)人閱讀也適合準(zhǔn)備自建Agent意圖識(shí)別體系但還沒理清架構(gòu)的團(tuán)隊(duì)。1. 為什么工業(yè)級(jí)Agent需要“分層漏斗”而不是一個(gè)模型1.1 單模型意圖識(shí)別在真實(shí)場(chǎng)景里的三個(gè)致命短板很多團(tuán)隊(duì)一開始都會(huì)用最直接的辦法把所有用戶輸入丟給一個(gè)微調(diào)過的分類模型或者干脆讓LLM做zero-shot分類。在小流量Demo里這個(gè)方案看起來一切正常但一旦放到生產(chǎn)環(huán)境三個(gè)問題會(huì)立刻暴露。第一個(gè)是召回不全。用戶的表達(dá)方式極其多樣同一個(gè)意圖可能有幾十種說法還夾雜著口語(yǔ)、錯(cuò)別字、行業(yè)黑話。單模型依賴訓(xùn)練時(shí)見過的表達(dá)模式對(duì)沒見過的變體幾乎必然漏召回。尤其當(dāng)意圖類別超過幾十個(gè)時(shí)分類模型在類別間容易產(chǎn)生混淆長(zhǎng)尾意圖的召回率會(huì)急劇下降。第二個(gè)是置信度不可信。分類模型輸出的softmax概率和LLM的logits都不能直接當(dāng)作真實(shí)置信度使用。模型對(duì)某條輸入可能特別自信但實(shí)際上完全分錯(cuò)也可能對(duì)明顯的高頻意圖給出50%左右的概率導(dǎo)致無法決策。我見過太多團(tuán)隊(duì)把softmax概率當(dāng)閾值用上線后誤判率比想象中高一倍。第三個(gè)是無法兜底。單模型方案是一個(gè)封閉的黑盒分錯(cuò)了沒有中間層去攔截也沒有機(jī)會(huì)通過交互澄清。用戶一句話被錯(cuò)誤歸類后Agent會(huì)直接執(zhí)行一個(gè)錯(cuò)誤動(dòng)作這種體驗(yàn)在工業(yè)場(chǎng)景里是致命的。比如用戶說“我不要這個(gè)方案了”如果Agent把它識(shí)別成“確認(rèn)下單”后果非常嚴(yán)重。1.2 漏斗思想從哪里來搜索引擎的分層架構(gòu)遷移分層漏斗的思路其實(shí)很樸素就是借鑒搜索引擎經(jīng)典的“召回—粗排—精排”架構(gòu)。搜索引擎面對(duì)的是海量網(wǎng)頁(yè)不可能讓精排模型處理所有候選而是先用廉價(jià)的召回通道把候選集縮小再用更精細(xì)的模型排序。意圖識(shí)別面對(duì)的輸入空間同樣巨大——用戶說什么都行但Agent真正能執(zhí)行的意圖是有限的、收斂的。因此我們需要做的就是設(shè)計(jì)一個(gè)漏斗最上層用最便宜、最快的方式把和任何已知意圖相關(guān)的輸入撈出來中間層做精細(xì)分類再往上一層專門判斷“這個(gè)分類結(jié)果可不可信”最后一層根據(jù)可信度決定是直接執(zhí)行、繼續(xù)追問還是轉(zhuǎn)人工。每層只做一個(gè)任務(wù)這帶來了單模型方案完全沒有的工程優(yōu)勢(shì)每一層可以獨(dú)立測(cè)試、獨(dú)立回滾、獨(dú)立優(yōu)化。召回率低了只調(diào)召回層精度低了只調(diào)分類層閾值策略不對(duì)只調(diào)仲裁層。出了問題生產(chǎn)鏈路自帶有日志定位不用像單模型那樣一換就全局風(fēng)險(xiǎn)。1.3 分層漏斗的整體架構(gòu)一覽我把整套漏斗設(shè)計(jì)成四個(gè)層級(jí)下面用表格把每層的職責(zé)、輸入輸出和典型技術(shù)選型列清楚層級(jí)核心任務(wù)輸入輸出典型實(shí)現(xiàn)L1 語(yǔ)義召回層從原始輸入中快速撈回候選意圖用戶raw query候選意圖列表TopN關(guān)鍵詞規(guī)則、BM25、向量檢索多路召回L2 意圖分類層對(duì)候選意圖做精細(xì)區(qū)分候選意圖列表 query判別式意圖 類別分?jǐn)?shù)微調(diào)分類模型 / LLM few-shotL3 置信度評(píng)估層判斷分類結(jié)果是否可信分類結(jié)果 query特征置信度分?jǐn)?shù) 決策標(biāo)志熵計(jì)算、多次采樣一致性、校準(zhǔn)器L4 路由仲裁層決定如何執(zhí)行、是否澄清、是否降級(jí)置信度分?jǐn)?shù) 業(yè)務(wù)上下文路由指令執(zhí)行/澄清/轉(zhuǎn)人工規(guī)則策略 Agent編排系統(tǒng)聯(lián)動(dòng)這個(gè)架構(gòu)可以理解為“漏斗閘門”前三層不斷收窄候選并評(píng)估質(zhì)量第四層是最終閘門決定輸出流向。下面我把每一層怎么設(shè)計(jì)和落地的細(xì)節(jié)展開寫這些才是整個(gè)方案的真正干貨。2. 四個(gè)層級(jí)的設(shè)計(jì)要點(diǎn)與實(shí)操細(xì)節(jié)2.1 第一層語(yǔ)義召回層先別急著分類先撈回來很多人做意圖識(shí)別會(huì)跳過分層直接進(jìn)入分類這個(gè)步驟其實(shí)是漏斗里性價(jià)比最高的一環(huán)。召回層的目標(biāo)不是精準(zhǔn)識(shí)別意圖而是“寧多勿漏”——把可能相關(guān)的意圖全部撈出來寧可撈出一堆無關(guān)候選也不能把真正意圖漏掉。召回層我建議做成多路召回而不是單一通道。至少需要三路規(guī)則召回、關(guān)鍵詞召回、向量語(yǔ)義召回。規(guī)則召回用來處理確定性極強(qiáng)的場(chǎng)景比如正則匹配訂單號(hào)、手機(jī)號(hào)、純數(shù)字ID。這一路延遲最低5ms準(zhǔn)確率100%是漏斗里最穩(wěn)定的底座。關(guān)鍵詞召回靠維護(hù)一個(gè)“意圖詞表”每個(gè)意圖對(duì)應(yīng)一組同義詞和關(guān)鍵詞。比如“查訂單”意圖可能對(duì)應(yīng)“訂單”“物流”“到哪了”“發(fā)貨沒”等詞。關(guān)鍵詞召回的優(yōu)點(diǎn)是可控性強(qiáng)缺點(diǎn)是擴(kuò)展性弱需要持續(xù)維護(hù)。向量語(yǔ)義召回是核心。先選一個(gè)合適的embedding模型把用戶query編碼成向量然后和預(yù)置的“意圖種子向量”做余弦相似度檢索。這里的操作要點(diǎn)是不要用單個(gè)向量代表一個(gè)意圖而要用一個(gè)意圖的多個(gè)表達(dá)向量共同表示。操作上可以給每個(gè)意圖準(zhǔn)備至少20-50條種子表達(dá)把這些表達(dá)向量聚集成2-5個(gè)類心檢索時(shí)分別比對(duì)這些類心。召回層有一個(gè)容易踩的坑向量檢索的相似度閾值不能定太高否則漏召回。我經(jīng)驗(yàn)上是先定一個(gè)偏低的閾值比如0.55-0.65取決于embedding模型確保召回率在95%以上寧可把后層負(fù)擔(dān)加重也不能在這一層丟掉真實(shí)意圖。召回層的TopN建議設(shè)定在5-10個(gè)左右太少容易漏太多會(huì)讓分類層壓力過大。2.2 第二層意圖分類層核心是意圖體系設(shè)計(jì)召回層把候選意圖列表送進(jìn)來之后分類層要做精細(xì)區(qū)分。這一層的效果好壞80%取決于前期的意圖體系設(shè)計(jì)而不是模型選型。意圖體系設(shè)計(jì)有兩個(gè)關(guān)鍵原則一是層級(jí)化二是互斥性。層級(jí)化是指把意圖拆成“粗意圖細(xì)意圖”兩個(gè)級(jí)別。粗意圖可以理解為業(yè)務(wù)模塊比如“訂單管理”“客戶服務(wù)”“系統(tǒng)設(shè)置”細(xì)意圖才是真正執(zhí)行的動(dòng)作比如“查詢物流”“修改收貨地址”“投訴快遞員”。分類層先判斷屬于哪個(gè)粗意圖模塊再在模塊內(nèi)部做細(xì)分類。這么做的好處是每個(gè)細(xì)分類只需要在幾十個(gè)同類之間做區(qū)分難度遠(yuǎn)低于在幾百個(gè)不相關(guān)意圖之間做區(qū)分?；コ庑砸竺總€(gè)意圖定義必須彼此獨(dú)立不能有重疊。我見過很多失敗案例比如同時(shí)定義了“取消訂單”和“訂單退款”用戶說“我不要了”時(shí)兩個(gè)意圖概率都高分類器就糊涂了。正確的做法是定義“訂單售后”這個(gè)粗意圖細(xì)意圖分別是“取消訂單”“退款申請(qǐng)”“退貨申請(qǐng)”讓它們之間的邊界清晰可判。模型選型上我的經(jīng)驗(yàn)是“微調(diào)小模型為主、LLM為輔”。當(dāng)意圖數(shù)量在50個(gè)以內(nèi)、每條意圖的訓(xùn)練樣本超過200條時(shí)微調(diào)一個(gè)百億參數(shù)以下的小模型比如基于BERT系列的分類模型或7B級(jí)別的對(duì)話模型效果都不錯(cuò)延遲可控。如果意圖數(shù)量特別多幾百個(gè)或者標(biāo)注數(shù)據(jù)不足再用LLM few-shot兜底。LLM分類的prompt一定要給示例并且要求輸出JSON格式方便后鏈路解析{ intent_group: order_management, intent: query_logistics, confidence: 0.78 }分類層的輸出不能只有一個(gè)預(yù)測(cè)結(jié)果必須把候選列表里每個(gè)候選意圖的分?jǐn)?shù)都保留下來因?yàn)橄乱粚又眯哦仍u(píng)估需要拿到整體分布信息而不僅僅是Top1。2.3 第三層置信度評(píng)估層別信模型自帶的概率這一層是整個(gè)漏斗里最有價(jià)值、也最容易被忽略的部分。工業(yè)級(jí)Agent能不能讓人放心就看這層閘門是否可靠。分類模型輸出的softmax概率在真實(shí)場(chǎng)景中通常是過度自信的。一個(gè)訓(xùn)練得不錯(cuò)的分類器對(duì)錯(cuò)誤樣本也可能給出0.9以上的概率。所以我不直接使用模型的原始概率而是重新做一個(gè)“置信度評(píng)估”。置信度的來源我常用三個(gè)內(nèi)部熵、多次采樣一致性、語(yǔ)義相似度。內(nèi)部熵是指對(duì)分類結(jié)果的所有類目概率求信息熵。熵越低表示模型在類別間越確定熵越高表示模型在猶豫。把熵值作為一個(gè)負(fù)向特征高熵樣本轉(zhuǎn)入人工或澄清流程。多次采樣一致性針對(duì)LLM分類用相同prompt、不同temperature比如0.2和0.7各采一次看兩次結(jié)果是否一致。一致度越高置信度越高。這個(gè)方案對(duì)LLM特別有效因?yàn)樗梢詸z測(cè)模型的隨機(jī)性——真實(shí)置信的意圖不容易被溫度擾動(dòng)改變瞎猜的意圖很容易翻車。語(yǔ)義相似度是指把query和意圖種子表達(dá)做向量相似度校驗(yàn)。如果query和“預(yù)測(cè)意圖”的種子向量相似度都不高說明分類結(jié)果很可能有問題。比如用戶說“你們客服電話是多少”分類器可能把它分到“投訴建議”但query和“投訴建議”的種子表達(dá)在向量空間其實(shí)沒那么接近這時(shí)相似度校驗(yàn)就會(huì)給低分。拿到多個(gè)置信度信號(hào)后還需要做置信度校準(zhǔn)。校準(zhǔn)的目標(biāo)是讓分?jǐn)?shù)真實(shí)反映準(zhǔn)確率。我常用的是保序回歸Isotonic Regression把“模型分?jǐn)?shù)-是否預(yù)測(cè)正確”作為訓(xùn)練對(duì)擬合一個(gè)校準(zhǔn)函數(shù)。校準(zhǔn)后的分?jǐn)?shù)可以直接作為決策依據(jù)比如0.8分意味著大約80%的概率預(yù)測(cè)正確。閾值設(shè)定方面我建議引入業(yè)務(wù)代價(jià)矩陣。不同意圖的錯(cuò)誤識(shí)別代價(jià)差異很大誤把“取消訂單”識(shí)別成“確認(rèn)收貨”的代價(jià)極高誤把“閑聊”識(shí)別成“查詢天氣”則無所謂。因此不能全局一個(gè)閾值要對(duì)高代價(jià)意圖設(shè)定更高的閾值比如0.9對(duì)低代價(jià)意圖設(shè)低閾值比如0.7。這就是漏斗比單模型靈活的關(guān)鍵——每個(gè)意圖有自己的閘門。2.4 第四層路由仲裁層把決策變成可執(zhí)行的策略最后一層不涉及模型推理而是策略引擎。它接收置信度分?jǐn)?shù)和業(yè)務(wù)上下文輸出Agent執(zhí)行指令。我把路由策略設(shè)計(jì)成三檔高置信區(qū)間比如校準(zhǔn)置信度≥0.85直接執(zhí)行。這一檔的意圖不需要向用戶二次確認(rèn)Agent直接調(diào)用對(duì)應(yīng)的工具或流程。中置信區(qū)間0.60-0.85進(jìn)入澄清會(huì)話。Agent不是直接執(zhí)行而是反問用戶確認(rèn)比如“您是想查詢物流狀態(tài)還是修改收貨地址”這比錯(cuò)誤執(zhí)行要好得多也增加了用戶參與的感知。低置信區(qū)間0.60降級(jí)處理包括轉(zhuǎn)人工客服或者返回通用兜底話術(shù)。路由層必須和Agent編排系統(tǒng)做好聯(lián)動(dòng)。我在項(xiàng)目里的做法是路由層輸出一個(gè)標(biāo)準(zhǔn)的意圖事件包含意圖編碼、置信度、是否需要澄清等字段Agent編排系統(tǒng)統(tǒng)一消費(fèi)這個(gè)事件。仲裁結(jié)果同時(shí)也記錄到日志作為后續(xù)優(yōu)化漏斗的數(shù)據(jù)回流。這一層的工程要點(diǎn)是策略可配置化。不要讓策略硬編碼在代碼里而是通過配置中心下發(fā)這樣線上的閾值調(diào)整不用發(fā)版算法團(tuán)隊(duì)可以直接通過管理后臺(tái)調(diào)整每個(gè)意圖的置信度閾值。我見過太多團(tuán)隊(duì)在路由策略上寫死參數(shù)導(dǎo)致每次調(diào)整代價(jià)極高。3. 實(shí)操過程從零搭建一個(gè)可上線的分層漏斗3.1 第一步梳理業(yè)務(wù)意圖清單建立意圖編號(hào)體系任何漏斗都不能在意圖清單不清晰的情況下動(dòng)工。梳理意圖清單的正確順序是先收集產(chǎn)品功能列表再收集客服對(duì)話日志最后做聚類整合。產(chǎn)品功能列表告訴你系統(tǒng)希望用戶做的事情有哪些客服日志則能暴露用戶真實(shí)問法。實(shí)際操作時(shí)我們拉取了近3個(gè)月的用戶會(huì)話日志過濾掉無效噪音如純語(yǔ)氣詞、空白信息做一次聚類統(tǒng)計(jì)把高頻片段提取出來再映射到產(chǎn)品功能上。這樣得到的意圖清單既有業(yè)務(wù)邏輯支撐又有真實(shí)數(shù)據(jù)依據(jù)。意圖編號(hào)體系是從工程角度必須做好的事。建議格式[模塊]-[動(dòng)作]-[序號(hào)]比如order-query-01、order-cancel-02。等級(jí)編號(hào)的好處是后鏈路可以拿編號(hào)做權(quán)限控制、統(tǒng)計(jì)分析和錯(cuò)誤歸因。我見過直接用中文描述當(dāng)意圖ID的項(xiàng)目最后在代碼里到處都是魔法字符串排查問題時(shí)無從下手。3.2 第二步構(gòu)建評(píng)測(cè)集與三層指標(biāo)體評(píng)測(cè)集是整個(gè)漏斗能否持續(xù)優(yōu)化的基礎(chǔ)。我建議按三個(gè)來源構(gòu)建真實(shí)線上日志占比60%以上、人工構(gòu)造困難樣本20%、公開領(lǐng)域相關(guān)數(shù)據(jù)集20%。其中人工構(gòu)造的困難樣本尤其重要包括同義改寫、錯(cuò)別字、歧義表達(dá)、多意圖混合等。每個(gè)意圖至少準(zhǔn)備50-100條評(píng)測(cè)樣本整體評(píng)測(cè)集規(guī)模建議在2000條以上。評(píng)測(cè)指標(biāo)不能只看最終準(zhǔn)確率要分各層獨(dú)立看。召回層看召回率真實(shí)意圖是否在候選列表中分類層看分類精度候選排序后Top1是否正確置信度層看校準(zhǔn)誤差ECEExpected Calibration Error和AUC-ROC路由層看最終決策的正確率和澄清率。每層指標(biāo)獨(dú)立監(jiān)控才能快速定位漏斗的瓶頸層。這里有一個(gè)實(shí)操技巧把評(píng)測(cè)集構(gòu)建成帶“意圖分層標(biāo)簽”的格式。每條數(shù)據(jù)除了標(biāo)注最終意圖還要標(biāo)注是否屬于長(zhǎng)尾表達(dá)、是否包含歧義、是否需要澄清。這樣無論在做模型調(diào)優(yōu)還是路由策略時(shí)都能針對(duì)特定樣本子集觀察效果。3.3 第三步確定各層閾值與參數(shù)先跑通再優(yōu)化閾值和參數(shù)在冷啟動(dòng)階段很難一步到位我的方式是“初始保守一周內(nèi)校準(zhǔn)”。初始參數(shù)可以參考這個(gè)表格參數(shù)初始值說明向量召回相似度閾值0.60寧低勿高保召回召回TopN8留住長(zhǎng)尾候選分類模型溫度0.3降低隨機(jī)性LLM采樣一致性閾值2/2一致兩次采樣必須一致高置信執(zhí)行閾值0.85初始偏高中置信澄清區(qū)間0.60-0.85留足澄清空間低置信轉(zhuǎn)人工閾值0.60低于此值不執(zhí)行上線后一周內(nèi)通過日志統(tǒng)計(jì)實(shí)際分布每個(gè)意圖的置信度分布、漏斗各層漏出率、澄清率、人工轉(zhuǎn)接率。然后根據(jù)數(shù)據(jù)反向調(diào)整閾值。注意閾值調(diào)整每次只動(dòng)一個(gè)參數(shù)而且要看業(yè)務(wù)指標(biāo)如下單成功率、投訴率聯(lián)動(dòng)變化不要只看模型指標(biāo)。3.4 第四步灰度發(fā)布與線上監(jiān)控漏斗模型改造要經(jīng)過灰度發(fā)布不能一把梭全量切換。我的經(jīng)驗(yàn)是分三個(gè)階段內(nèi)部環(huán)境驗(yàn)證2-3天→ 5%流量灰度3-5天→ 50%流量灰度3天→ 全量?；叶绕陂g重點(diǎn)監(jiān)控三類指標(biāo)漏斗各層延遲確保P99在500ms以內(nèi)、決策分布高/中/低置信的比例、業(yè)務(wù)側(cè)轉(zhuǎn)化率比如Agent執(zhí)行成功率、用戶滿意度。這里的對(duì)比邏輯很重要要把新漏斗的結(jié)果和舊方案同時(shí)輸出對(duì)比而不是直接切換后只看新指標(biāo)。我踩過這個(gè)坑切換后忘記做對(duì)比結(jié)果效果好不好全靠感覺。4. 常見問題與排查技巧實(shí)錄4.1 問題一漏斗整體漏出率過高用戶請(qǐng)求大量落到低置信這是上線初期最常碰到的情況。排查路徑是逐層看日志先看召回層命中了沒有。如果召回層就沒把真實(shí)意圖撈入候選說明向量閾值太高或意圖種子表達(dá)不足再看分類層是否把候選排錯(cuò)這通常是意圖體系邊界不清或訓(xùn)練樣本不足最后看置信度層分?jǐn)?shù)是否普遍偏低這可能是校準(zhǔn)器沒有訓(xùn)練好或者是query本身在意圖體系中確實(shí)邊界模糊。一個(gè)典型的案例某電商場(chǎng)景上線時(shí)用戶說“這衣服我能退嗎”被歸到低置信轉(zhuǎn)人工。日志顯示分類層正確分到“退貨申請(qǐng)”但置信度層因?yàn)閝uery里帶有“嗎”這個(gè)疑問語(yǔ)氣詞語(yǔ)義相似度打分偏低。這個(gè)問題的本質(zhì)是置信度評(píng)估特征不夠豐富后來我們把“是否包含確認(rèn)性問句”作為附加特征加入校準(zhǔn)器問題解決。這種case如果不逐層查日志根本定位不到原因。4.2 問題二用戶的意圖在會(huì)話中漂移工業(yè)級(jí)Agent的意圖識(shí)別必須跟蹤多輪會(huì)話中的意圖轉(zhuǎn)變。用戶第一句說“查一下訂單”中間可能插一句“你們發(fā)的是什么快遞”然后又回到訂單主題。如果漏斗只看單輪query會(huì)把每個(gè)query獨(dú)立判斷導(dǎo)致Agent“失憶”。我的解決方案是引入會(huì)話級(jí)狀態(tài)管理維護(hù)一個(gè)“當(dāng)前活躍意圖?！泵慨?dāng)新的高置信意圖出現(xiàn)時(shí)判斷它和當(dāng)前意圖的關(guān)系——如果是子意圖比如從“查訂單”變?yōu)椤安槲锪鞴尽眲t采用子意圖如果是完全無關(guān)的新意圖從“查訂單”變?yōu)椤巴对V”則切換意圖棧如果置信度不夠高優(yōu)先在當(dāng)前意圖上下文中理解而非獨(dú)立判斷。這個(gè)策略在工程上需要Agent狀態(tài)層配合給漏斗傳入會(huì)話上下文。實(shí)際操作里我們做了一個(gè)輕量級(jí)的上下文注入把最近3輪的用戶輸入和Agent動(dòng)作拼成一段摘要文本附加到分類層的輸入中。這樣做的好處是分類層能感知上下文壞處是輸入變長(zhǎng)延遲和成本會(huì)上升所以要控制摘要的長(zhǎng)度和結(jié)構(gòu)。4.3 問題三中置信區(qū)間樣本太多澄清話術(shù)讓用戶厭煩澄清機(jī)制是雙刃劍。如果系統(tǒng)整天問“您是想A還是B”用戶很快就會(huì)失去耐心。我在實(shí)踐中發(fā)現(xiàn)中置信區(qū)間過大的根本原因往往是意圖體系粒度不當(dāng)而不是澄清策略本身的問題。解決思路有兩個(gè)方向。第一個(gè)方向是壓縮中置信區(qū)間通過增加訓(xùn)練樣本、細(xì)化種子表達(dá)把原本模糊的樣本提升到高置信區(qū)。第二個(gè)方向是改進(jìn)澄清方式不要每次都把選項(xiàng)全部拋給用戶而是用更自然的確認(rèn)話術(shù)比如“您是要查這個(gè)訂單的物流對(duì)嗎”這樣用戶回答“嗯”就能確認(rèn)成本比“您是選A還是B還是C”低得多。另外路由層要能做“基于背景的澄清跳過”。如果當(dāng)前是投訴場(chǎng)景用戶又說了一遍訂單號(hào)這時(shí)哪怕置信度不高也不要再澄清訂單相關(guān)意圖直接在當(dāng)前意圖上下文里執(zhí)行。這個(gè)規(guī)則不復(fù)雜但能把澄清率降低不少。4.4 問題四冷啟動(dòng)階段沒有標(biāo)注數(shù)據(jù)漏斗跑不起來很多團(tuán)隊(duì)拿到新業(yè)務(wù)時(shí)面臨真實(shí)數(shù)據(jù)不足的困境。我的做法是“用偽標(biāo)注啟動(dòng)漏斗”。從歷史客服對(duì)話日志中用LLM批量打標(biāo)一批數(shù)據(jù)然后人工抽檢修正形成初期種子集。這種方法的有趣之處在于LLM打標(biāo)的數(shù)據(jù)有噪音但噪音分布相對(duì)均勻用來做初始召回層和意圖體系的驗(yàn)證完全夠用。另外一個(gè)冷啟動(dòng)技巧是“復(fù)用通用意圖庫(kù)”。很多場(chǎng)景的意圖是通用的比如“轉(zhuǎn)人工”“投訴”“咨詢幫助”“再見”這四類在任何業(yè)務(wù)里都存在。這些通用意圖可以先固定進(jìn)漏斗讓漏斗在業(yè)務(wù)意圖還沒豐富起來時(shí)也能正常工作業(yè)務(wù)意圖再隨著數(shù)據(jù)積累逐步加入。冷啟動(dòng)階段還需要特別注意評(píng)測(cè)集的建設(shè)邏輯評(píng)測(cè)集應(yīng)該和訓(xùn)練集分開不能用同樣的偽標(biāo)注數(shù)據(jù)評(píng)測(cè)。我建議冷啟動(dòng)評(píng)測(cè)集用人工標(biāo)注數(shù)量不用太多每個(gè)意圖30條左右但務(wù)必是人工確認(rèn)過的否則評(píng)測(cè)指標(biāo)會(huì)虛高。5. 分層漏斗的擴(kuò)展思考與個(gè)人經(jīng)驗(yàn)分層漏斗的價(jià)值不只是提高準(zhǔn)確率還在于它讓Agent底層決策變得可解釋、可觀測(cè)、可治理。每一條用戶輸入在漏斗中的流轉(zhuǎn)軌跡都會(huì)被記錄出問題時(shí)可以回溯到具體層級(jí)。這在Agent需要審計(jì)或合規(guī)的工業(yè)場(chǎng)景里非常重要——你必須能說清楚“為什么Agent做了這個(gè)動(dòng)作”。基于這套方案后續(xù)還可以向幾個(gè)方向擴(kuò)展。一是把漏斗輸出和Agent記憶模塊打通讓歷史交互沉淀為更精細(xì)的意圖先驗(yàn)降低重復(fù)識(shí)別成本。二是引入主動(dòng)學(xué)習(xí)機(jī)制把中置信和人工處理的樣本自動(dòng)回流到標(biāo)注平臺(tái)每周形成一次“難例集”持續(xù)迭代分類層。三是針對(duì)具體行業(yè)構(gòu)建垂直意圖模板庫(kù)比如金融、醫(yī)療、電商各自有一套召回種子表達(dá)和意圖層級(jí)減少跨場(chǎng)景重復(fù)建設(shè)的工作量。我個(gè)人的經(jīng)驗(yàn)是不要讓漏斗一開始就追求全覆蓋。先覆蓋業(yè)務(wù)最核心、最頻繁、代價(jià)最高的20個(gè)意圖把漏斗跑順暢再逐步擴(kuò)張到長(zhǎng)尾意圖。每擴(kuò)張一批意圖都要重新評(píng)估閾值和評(píng)測(cè)集因?yàn)橐鈭D體系變大后類別間的混淆會(huì)重新抬頭。這個(gè)過程需要耐心但走穩(wěn)每一步后你的Agent意圖識(shí)別能力會(huì)非常扎實(shí)。最后再說一句實(shí)操感受分層漏斗最值錢的不是某一層模型多強(qiáng)而是這種“層層設(shè)防、閘門決策”的工程結(jié)構(gòu)讓你在模型不夠完美時(shí)也能保證線上不出大事故。