態(tài)路由實(shí)戰(zhàn)：破解大模型成本效益權(quán)衡)
面試問(wèn)到大模型的成本效益權(quán)衡很多人第一反應(yīng)是背各家模型的單價(jià)表然后說(shuō)“便宜的用小模型、貴的用大模型”。但真實(shí)項(xiàng)目里這個(gè)問(wèn)題遠(yuǎn)不是查價(jià)格就能回答的。我接手過(guò)一個(gè)客服助手項(xiàng)目日活起來(lái)之后光模型調(diào)用賬單就翻了十幾倍老板站在我工位后面問(wèn)“這筆錢到底花在哪了”的時(shí)候我才意識(shí)到模型選型這事兒不是一個(gè)靜態(tài)決策而是一套需要持續(xù)運(yùn)轉(zhuǎn)的架構(gòu)能力。這篇文章我圍繞LangChain4j把完整思路梳理一遍。內(nèi)容既面向準(zhǔn)備高級(jí)Java面試的同學(xué)也面向要在生產(chǎn)環(huán)境落地的架構(gòu)師。我會(huì)先講清楚權(quán)衡的底層邏輯再給出一套可以直接抄作業(yè)的動(dòng)態(tài)路由實(shí)現(xiàn)最后把實(shí)測(cè)中踩過(guò)的坑和面試追問(wèn)一并交代。1. 賬單數(shù)字背后的模型選擇焦慮——多模型協(xié)同為什么成了必然方案先說(shuō)一個(gè)很現(xiàn)實(shí)的現(xiàn)象早期做AI功能大家習(xí)慣“一個(gè)模型打天下”。選一個(gè)能力強(qiáng)的旗艦?zāi)Ｐ退姓?qǐng)求都往里面丟省心。但請(qǐng)求量一旦上來(lái)問(wèn)題就暴露了。我那個(gè)客服項(xiàng)目就是典型。最初只接了一個(gè)遠(yuǎn)端大模型單次調(diào)用質(zhì)量確實(shí)好回答專業(yè)、格式規(guī)范?？傻搅藰I(yè)務(wù)高峰期每天幾十萬(wàn)次請(qǐng)求賬單出來(lái)的時(shí)候整個(gè)團(tuán)隊(duì)都沉默了。更麻煩的是用戶問(wèn)“今天訂單到哪了”這種簡(jiǎn)單查詢和“幫我分析這份合同的風(fēng)險(xiǎn)點(diǎn)”這種復(fù)雜任務(wù)花的token成本天差地別但都走了同一條高價(jià)通道。成本結(jié)構(gòu)完全是粗放式的。除了錢還有另外兩個(gè)壓力。第一個(gè)是體驗(yàn)。旗艦?zāi)Ｐ途雀叩评硌舆t也高。用戶查個(gè)物流狀態(tài)等三秒鐘才出結(jié)果對(duì)話體驗(yàn)非常糟糕。而同一類問(wèn)題換一個(gè)輕量模型延遲能掉到原來(lái)的三分之一用戶感知反而是“變快了”。第二個(gè)是穩(wěn)定性。所有請(qǐng)求都綁在一家模型供應(yīng)商上等于把業(yè)務(wù)命脈交了出去。我經(jīng)歷過(guò)一次上游限流整個(gè)客服入口卡了將近半小時(shí)那種無(wú)力感至今記得。后來(lái)我們把流量分散到多家供應(yīng)商和不同規(guī)格的模型上才真正把風(fēng)險(xiǎn)攤薄。所以這個(gè)問(wèn)題的本質(zhì)不是“哪個(gè)模型最好”而是“什么場(chǎng)景下用哪個(gè)模型最合適”。成本效益權(quán)衡的核心是把請(qǐng)求按特征細(xì)分讓每一類請(qǐng)求走最適合它的模型通道。你可能想問(wèn)這套邏輯用別的框架能不能做當(dāng)然能。但LangChain4j在Java生態(tài)里有一個(gè)獨(dú)特的優(yōu)勢(shì)它對(duì)模型做了非常干凈的抽象切換模型不需要改業(yè)務(wù)代碼這為后面做路由、做灰度、做降級(jí)提供了天然土壤。這也是我為什么在Java項(xiàng)目里最終選了它。2. LangChain4j把“模型”抽象成了什么——先搞清楚切換的最小單元在做成本效益權(quán)衡之前必須先理解一件事在LangChain4j里你切換模型時(shí)到底在切什么很多人以為切模型就是換一個(gè)API調(diào)用地址改個(gè)URL就完事。但LangChain4j不這么干它把所有大模型統(tǒng)一封裝成了幾個(gè)核心接口其中最核心的就是ChatLanguageModel。這個(gè)接口屏蔽了不同廠商的API差異定義了一套統(tǒng)一的能力生成對(duì)話、流式輸出、獲取token用量、結(jié)構(gòu)化輸出等。你在業(yè)務(wù)代碼里依賴的是這個(gè)接口而不是某個(gè)廠商的SDK。2.1 從JDBC理解LangChain4j的模型接入設(shè)計(jì)這一點(diǎn)跟JDBC非常像。你用JDBC寫SQL的時(shí)候不需要關(guān)心底層是MySQL還是PostgreSQL只需要面向Connection、PreparedStatement這些標(biāo)準(zhǔn)接口編程換數(shù)據(jù)庫(kù)就是換驅(qū)動(dòng)和URL。LangChain4j也是同樣思路。業(yè)務(wù)代碼面向ChatLanguageModel編程底層接的是哪家模型由配置和工廠決定。我在項(xiàng)目里同時(shí)接入了三家供應(yīng)商的模型但AiServices層完全沒(méi)動(dòng)過(guò)。想換一個(gè)底層模型改配置、加依賴、啟動(dòng)完事。這個(gè)抽象帶來(lái)的直接好處是模型變成了可替換資源而不是固化在業(yè)務(wù)代碼里的依賴。沒(méi)有這層抽象后面所有路由、灰度、降級(jí)都無(wú)從談起。2.2 除了對(duì)話模型還有哪些抽象層值得關(guān)注ChatLanguageModel只是最常用的一層。實(shí)際權(quán)衡模型成本時(shí)往往還要用到另外幾個(gè)接口EmbeddingModel負(fù)責(zé)文本向量化做語(yǔ)義檢索和緩存時(shí)用。不同模型的向量維度不同切換時(shí)要注意向量庫(kù)里的索引一致性。ModerationModel負(fù)責(zé)內(nèi)容審核可以單獨(dú)走低成本通道不必占用對(duì)話模型的預(yù)算。ImageModel文生圖場(chǎng)景用這個(gè)模型的成本核算邏輯跟純文本差異更大。我在路由設(shè)計(jì)時(shí)并不會(huì)單獨(dú)為每個(gè)接口做一套策略而是把“通道”概念統(tǒng)一起來(lái)。每個(gè)通道包含一個(gè)對(duì)話模型、一個(gè)向量模型、可選的審核模型以及對(duì)應(yīng)的成本分、延遲畫像、能力標(biāo)簽。這樣路由的時(shí)候只需要選通道不用逐個(gè)模型去判。2.3 可替換性是一切權(quán)衡的前提說(shuō)了這么多只想表達(dá)一個(gè)觀點(diǎn)在LangChain4j里做成本效益權(quán)衡本質(zhì)是在“模型通道”之間做選擇而這個(gè)選擇被框架抽象成了非常輕量的操作。正因?yàn)檩p量我們才能毫無(wú)心理負(fù)擔(dān)地做精細(xì)化路由——今天這個(gè)模型便宜且質(zhì)量達(dá)標(biāo)那就多分流量過(guò)去明天它漲價(jià)了立刻切回來(lái)。如果沒(méi)有這層抽象每次切換都動(dòng)代碼、發(fā)版本那套權(quán)衡策略根本轉(zhuǎn)不起來(lái)。所以在面試?yán)锓彩菭砍兜絃angChain4j模型管理的問(wèn)題我都會(huì)先點(diǎn)出這層抽象。它不僅是框架特性更是你做一切取舍的基礎(chǔ)設(shè)施。3. 三類主流權(quán)衡策略與適用邊界——從“省錢”到“系統(tǒng)韌性”抽象層解決了“怎么切”的問(wèn)題接下來(lái)就是“什么時(shí)候切、按什么規(guī)則切”。我梳理了三種在真實(shí)項(xiàng)目里驗(yàn)證過(guò)的策略它們解決的問(wèn)題不同適用場(chǎng)景也不同。實(shí)際架構(gòu)里通常不是二選一而是組合使用。3.1 按任務(wù)復(fù)雜度路由簡(jiǎn)單任務(wù)走小模型復(fù)雜任務(wù)走大模型這是最直觀、見(jiàn)效最快的一種策略。核心思想是同一個(gè)業(yè)務(wù)入口根據(jù)請(qǐng)求的復(fù)雜程度分發(fā)到不同規(guī)格的模型。我在客服項(xiàng)目里是這么做的查物流、查訂單狀態(tài)、退換貨進(jìn)度這類簡(jiǎn)單查詢意圖明確、上下文短用輕量模型就夠了。投訴安撫、復(fù)雜售后方案推薦需要多輪上下文理解和情感識(shí)別走中檔模型。合同分析、風(fēng)險(xiǎn)識(shí)別、多文檔比對(duì)這種高復(fù)雜度推理任務(wù)才動(dòng)用旗艦?zāi)Ｐ?。難的地方在于怎么在調(diào)用模型之前就判斷出任務(wù)復(fù)雜度總不能每次都先拿大模型分類一遍那成本反而更高。我們當(dāng)時(shí)的解法是前置一個(gè)非常小的分類模型只做意圖識(shí)別輸出一個(gè)標(biāo)簽。這個(gè)小模型單次成本大約是旗艦?zāi)Ｐ偷膸资种粶?zhǔn)確率在九成以上。對(duì)于置信度低的請(qǐng)求再按保守策略路由到高規(guī)格模型。還可以靠規(guī)則兜底用戶消息里包含“合同”“起訴”“賠償”這類強(qiáng)信號(hào)詞直接走高端通道包含“查”“改”“退”這類高頻操作詞走輕量通道。規(guī)則和模型分類結(jié)合能覆蓋絕大部分場(chǎng)景。3.2 按可用性與容災(zāi)路由主備切換和降級(jí)比“省錢”更重要第二種策略用一句話概括別讓單一模型成了單點(diǎn)故障。我經(jīng)歷過(guò)一次上游限流當(dāng)時(shí)核心鏈路大量請(qǐng)求超時(shí)。事后復(fù)盤發(fā)現(xiàn)如果提前配了主備模型通道完全可以把部分流量切到另一家供應(yīng)商損失能控制在很小的范圍內(nèi)。LangChain4j里做這個(gè)事兒非常順手。你可以注冊(cè)多個(gè)ChatLanguageModel實(shí)例然后封裝一個(gè)路由層監(jiān)聽(tīng)上游錯(cuò)誤率和響應(yīng)超時(shí)率。當(dāng)主通道的錯(cuò)誤率超過(guò)閾值路由層自動(dòng)把新請(qǐng)求切到備用通道。注意這里不是簡(jiǎn)單重試——重試是同一個(gè)通道再打一次如果上游已經(jīng)故障重試只會(huì)加重問(wèn)題。正確的做法是熔斷降級(jí)直接短路到備選資源。我們實(shí)現(xiàn)時(shí)參考了Resilience4j的思路但沒(méi)用它的注解而是自己在路由層寫了一個(gè)輕量的滑動(dòng)窗口計(jì)數(shù)器統(tǒng)計(jì)最近三十秒內(nèi)失敗請(qǐng)求的占比超過(guò)閾值就打開(kāi)熔斷開(kāi)關(guān)。這個(gè)開(kāi)關(guān)的狀態(tài)還會(huì)通過(guò)監(jiān)控系統(tǒng)暴露出來(lái)方便值班同學(xué)實(shí)時(shí)看到。3.3 本地模型與云端模型混合隱私數(shù)據(jù)和高頻場(chǎng)景的折中方案第三種策略在數(shù)據(jù)敏感型業(yè)務(wù)里幾乎必用本地部署一套開(kāi)源小模型和云端旗艦?zāi)Ｐ突旌鲜褂?。本地模型的好處有兩個(gè)一是數(shù)據(jù)不出內(nèi)網(wǎng)隱私合規(guī)壓力小二是請(qǐng)求延遲低沒(méi)有網(wǎng)絡(luò)跳轉(zhuǎn)而且按需擴(kuò)容邊際成本非常低。壞處也明顯——能力上限不如旗艦?zāi)Ｐ蛷?fù)雜推理容易“胡說(shuō)”。所以我們?cè)诼酚稍O(shè)計(jì)上給了本地模型一個(gè)明確的邊界只處理兩類請(qǐng)求。一類是脫敏后的高頻簡(jiǎn)單查詢另一類是全文檢索、關(guān)鍵詞抽取等NLP基礎(chǔ)任務(wù)。涉及真實(shí)業(yè)務(wù)決策、生成正式文書的請(qǐng)求一律走云端。這里有個(gè)實(shí)操細(xì)節(jié)LangChain4j接本地模型通常走的是兼容OpenAI協(xié)議的網(wǎng)關(guān)比如常見(jiàn)的本地推理服務(wù)。配置時(shí)只要把baseUrl指向本地服務(wù)地址再選一個(gè)對(duì)應(yīng)的模型標(biāo)識(shí)就行代碼層面跟接云端模型沒(méi)有任何區(qū)別。這再次體現(xiàn)了框架抽象的價(jià)值。4. 成本效益不只是“單價(jià)”——一份可以帶進(jìn)架構(gòu)評(píng)審的量化清單面試?yán)锾岬健俺杀拘б鏅?quán)衡”很多人只會(huì)盯著token單價(jià)。但做過(guò)架構(gòu)評(píng)審的人都知道如果拿一張只寫了單價(jià)的對(duì)比表去匯報(bào)評(píng)審會(huì)上必然被追問(wèn)到啞口無(wú)言。你需要一套更完整的量化維度。4.1 四個(gè)核心維度和它們的坑我習(xí)慣把模型評(píng)估分為四個(gè)維度成本、質(zhì)量、性能、穩(wěn)定性。維度關(guān)鍵指標(biāo)常見(jiàn)誤區(qū)成本輸入/輸出單價(jià)、緩存命中率、上下文token損耗只看單價(jià)忽略單次任務(wù)實(shí)際耗時(shí)質(zhì)量答案準(zhǔn)確率、格式遵循率、拒答率、幻覺(jué)率憑感覺(jué)打分沒(méi)有回歸基線性能首token延遲、生成速度、并發(fā)上限只測(cè)一次忽略分位數(shù)分布穩(wěn)定性可用性、限流閾值、錯(cuò)誤碼分布只看官網(wǎng)承諾不看實(shí)測(cè)長(zhǎng)尾逐個(gè)說(shuō)一下。成本維度最容易踩的坑是“單價(jià)幻覺(jué)”。A模型單價(jià)只有B的一半但A輸出特別啰嗦同樣的任務(wù)要多走一倍token總成本反而更高。所以我衡量成本從來(lái)不用“單token價(jià)格”而是用“單次任務(wù)全鏈路成本”取一批固定的測(cè)試請(qǐng)求統(tǒng)計(jì)每個(gè)模型處理完這批請(qǐng)求消耗的總token和總金額再除以請(qǐng)求數(shù)得到單請(qǐng)求平均成本。這個(gè)數(shù)字才有橫向比較意義。質(zhì)量維度最忌諱的就是幾個(gè)人拿幾個(gè)case人工打分。正確做法是建一個(gè)回歸集把線上真實(shí)且有標(biāo)準(zhǔn)答案的請(qǐng)求沉淀下來(lái)每次評(píng)估新模型都跑一遍。質(zhì)量指標(biāo)至少要看四項(xiàng)準(zhǔn)確率、格式遵循率尤其是有結(jié)構(gòu)化輸出要求時(shí)、拒答率、幻覺(jué)率。特別是幻覺(jué)率這是在成本評(píng)估中最容易被忽略的隱性成本——模型回答看著對(duì)其實(shí)是編的流到線上就是事故。性能維度要注意分位數(shù)。平均延遲500毫秒看起來(lái)不錯(cuò)但P99可能到三秒。對(duì)話場(chǎng)景里P95和P99比平均值更能決定用戶體驗(yàn)。另外一個(gè)很多人忽略的參數(shù)是并發(fā)上限有些模型在低并發(fā)下延遲漂亮并發(fā)一到某個(gè)閾值就開(kāi)始排隊(duì)這個(gè)數(shù)字必須在壓測(cè)環(huán)境里打出來(lái)。穩(wěn)定性維度就要靠長(zhǎng)期觀測(cè)了。不能拿三天的數(shù)據(jù)就下結(jié)論至少跑一到兩周看錯(cuò)誤率的分布、限流的觸發(fā)頻次、不同時(shí)段的延遲波動(dòng)。供應(yīng)商官網(wǎng)承諾的可用性跟你實(shí)際拿到的配額是兩回事這點(diǎn)只能靠自己的監(jiān)控?cái)?shù)據(jù)說(shuō)話。4.2 給模型打“畫像分”把權(quán)衡變成數(shù)學(xué)題維度定了之后我給接入的每個(gè)模型通道建了一張畫像卡本質(zhì)上是一個(gè)加權(quán)評(píng)分。每個(gè)維度設(shè)置1到100分再按業(yè)務(wù)側(cè)重配權(quán)重。對(duì)客服場(chǎng)景我給的權(quán)重是成本40%、質(zhì)量30%、性能20%、穩(wěn)定性10%。對(duì)內(nèi)容創(chuàng)作場(chǎng)景質(zhì)量權(quán)重會(huì)提到50%成本降到20%。權(quán)重本身來(lái)自業(yè)務(wù)方這很重要——成本效益沒(méi)有絕對(duì)標(biāo)準(zhǔn)只有跟業(yè)務(wù)目標(biāo)綁定了才能變成可比較的數(shù)字。有了畫像卡模型選擇就從“我覺(jué)得A不錯(cuò)”變成了“A的綜合分高于B且質(zhì)量分達(dá)標(biāo)”架構(gòu)評(píng)審會(huì)好開(kāi)得多。5. 實(shí)現(xiàn)一套基于LangChain4j的動(dòng)態(tài)路由——代碼級(jí)拆解量化分析給出的是“應(yīng)該往哪切”動(dòng)態(tài)路由解決的是“怎么自動(dòng)切”。這一節(jié)我把核心實(shí)現(xiàn)拆開(kāi)講。5.1 先定配置模型讓每個(gè)模型通道自帶檔案我的做法是所有模型通道都在配置文件里聲明不寫死在代碼里。這是整個(gè)設(shè)計(jì)的關(guān)鍵——后續(xù)調(diào)整成本權(quán)重、切換模型只改配置不發(fā)布代碼。llm: routes: - name: flagship provider: vendor-1 model-name: flagship-reasoning-x api-key: ${X_API_KEY} temperature: 0.2 max-tokens: 8192 tier: complex cost-score: 100 quality-score: 95 - name: economical provider: vendor-1 model-name: fast-response-m api-key: ${X_API_KEY} temperature: 0.3 max-tokens: 4096 tier: simple cost-score: 25 quality-score: 82 - name: local provider: local-gateway base-url: http://localhost:11434 model-name: local-q14b temperature: 0.1 max-tokens: 2048 tier: private cost-score: 2 quality-score: 70注意這里我沒(méi)有綁定具體廠商名統(tǒng)一用vendor-1占位。實(shí)際上團(tuán)隊(duì)內(nèi)部用的是完全虛構(gòu)的供應(yīng)商代號(hào)避免對(duì)任何具體產(chǎn)品產(chǎn)生依賴。5.2 構(gòu)建模型注冊(cè)表用一個(gè)工廠管好所有通道有了配置下一步是把配置變成可用的ChatLanguageModel實(shí)例。我封裝了一個(gè)ModelRegistry啟動(dòng)時(shí)讀取配置、構(gòu)建實(shí)例并對(duì)外提供查詢能力。Component public class ModelRegistry { private final ListModelChannel channels; public ModelRegistry(LlmProperties properties) { this.channels properties.getRoutes().stream() .map(RouteConfig::toChannel) .toList(); } public ModelChannel match(String intent, String userMessage) { return channelForComplexity(intent, userMessage); } private ModelChannel channelForComplexity(String intent, String message) { if (containsSensitiveTerms(message)) { return find(LocalTier.PRIVATE); } if (COMPLEX.equals(intent)) { return find(LocalTier.COMPLEX); } return find(LocalTier.SIMPLE); } private ModelChannel find(String tier) { return channels.stream() .filter(c - c.tier().equals(tier)) .findFirst() .orElseGet(() - channels.get(0)); } }ModelChannel里持有真正的ChatLanguageModel實(shí)例以及該通道的tier、costScore、qualityScore等畫像字段。業(yè)務(wù)層永遠(yuǎn)只跟ModelChannel打交道不直接感知ChatLanguageModel的廠商差異。5.3 封裝AI Service業(yè)務(wù)代碼無(wú)感切換模型LangChain4j里比直接操作ChatLanguageModel更高級(jí)的用法是AiServices。你可以先定義一個(gè)業(yè)務(wù)接口然后讓框架自動(dòng)把用戶消息、工具調(diào)用、結(jié)構(gòu)化輸出都串起來(lái)。public interface CustomerSupportAssistant { SystemMessage(你是一名資深客服回答簡(jiǎn)潔、準(zhǔn)確不要編造信息。) UserMessage(用戶問(wèn)題{{userMessage}}) ChatAnswer answer(V(userMessage) String userMessage); UserMessage(判斷用戶意圖只返回以下類別之一SIMPLE、COMPLEX、SENSITIVE) IntentResult classify(String userMessage); }public class AssistantFactory { private final ModelRegistry registry; public CustomerSupportAssistant buildFor(String intent) { ModelChannel channel registry.match(intent); ChatLanguageModel model channel.model(); return AiServices.builder(CustomerSupportAssistant.class) .withChatLanguageModel(model) .build(); } }路由邏輯收口在AssistantFactory里。每次請(qǐng)求進(jìn)來(lái)工廠先做一次意圖判斷再根據(jù)意圖選擇通道最后返回一個(gè)綁定好模型的服務(wù)實(shí)現(xiàn)。業(yè)務(wù)代碼拿到的始終是CustomerSupportAssistant這個(gè)接口它壓根不知道今天是哪個(gè)模型在背后響應(yīng)。5.4 熔斷與降級(jí)給路由加上自我保護(hù)如果費(fèi)力實(shí)現(xiàn)了路由結(jié)果某個(gè)通道故障時(shí)所有請(qǐng)求還是硬著頭皮往里打那就白做了。我給ModelRegistry加了一個(gè)輕量熔斷機(jī)制。Component public class RouteGuard { private final MapString, AtomicInteger failureWindow new ConcurrentHashMap(); private final MapString, Boolean circuitState new ConcurrentHashMap(); public boolean isAvailable(String channelName) { return !Boolean.TRUE.equals(circuitState.get(channelName)); } public void onFailure(String channelName) { int count failureWindow.computeIfAbsent(channelName, k - new AtomicInteger()).incrementAndGet(); if (count 5) { circuitState.put(channelName, true); } } public void onSuccess(String channelName) { failureWindow.computeIfAbsent(channelName, k - new AtomicInteger()).set(0); } }這里展示的是簡(jiǎn)化版邏輯。生產(chǎn)環(huán)境我會(huì)用帶時(shí)間窗口的滑動(dòng)窗口算法而不是單純計(jì)數(shù)器否則一個(gè)瞬時(shí)抖動(dòng)可能導(dǎo)致長(zhǎng)時(shí)間熔斷。原理并不復(fù)雜失敗次數(shù)在短時(shí)間內(nèi)達(dá)到閾值就打開(kāi)開(kāi)關(guān)新請(qǐng)求自動(dòng)跳過(guò)該通道走到下一個(gè)可用通道。5.5 可觀測(cè)性路由決策必須能看到最后是LangChain4j的監(jiān)聽(tīng)器機(jī)制。框架允許你在模型調(diào)用前后掛自定義監(jiān)聽(tīng)邏輯。我在每次調(diào)用結(jié)束后取到token用量、延遲、模型通道名、路由標(biāo)簽統(tǒng)一打到日志系統(tǒng)方便后續(xù)做成本歸因。public class CostLoggingListener implements ChatModelListener { Override public void onResponse(Response? extends ChatModelResponse? response) { TokenUsage usage response.tokenUsage(); String model response.modelName(); long costMicros response.duration().toMillis(); log.info(model{}, promptTokens{}, completionTokens{}, costMicros{}, model, usage.inputTokenCount(), usage.outputTokenCount(), costMicros); } }這一步看起來(lái)不起眼但沒(méi)有它前面所有路由策略都是盲人摸象。我后來(lái)做月度成本復(fù)盤很大一部分?jǐn)?shù)據(jù)就來(lái)自這套日志——哪個(gè)業(yè)務(wù)線用了多少token、走了哪些通道、換算成金額是多少一目了然。6. 實(shí)測(cè)中那些文檔不會(huì)寫的坑——體驗(yàn)一致性比路由本身更難路由框架搭完你以為就結(jié)束了真正的麻煩才剛剛開(kāi)始。不同廠商模型在細(xì)節(jié)行為上的差異只有在切換的時(shí)候才會(huì)暴露出來(lái)而這些差異幾乎不會(huì)寫進(jìn)官方文檔。6.1 temperature默認(rèn)值引發(fā)的“風(fēng)格突變”這是我遇到的第一個(gè)坑。兩個(gè)模型處理同一批客服消息A模型的回答簡(jiǎn)潔直接B模型的回答語(yǔ)氣軟綿綿、廢話偏多。一開(kāi)始以為是提示詞問(wèn)題后來(lái)排查發(fā)現(xiàn)兩家供應(yīng)商對(duì)temperature參數(shù)的默認(rèn)處理不一樣。A默認(rèn)0.2B默認(rèn)0.7同樣的參數(shù)語(yǔ)義表現(xiàn)天差地別。這個(gè)坑的隱蔽之處在于如果你用LangChain4j默認(rèn)構(gòu)造器它可能不會(huì)強(qiáng)求你顯式設(shè)置temperature于是你就在不知情的情況下接了兩個(gè)完全不同的性格進(jìn)來(lái)。我們的修正方案是在模型配置里強(qiáng)制顯式標(biāo)注temperature和topP不允許留空通過(guò)配置檢查在啟動(dòng)階段直接攔截遺漏。6.2 JSON Schema支持度不一致結(jié)構(gòu)化輸出直接翻車我用AiServices做結(jié)構(gòu)化輸出時(shí)框架底層依賴模型廠商對(duì)JSON Schema的支持。理論上各家都宣稱支持實(shí)際用起來(lái)參差。有的模型對(duì)嵌套結(jié)構(gòu)總是漏字段有的模型對(duì)格式約束視而不見(jiàn)直接輸出帶Markdown的文本。這個(gè)情況在LangChain4j里表現(xiàn)為定義返回POJO但模型返回的內(nèi)容反序列化失敗。我們后來(lái)做了兩件事一是給每個(gè)模型通道單獨(dú)做結(jié)構(gòu)化輸出壓測(cè)記錄格式遵循率質(zhì)量要求高的請(qǐng)求只走格式遵循率高的通道二是在反序列化失敗時(shí)做一次帶錯(cuò)誤信息的重新生成但設(shè)置重試上限防止不良案例無(wú)限燒錢。6.3 超時(shí)行為差異讓網(wǎng)關(guān)層備受折磨不同模型的處理速度差異巨大反映在超時(shí)策略上就得區(qū)別對(duì)待。本地模型通常首token快但生成尾巴長(zhǎng)旗艦?zāi)Ｐ驼w延遲高生成輸出卻穩(wěn)定某些輕量模型在高并發(fā)時(shí)段會(huì)突然超時(shí)。一開(kāi)始我們用一個(gè)全局超時(shí)值結(jié)果要么小模型沒(méi)跑完就被切斷要么大模型等不到響應(yīng)拖垮線程池。后來(lái)把超時(shí)也做成了通道配置項(xiàng)按模型畫像單獨(dú)設(shè)置。同時(shí)網(wǎng)關(guān)層必須使用獨(dú)立的線程池不能所有模型共用一套否則一個(gè)模型的超時(shí)堆積會(huì)阻塞整個(gè)應(yīng)用。6.4 上下文窗口差異同一個(gè)提示詞被悄悄截?cái)噙@個(gè)坑更陰險(xiǎn)。旗艦?zāi)Ｐ蜕舷挛拇翱诖竽惆演^長(zhǎng)的歷史對(duì)話、檢索片段一起塞進(jìn)去沒(méi)問(wèn)題。換到輕量模型同一個(gè)提示詞可能已經(jīng)超長(zhǎng)框架或者模型會(huì)靜默截?cái)唷＝財(cái)嗟暮蠊悄Ｐ腿笔Я岁P(guān)鍵信息回答質(zhì)量悄然下降。我們當(dāng)時(shí)的對(duì)策是在路由階段計(jì)算消息token數(shù)。超過(guò)目標(biāo)模型上下文的一定比例比如70%時(shí)要么走更大上下文窗口的通道要么對(duì)歷史消息做壓縮。這個(gè)判斷必須放在路由里而不是等請(qǐng)求發(fā)過(guò)去才發(fā)現(xiàn)。6.5 限流錯(cuò)誤碼不統(tǒng)一異常映射必須統(tǒng)一處理各家供應(yīng)商對(duì)限流、鑒權(quán)失敗、模型過(guò)載返回的錯(cuò)誤碼五花八門有的返回429有的返回400有的直接斷開(kāi)連接。如果不在路由層做統(tǒng)一異常映射上層業(yè)務(wù)要面對(duì)一堆來(lái)源不明、語(yǔ)義不清的異常。我封裝了一個(gè)LlmExceptionTranslator把所有上游異常翻譯成幾個(gè)內(nèi)部業(yè)務(wù)異常RateLimitedException、ContextOverflowException、ModelDownException再統(tǒng)一映射成可降級(jí)的處理分支。這個(gè)翻譯器同時(shí)負(fù)責(zé)觸發(fā)熔斷邏輯把故障信息喂給前面的RouteGuard。6.6 評(píng)估不能只看單條case要建回歸基線最后一個(gè)坑也是最容易被忽略的模型能力差異不能用幾個(gè)測(cè)試樣例拍板必須有回歸基線。我后來(lái)建了一個(gè)固定測(cè)試集每次接入新模型或調(diào)整提示詞就跑一遍對(duì)比重點(diǎn)看準(zhǔn)確率、格式遵循率、拒答率、幻覺(jué)率的變化。這個(gè)基線集每?jī)芍芨乱淮螐木€上實(shí)際請(qǐng)求里抽樣沉淀。它不僅是模型評(píng)估的依據(jù)也是后續(xù)跟業(yè)務(wù)方討論“能不能換模型”的數(shù)據(jù)底牌。沒(méi)有基線切換模型就是靠賭。7. 如果是面試我會(huì)怎么回答這道題——框架之外的“權(quán)衡觀”這道題如果出現(xiàn)在面試?yán)镂业呐袛嗍敲嬖嚬傧肟疾斓牟皇茿PI細(xì)節(jié)而是你有沒(méi)有完整的架構(gòu)思維。所以回答的層次比結(jié)論本身更重要。7.1 先講權(quán)衡維度再給策略矩陣我一般這么展開(kāi)先說(shuō)明成本效益權(quán)衡不是一個(gè)單點(diǎn)比較至少要落到成本、質(zhì)量、性能、穩(wěn)定性四個(gè)維度再說(shuō)清楚單一的“按價(jià)格路由”是不完整的實(shí)際生產(chǎn)里更多采用三層策略組合——按任務(wù)復(fù)雜度分流、按可用性做降級(jí)容災(zāi)、按數(shù)據(jù)敏感性做本地與云端混合最后補(bǔ)一句核心前提這些策略能落地是因?yàn)槟Ｐ蛯颖怀橄蟪闪丝商鎿Q的統(tǒng)一接口業(yè)務(wù)代碼不需要感知模型切換。這個(gè)回答結(jié)構(gòu)的好處是它同時(shí)展示了你的架構(gòu)視野、工程落地能力和框架理解深度。7.2 高頻追問(wèn)一怎么證明切換模型后業(yè)務(wù)不劣化這個(gè)問(wèn)題很尖銳直接考驗(yàn)?zāi)阌袥](méi)有閉環(huán)機(jī)制。我的回答落在回歸基線上每個(gè)模型通道都配了質(zhì)量畫像分路由策略調(diào)整前用小流量灰度在基于線上真實(shí)請(qǐng)求的回歸集上對(duì)比新舊模型的質(zhì)量指標(biāo)包括準(zhǔn)確率、格式遵循率、幻覺(jué)率?；叶绕谂軡M至少48小時(shí)觀測(cè)P95延遲和錯(cuò)誤率達(dá)標(biāo)才逐步放量。7.3 高頻追問(wèn)二這個(gè)權(quán)衡體系如何自動(dòng)化我理解面試官真正想問(wèn)的是你不可能天天手動(dòng)調(diào)權(quán)重系統(tǒng)能不能自適應(yīng)我的回答是分層自動(dòng)化第一層是規(guī)則路由意圖識(shí)別加上下文長(zhǎng)度約束這是基礎(chǔ)第二層是動(dòng)態(tài)權(quán)重根據(jù)畫像分和成本分定期調(diào)整不同通道的流量比例用配置下發(fā)不發(fā)布代碼第三層是故障自動(dòng)降級(jí)熔斷與重試機(jī)制兜底。完全端到端的自動(dòng)化是不現(xiàn)實(shí)的因?yàn)闃I(yè)務(wù)效果需要人來(lái)判斷但工程鏈路可以做到強(qiáng)自動(dòng)化。7.4 給面試官留下印象的收尾最后我會(huì)補(bǔ)一句個(gè)人觀點(diǎn)模型成本效益沒(méi)有一勞永逸的答案每個(gè)月都要復(fù)盤賬單和畫像分的變化這是一個(gè)持續(xù)校準(zhǔn)的過(guò)程而不是上線后就結(jié)束的項(xiàng)目。這句話往往能引發(fā)面試官共鳴因?yàn)樗麄冏约阂彩沁@么過(guò)來(lái)的。回到開(kāi)頭的場(chǎng)景。那次被老板盯著問(wèn)賬單的事后來(lái)反而成了好事——它逼著我們搭出了這套多模型路由體系?，F(xiàn)在再面對(duì)“成本效益權(quán)衡”這個(gè)問(wèn)題我不會(huì)只談省了多少錢而是會(huì)講清楚如何用可量化的維度管理模型選擇如何讓系統(tǒng)在成本、體驗(yàn)、穩(wěn)定性之間保持動(dòng)態(tài)平衡。這套能力比省下那筆錢更有價(jià)值。最后分享一個(gè)實(shí)操小技巧所有路由決策日志務(wù)必帶上請(qǐng)求ID和通道名。剛開(kāi)始可能覺(jué)得多余等你要做月度成本歸因、復(fù)盤一次線上異常切換時(shí)就知道這個(gè)字段有多值錢了。 LangChain4j動(dòng)態(tài)路由實(shí)戰(zhàn)：破解大模型成本效益權(quán)衡
面試問(wèn)到大模型的成本效益權(quán)衡很多人第一反應(yīng)是背各家模型的單價(jià)表然后說(shuō)“便宜的用小模型、貴的用大模型”。但真實(shí)項(xiàng)目里這個(gè)問(wèn)題遠(yuǎn)不是查價(jià)格就能回答的。我接手過(guò)一個(gè)客服助手項(xiàng)目日活起來(lái)之后光模型調(diào)用賬單就翻了十幾倍老板站在我工位后面問(wèn)“這筆錢到底花在哪了”的時(shí)候我才意識(shí)到模型選型這事兒不是一個(gè)靜態(tài)決策而是一套需要持續(xù)運(yùn)轉(zhuǎn)的架構(gòu)能力。這篇文章我圍繞LangChain4j把完整思路梳理一遍。內(nèi)容既面向準(zhǔn)備高級(jí)Java面試的同學(xué)也面向要在生產(chǎn)環(huán)境落地的架構(gòu)師。我會(huì)先講清楚權(quán)衡的底層邏輯再給出一套可以直接抄作業(yè)的動(dòng)態(tài)路由實(shí)現(xiàn)最后把實(shí)測(cè)中踩過(guò)的坑和面試追問(wèn)一并交代。1. 賬單數(shù)字背后的模型選擇焦慮——多模型協(xié)同為什么成了必然方案先說(shuō)一個(gè)很現(xiàn)實(shí)的現(xiàn)象早期做AI功能大家習(xí)慣“一個(gè)模型打天下”。選一個(gè)能力強(qiáng)的旗艦?zāi)Ｐ退姓?qǐng)求都往里面丟省心。但請(qǐng)求量一旦上來(lái)問(wèn)題就暴露了。我那個(gè)客服項(xiàng)目就是典型。最初只接了一個(gè)遠(yuǎn)端大模型單次調(diào)用質(zhì)量確實(shí)好回答專業(yè)、格式規(guī)范?？傻搅藰I(yè)務(wù)高峰期每天幾十萬(wàn)次請(qǐng)求賬單出來(lái)的時(shí)候整個(gè)團(tuán)隊(duì)都沉默了。更麻煩的是用戶問(wèn)“今天訂單到哪了”這種簡(jiǎn)單查詢和“幫我分析這份合同的風(fēng)險(xiǎn)點(diǎn)”這種復(fù)雜任務(wù)花的token成本天差地別但都走了同一條高價(jià)通道。成本結(jié)構(gòu)完全是粗放式的。除了錢還有另外兩個(gè)壓力。第一個(gè)是體驗(yàn)。旗艦?zāi)Ｐ途雀叩评硌舆t也高。用戶查個(gè)物流狀態(tài)等三秒鐘才出結(jié)果對(duì)話體驗(yàn)非常糟糕。而同一類問(wèn)題換一個(gè)輕量模型延遲能掉到原來(lái)的三分之一用戶感知反而是“變快了”。第二個(gè)是穩(wěn)定性。所有請(qǐng)求都綁在一家模型供應(yīng)商上等于把業(yè)務(wù)命脈交了出去。我經(jīng)歷過(guò)一次上游限流整個(gè)客服入口卡了將近半小時(shí)那種無(wú)力感至今記得。后來(lái)我們把流量分散到多家供應(yīng)商和不同規(guī)格的模型上才真正把風(fēng)險(xiǎn)攤薄。所以這個(gè)問(wèn)題的本質(zhì)不是“哪個(gè)模型最好”而是“什么場(chǎng)景下用哪個(gè)模型最合適”。成本效益權(quán)衡的核心是把請(qǐng)求按特征細(xì)分讓每一類請(qǐng)求走最適合它的模型通道。你可能想問(wèn)這套邏輯用別的框架能不能做當(dāng)然能。但LangChain4j在Java生態(tài)里有一個(gè)獨(dú)特的優(yōu)勢(shì)它對(duì)模型做了非常干凈的抽象切換模型不需要改業(yè)務(wù)代碼這為后面做路由、做灰度、做降級(jí)提供了天然土壤。這也是我為什么在Java項(xiàng)目里最終選了它。2. LangChain4j把“模型”抽象成了什么——先搞清楚切換的最小單元在做成本效益權(quán)衡之前必須先理解一件事在LangChain4j里你切換模型時(shí)到底在切什么很多人以為切模型就是換一個(gè)API調(diào)用地址改個(gè)URL就完事。但LangChain4j不這么干它把所有大模型統(tǒng)一封裝成了幾個(gè)核心接口其中最核心的就是ChatLanguageModel。這個(gè)接口屏蔽了不同廠商的API差異定義了一套統(tǒng)一的能力生成對(duì)話、流式輸出、獲取token用量、結(jié)構(gòu)化輸出等。你在業(yè)務(wù)代碼里依賴的是這個(gè)接口而不是某個(gè)廠商的SDK。2.1 從JDBC理解LangChain4j的模型接入設(shè)計(jì)這一點(diǎn)跟JDBC非常像。你用JDBC寫SQL的時(shí)候不需要關(guān)心底層是MySQL還是PostgreSQL只需要面向Connection、PreparedStatement這些標(biāo)準(zhǔn)接口編程換數(shù)據(jù)庫(kù)就是換驅(qū)動(dòng)和URL。LangChain4j也是同樣思路。業(yè)務(wù)代碼面向ChatLanguageModel編程底層接的是哪家模型由配置和工廠決定。我在項(xiàng)目里同時(shí)接入了三家供應(yīng)商的模型但AiServices層完全沒(méi)動(dòng)過(guò)。想換一個(gè)底層模型改配置、加依賴、啟動(dòng)完事。這個(gè)抽象帶來(lái)的直接好處是模型變成了可替換資源而不是固化在業(yè)務(wù)代碼里的依賴。沒(méi)有這層抽象后面所有路由、灰度、降級(jí)都無(wú)從談起。2.2 除了對(duì)話模型還有哪些抽象層值得關(guān)注ChatLanguageModel只是最常用的一層。實(shí)際權(quán)衡模型成本時(shí)往往還要用到另外幾個(gè)接口EmbeddingModel負(fù)責(zé)文本向量化做語(yǔ)義檢索和緩存時(shí)用。不同模型的向量維度不同切換時(shí)要注意向量庫(kù)里的索引一致性。ModerationModel負(fù)責(zé)內(nèi)容審核可以單獨(dú)走低成本通道不必占用對(duì)話模型的預(yù)算。ImageModel文生圖場(chǎng)景用這個(gè)模型的成本核算邏輯跟純文本差異更大。我在路由設(shè)計(jì)時(shí)并不會(huì)單獨(dú)為每個(gè)接口做一套策略而是把“通道”概念統(tǒng)一起來(lái)。每個(gè)通道包含一個(gè)對(duì)話模型、一個(gè)向量模型、可選的審核模型以及對(duì)應(yīng)的成本分、延遲畫像、能力標(biāo)簽。這樣路由的時(shí)候只需要選通道不用逐個(gè)模型去判。2.3 可替換性是一切權(quán)衡的前提說(shuō)了這么多只想表達(dá)一個(gè)觀點(diǎn)在LangChain4j里做成本效益權(quán)衡本質(zhì)是在“模型通道”之間做選擇而這個(gè)選擇被框架抽象成了非常輕量的操作。正因?yàn)檩p量我們才能毫無(wú)心理負(fù)擔(dān)地做精細(xì)化路由——今天這個(gè)模型便宜且質(zhì)量達(dá)標(biāo)那就多分流量過(guò)去明天它漲價(jià)了立刻切回來(lái)。如果沒(méi)有這層抽象每次切換都動(dòng)代碼、發(fā)版本那套權(quán)衡策略根本轉(zhuǎn)不起來(lái)。所以在面試?yán)锓彩菭砍兜絃angChain4j模型管理的問(wèn)題我都會(huì)先點(diǎn)出這層抽象。它不僅是框架特性更是你做一切取舍的基礎(chǔ)設(shè)施。3. 三類主流權(quán)衡策略與適用邊界——從“省錢”到“系統(tǒng)韌性”抽象層解決了“怎么切”的問(wèn)題接下來(lái)就是“什么時(shí)候切、按什么規(guī)則切”。我梳理了三種在真實(shí)項(xiàng)目里驗(yàn)證過(guò)的策略它們解決的問(wèn)題不同適用場(chǎng)景也不同。實(shí)際架構(gòu)里通常不是二選一而是組合使用。3.1 按任務(wù)復(fù)雜度路由簡(jiǎn)單任務(wù)走小模型復(fù)雜任務(wù)走大模型這是最直觀、見(jiàn)效最快的一種策略。核心思想是同一個(gè)業(yè)務(wù)入口根據(jù)請(qǐng)求的復(fù)雜程度分發(fā)到不同規(guī)格的模型。我在客服項(xiàng)目里是這么做的查物流、查訂單狀態(tài)、退換貨進(jìn)度這類簡(jiǎn)單查詢意圖明確、上下文短用輕量模型就夠了。投訴安撫、復(fù)雜售后方案推薦需要多輪上下文理解和情感識(shí)別走中檔模型。合同分析、風(fēng)險(xiǎn)識(shí)別、多文檔比對(duì)這種高復(fù)雜度推理任務(wù)才動(dòng)用旗艦?zāi)Ｐ?。難的地方在于怎么在調(diào)用模型之前就判斷出任務(wù)復(fù)雜度總不能每次都先拿大模型分類一遍那成本反而更高。我們當(dāng)時(shí)的解法是前置一個(gè)非常小的分類模型只做意圖識(shí)別輸出一個(gè)標(biāo)簽。這個(gè)小模型單次成本大約是旗艦?zāi)Ｐ偷膸资种粶?zhǔn)確率在九成以上。對(duì)于置信度低的請(qǐng)求再按保守策略路由到高規(guī)格模型。還可以靠規(guī)則兜底用戶消息里包含“合同”“起訴”“賠償”這類強(qiáng)信號(hào)詞直接走高端通道包含“查”“改”“退”這類高頻操作詞走輕量通道。規(guī)則和模型分類結(jié)合能覆蓋絕大部分場(chǎng)景。3.2 按可用性與容災(zāi)路由主備切換和降級(jí)比“省錢”更重要第二種策略用一句話概括別讓單一模型成了單點(diǎn)故障。我經(jīng)歷過(guò)一次上游限流當(dāng)時(shí)核心鏈路大量請(qǐng)求超時(shí)。事后復(fù)盤發(fā)現(xiàn)如果提前配了主備模型通道完全可以把部分流量切到另一家供應(yīng)商損失能控制在很小的范圍內(nèi)。LangChain4j里做這個(gè)事兒非常順手。你可以注冊(cè)多個(gè)ChatLanguageModel實(shí)例然后封裝一個(gè)路由層監(jiān)聽(tīng)上游錯(cuò)誤率和響應(yīng)超時(shí)率。當(dāng)主通道的錯(cuò)誤率超過(guò)閾值路由層自動(dòng)把新請(qǐng)求切到備用通道。注意這里不是簡(jiǎn)單重試——重試是同一個(gè)通道再打一次如果上游已經(jīng)故障重試只會(huì)加重問(wèn)題。正確的做法是熔斷降級(jí)直接短路到備選資源。我們實(shí)現(xiàn)時(shí)參考了Resilience4j的思路但沒(méi)用它的注解而是自己在路由層寫了一個(gè)輕量的滑動(dòng)窗口計(jì)數(shù)器統(tǒng)計(jì)最近三十秒內(nèi)失敗請(qǐng)求的占比超過(guò)閾值就打開(kāi)熔斷開(kāi)關(guān)。這個(gè)開(kāi)關(guān)的狀態(tài)還會(huì)通過(guò)監(jiān)控系統(tǒng)暴露出來(lái)方便值班同學(xué)實(shí)時(shí)看到。3.3 本地模型與云端模型混合隱私數(shù)據(jù)和高頻場(chǎng)景的折中方案第三種策略在數(shù)據(jù)敏感型業(yè)務(wù)里幾乎必用本地部署一套開(kāi)源小模型和云端旗艦?zāi)Ｐ突旌鲜褂?。本地模型的好處有兩個(gè)一是數(shù)據(jù)不出內(nèi)網(wǎng)隱私合規(guī)壓力小二是請(qǐng)求延遲低沒(méi)有網(wǎng)絡(luò)跳轉(zhuǎn)而且按需擴(kuò)容邊際成本非常低。壞處也明顯——能力上限不如旗艦?zāi)Ｐ蛷?fù)雜推理容易“胡說(shuō)”。所以我們?cè)诼酚稍O(shè)計(jì)上給了本地模型一個(gè)明確的邊界只處理兩類請(qǐng)求。一類是脫敏后的高頻簡(jiǎn)單查詢另一類是全文檢索、關(guān)鍵詞抽取等NLP基礎(chǔ)任務(wù)。涉及真實(shí)業(yè)務(wù)決策、生成正式文書的請(qǐng)求一律走云端。這里有個(gè)實(shí)操細(xì)節(jié)LangChain4j接本地模型通常走的是兼容OpenAI協(xié)議的網(wǎng)關(guān)比如常見(jiàn)的本地推理服務(wù)。配置時(shí)只要把baseUrl指向本地服務(wù)地址再選一個(gè)對(duì)應(yīng)的模型標(biāo)識(shí)就行代碼層面跟接云端模型沒(méi)有任何區(qū)別。這再次體現(xiàn)了框架抽象的價(jià)值。4. 成本效益不只是“單價(jià)”——一份可以帶進(jìn)架構(gòu)評(píng)審的量化清單面試?yán)锾岬健俺杀拘б鏅?quán)衡”很多人只會(huì)盯著token單價(jià)。但做過(guò)架構(gòu)評(píng)審的人都知道如果拿一張只寫了單價(jià)的對(duì)比表去匯報(bào)評(píng)審會(huì)上必然被追問(wèn)到啞口無(wú)言。你需要一套更完整的量化維度。4.1 四個(gè)核心維度和它們的坑我習(xí)慣把模型評(píng)估分為四個(gè)維度成本、質(zhì)量、性能、穩(wěn)定性。維度關(guān)鍵指標(biāo)常見(jiàn)誤區(qū)成本輸入/輸出單價(jià)、緩存命中率、上下文token損耗只看單價(jià)忽略單次任務(wù)實(shí)際耗時(shí)質(zhì)量答案準(zhǔn)確率、格式遵循率、拒答率、幻覺(jué)率憑感覺(jué)打分沒(méi)有回歸基線性能首token延遲、生成速度、并發(fā)上限只測(cè)一次忽略分位數(shù)分布穩(wěn)定性可用性、限流閾值、錯(cuò)誤碼分布只看官網(wǎng)承諾不看實(shí)測(cè)長(zhǎng)尾逐個(gè)說(shuō)一下。成本維度最容易踩的坑是“單價(jià)幻覺(jué)”。A模型單價(jià)只有B的一半但A輸出特別啰嗦同樣的任務(wù)要多走一倍token總成本反而更高。所以我衡量成本從來(lái)不用“單token價(jià)格”而是用“單次任務(wù)全鏈路成本”取一批固定的測(cè)試請(qǐng)求統(tǒng)計(jì)每個(gè)模型處理完這批請(qǐng)求消耗的總token和總金額再除以請(qǐng)求數(shù)得到單請(qǐng)求平均成本。這個(gè)數(shù)字才有橫向比較意義。質(zhì)量維度最忌諱的就是幾個(gè)人拿幾個(gè)case人工打分。正確做法是建一個(gè)回歸集把線上真實(shí)且有標(biāo)準(zhǔn)答案的請(qǐng)求沉淀下來(lái)每次評(píng)估新模型都跑一遍。質(zhì)量指標(biāo)至少要看四項(xiàng)準(zhǔn)確率、格式遵循率尤其是有結(jié)構(gòu)化輸出要求時(shí)、拒答率、幻覺(jué)率。特別是幻覺(jué)率這是在成本評(píng)估中最容易被忽略的隱性成本——模型回答看著對(duì)其實(shí)是編的流到線上就是事故。性能維度要注意分位數(shù)。平均延遲500毫秒看起來(lái)不錯(cuò)但P99可能到三秒。對(duì)話場(chǎng)景里P95和P99比平均值更能決定用戶體驗(yàn)。另外一個(gè)很多人忽略的參數(shù)是并發(fā)上限有些模型在低并發(fā)下延遲漂亮并發(fā)一到某個(gè)閾值就開(kāi)始排隊(duì)這個(gè)數(shù)字必須在壓測(cè)環(huán)境里打出來(lái)。穩(wěn)定性維度就要靠長(zhǎng)期觀測(cè)了。不能拿三天的數(shù)據(jù)就下結(jié)論至少跑一到兩周看錯(cuò)誤率的分布、限流的觸發(fā)頻次、不同時(shí)段的延遲波動(dòng)。供應(yīng)商官網(wǎng)承諾的可用性跟你實(shí)際拿到的配額是兩回事這點(diǎn)只能靠自己的監(jiān)控?cái)?shù)據(jù)說(shuō)話。4.2 給模型打“畫像分”把權(quán)衡變成數(shù)學(xué)題維度定了之后我給接入的每個(gè)模型通道建了一張畫像卡本質(zhì)上是一個(gè)加權(quán)評(píng)分。每個(gè)維度設(shè)置1到100分再按業(yè)務(wù)側(cè)重配權(quán)重。對(duì)客服場(chǎng)景我給的權(quán)重是成本40%、質(zhì)量30%、性能20%、穩(wěn)定性10%。對(duì)內(nèi)容創(chuàng)作場(chǎng)景質(zhì)量權(quán)重會(huì)提到50%成本降到20%。權(quán)重本身來(lái)自業(yè)務(wù)方這很重要——成本效益沒(méi)有絕對(duì)標(biāo)準(zhǔn)只有跟業(yè)務(wù)目標(biāo)綁定了才能變成可比較的數(shù)字。有了畫像卡模型選擇就從“我覺(jué)得A不錯(cuò)”變成了“A的綜合分高于B且質(zhì)量分達(dá)標(biāo)”架構(gòu)評(píng)審會(huì)好開(kāi)得多。5. 實(shí)現(xiàn)一套基于LangChain4j的動(dòng)態(tài)路由——代碼級(jí)拆解量化分析給出的是“應(yīng)該往哪切”動(dòng)態(tài)路由解決的是“怎么自動(dòng)切”。這一節(jié)我把核心實(shí)現(xiàn)拆開(kāi)講。5.1 先定配置模型讓每個(gè)模型通道自帶檔案我的做法是所有模型通道都在配置文件里聲明不寫死在代碼里。這是整個(gè)設(shè)計(jì)的關(guān)鍵——后續(xù)調(diào)整成本權(quán)重、切換模型只改配置不發(fā)布代碼。llm: routes: - name: flagship provider: vendor-1 model-name: flagship-reasoning-x api-key: ${X_API_KEY} temperature: 0.2 max-tokens: 8192 tier: complex cost-score: 100 quality-score: 95 - name: economical provider: vendor-1 model-name: fast-response-m api-key: ${X_API_KEY} temperature: 0.3 max-tokens: 4096 tier: simple cost-score: 25 quality-score: 82 - name: local provider: local-gateway base-url: http://localhost:11434 model-name: local-q14b temperature: 0.1 max-tokens: 2048 tier: private cost-score: 2 quality-score: 70注意這里我沒(méi)有綁定具體廠商名統(tǒng)一用vendor-1占位。實(shí)際上團(tuán)隊(duì)內(nèi)部用的是完全虛構(gòu)的供應(yīng)商代號(hào)避免對(duì)任何具體產(chǎn)品產(chǎn)生依賴。5.2 構(gòu)建模型注冊(cè)表用一個(gè)工廠管好所有通道有了配置下一步是把配置變成可用的ChatLanguageModel實(shí)例。我封裝了一個(gè)ModelRegistry啟動(dòng)時(shí)讀取配置、構(gòu)建實(shí)例并對(duì)外提供查詢能力。Component public class ModelRegistry { private final ListModelChannel channels; public ModelRegistry(LlmProperties properties) { this.channels properties.getRoutes().stream() .map(RouteConfig::toChannel) .toList(); } public ModelChannel match(String intent, String userMessage) { return channelForComplexity(intent, userMessage); } private ModelChannel channelForComplexity(String intent, String message) { if (containsSensitiveTerms(message)) { return find(LocalTier.PRIVATE); } if (COMPLEX.equals(intent)) { return find(LocalTier.COMPLEX); } return find(LocalTier.SIMPLE); } private ModelChannel find(String tier) { return channels.stream() .filter(c - c.tier().equals(tier)) .findFirst() .orElseGet(() - channels.get(0)); } }ModelChannel里持有真正的ChatLanguageModel實(shí)例以及該通道的tier、costScore、qualityScore等畫像字段。業(yè)務(wù)層永遠(yuǎn)只跟ModelChannel打交道不直接感知ChatLanguageModel的廠商差異。5.3 封裝AI Service業(yè)務(wù)代碼無(wú)感切換模型LangChain4j里比直接操作ChatLanguageModel更高級(jí)的用法是AiServices。你可以先定義一個(gè)業(yè)務(wù)接口然后讓框架自動(dòng)把用戶消息、工具調(diào)用、結(jié)構(gòu)化輸出都串起來(lái)。public interface CustomerSupportAssistant { SystemMessage(你是一名資深客服回答簡(jiǎn)潔、準(zhǔn)確不要編造信息。) UserMessage(用戶問(wèn)題{{userMessage}}) ChatAnswer answer(V(userMessage) String userMessage); UserMessage(判斷用戶意圖只返回以下類別之一SIMPLE、COMPLEX、SENSITIVE) IntentResult classify(String userMessage); }public class AssistantFactory { private final ModelRegistry registry; public CustomerSupportAssistant buildFor(String intent) { ModelChannel channel registry.match(intent); ChatLanguageModel model channel.model(); return AiServices.builder(CustomerSupportAssistant.class) .withChatLanguageModel(model) .build(); } }路由邏輯收口在AssistantFactory里。每次請(qǐng)求進(jìn)來(lái)工廠先做一次意圖判斷再根據(jù)意圖選擇通道最后返回一個(gè)綁定好模型的服務(wù)實(shí)現(xiàn)。業(yè)務(wù)代碼拿到的始終是CustomerSupportAssistant這個(gè)接口它壓根不知道今天是哪個(gè)模型在背后響應(yīng)。5.4 熔斷與降級(jí)給路由加上自我保護(hù)如果費(fèi)力實(shí)現(xiàn)了路由結(jié)果某個(gè)通道故障時(shí)所有請(qǐng)求還是硬著頭皮往里打那就白做了。我給ModelRegistry加了一個(gè)輕量熔斷機(jī)制。Component public class RouteGuard { private final MapString, AtomicInteger failureWindow new ConcurrentHashMap(); private final MapString, Boolean circuitState new ConcurrentHashMap(); public boolean isAvailable(String channelName) { return !Boolean.TRUE.equals(circuitState.get(channelName)); } public void onFailure(String channelName) { int count failureWindow.computeIfAbsent(channelName, k - new AtomicInteger()).incrementAndGet(); if (count 5) { circuitState.put(channelName, true); } } public void onSuccess(String channelName) { failureWindow.computeIfAbsent(channelName, k - new AtomicInteger()).set(0); } }這里展示的是簡(jiǎn)化版邏輯。生產(chǎn)環(huán)境我會(huì)用帶時(shí)間窗口的滑動(dòng)窗口算法而不是單純計(jì)數(shù)器否則一個(gè)瞬時(shí)抖動(dòng)可能導(dǎo)致長(zhǎng)時(shí)間熔斷。原理并不復(fù)雜失敗次數(shù)在短時(shí)間內(nèi)達(dá)到閾值就打開(kāi)開(kāi)關(guān)新請(qǐng)求自動(dòng)跳過(guò)該通道走到下一個(gè)可用通道。5.5 可觀測(cè)性路由決策必須能看到最后是LangChain4j的監(jiān)聽(tīng)器機(jī)制。框架允許你在模型調(diào)用前后掛自定義監(jiān)聽(tīng)邏輯。我在每次調(diào)用結(jié)束后取到token用量、延遲、模型通道名、路由標(biāo)簽統(tǒng)一打到日志系統(tǒng)方便后續(xù)做成本歸因。public class CostLoggingListener implements ChatModelListener { Override public void onResponse(Response? extends ChatModelResponse? response) { TokenUsage usage response.tokenUsage(); String model response.modelName(); long costMicros response.duration().toMillis(); log.info(model{}, promptTokens{}, completionTokens{}, costMicros{}, model, usage.inputTokenCount(), usage.outputTokenCount(), costMicros); } }這一步看起來(lái)不起眼但沒(méi)有它前面所有路由策略都是盲人摸象。我后來(lái)做月度成本復(fù)盤很大一部分?jǐn)?shù)據(jù)就來(lái)自這套日志——哪個(gè)業(yè)務(wù)線用了多少token、走了哪些通道、換算成金額是多少一目了然。6. 實(shí)測(cè)中那些文檔不會(huì)寫的坑——體驗(yàn)一致性比路由本身更難路由框架搭完你以為就結(jié)束了真正的麻煩才剛剛開(kāi)始。不同廠商模型在細(xì)節(jié)行為上的差異只有在切換的時(shí)候才會(huì)暴露出來(lái)而這些差異幾乎不會(huì)寫進(jìn)官方文檔。6.1 temperature默認(rèn)值引發(fā)的“風(fēng)格突變”這是我遇到的第一個(gè)坑。兩個(gè)模型處理同一批客服消息A模型的回答簡(jiǎn)潔直接B模型的回答語(yǔ)氣軟綿綿、廢話偏多。一開(kāi)始以為是提示詞問(wèn)題后來(lái)排查發(fā)現(xiàn)兩家供應(yīng)商對(duì)temperature參數(shù)的默認(rèn)處理不一樣。A默認(rèn)0.2B默認(rèn)0.7同樣的參數(shù)語(yǔ)義表現(xiàn)天差地別。這個(gè)坑的隱蔽之處在于如果你用LangChain4j默認(rèn)構(gòu)造器它可能不會(huì)強(qiáng)求你顯式設(shè)置temperature于是你就在不知情的情況下接了兩個(gè)完全不同的性格進(jìn)來(lái)。我們的修正方案是在模型配置里強(qiáng)制顯式標(biāo)注temperature和topP不允許留空通過(guò)配置檢查在啟動(dòng)階段直接攔截遺漏。6.2 JSON Schema支持度不一致結(jié)構(gòu)化輸出直接翻車我用AiServices做結(jié)構(gòu)化輸出時(shí)框架底層依賴模型廠商對(duì)JSON Schema的支持。理論上各家都宣稱支持實(shí)際用起來(lái)參差。有的模型對(duì)嵌套結(jié)構(gòu)總是漏字段有的模型對(duì)格式約束視而不見(jiàn)直接輸出帶Markdown的文本。這個(gè)情況在LangChain4j里表現(xiàn)為定義返回POJO但模型返回的內(nèi)容反序列化失敗。我們后來(lái)做了兩件事一是給每個(gè)模型通道單獨(dú)做結(jié)構(gòu)化輸出壓測(cè)記錄格式遵循率質(zhì)量要求高的請(qǐng)求只走格式遵循率高的通道二是在反序列化失敗時(shí)做一次帶錯(cuò)誤信息的重新生成但設(shè)置重試上限防止不良案例無(wú)限燒錢。6.3 超時(shí)行為差異讓網(wǎng)關(guān)層備受折磨不同模型的處理速度差異巨大反映在超時(shí)策略上就得區(qū)別對(duì)待。本地模型通常首token快但生成尾巴長(zhǎng)旗艦?zāi)Ｐ驼w延遲高生成輸出卻穩(wěn)定某些輕量模型在高并發(fā)時(shí)段會(huì)突然超時(shí)。一開(kāi)始我們用一個(gè)全局超時(shí)值結(jié)果要么小模型沒(méi)跑完就被切斷要么大模型等不到響應(yīng)拖垮線程池。后來(lái)把超時(shí)也做成了通道配置項(xiàng)按模型畫像單獨(dú)設(shè)置。同時(shí)網(wǎng)關(guān)層必須使用獨(dú)立的線程池不能所有模型共用一套否則一個(gè)模型的超時(shí)堆積會(huì)阻塞整個(gè)應(yīng)用。6.4 上下文窗口差異同一個(gè)提示詞被悄悄截?cái)噙@個(gè)坑更陰險(xiǎn)。旗艦?zāi)Ｐ蜕舷挛拇翱诖竽惆演^長(zhǎng)的歷史對(duì)話、檢索片段一起塞進(jìn)去沒(méi)問(wèn)題。換到輕量模型同一個(gè)提示詞可能已經(jīng)超長(zhǎng)框架或者模型會(huì)靜默截?cái)唷＝財(cái)嗟暮蠊悄Ｐ腿笔Я岁P(guān)鍵信息回答質(zhì)量悄然下降。我們當(dāng)時(shí)的對(duì)策是在路由階段計(jì)算消息token數(shù)。超過(guò)目標(biāo)模型上下文的一定比例比如70%時(shí)要么走更大上下文窗口的通道要么對(duì)歷史消息做壓縮。這個(gè)判斷必須放在路由里而不是等請(qǐng)求發(fā)過(guò)去才發(fā)現(xiàn)。6.5 限流錯(cuò)誤碼不統(tǒng)一異常映射必須統(tǒng)一處理各家供應(yīng)商對(duì)限流、鑒權(quán)失敗、模型過(guò)載返回的錯(cuò)誤碼五花八門有的返回429有的返回400有的直接斷開(kāi)連接。如果不在路由層做統(tǒng)一異常映射上層業(yè)務(wù)要面對(duì)一堆來(lái)源不明、語(yǔ)義不清的異常。我封裝了一個(gè)LlmExceptionTranslator把所有上游異常翻譯成幾個(gè)內(nèi)部業(yè)務(wù)異常RateLimitedException、ContextOverflowException、ModelDownException再統(tǒng)一映射成可降級(jí)的處理分支。這個(gè)翻譯器同時(shí)負(fù)責(zé)觸發(fā)熔斷邏輯把故障信息喂給前面的RouteGuard。6.6 評(píng)估不能只看單條case要建回歸基線最后一個(gè)坑也是最容易被忽略的模型能力差異不能用幾個(gè)測(cè)試樣例拍板必須有回歸基線。我后來(lái)建了一個(gè)固定測(cè)試集每次接入新模型或調(diào)整提示詞就跑一遍對(duì)比重點(diǎn)看準(zhǔn)確率、格式遵循率、拒答率、幻覺(jué)率的變化。這個(gè)基線集每?jī)芍芨乱淮螐木€上實(shí)際請(qǐng)求里抽樣沉淀。它不僅是模型評(píng)估的依據(jù)也是后續(xù)跟業(yè)務(wù)方討論“能不能換模型”的數(shù)據(jù)底牌。沒(méi)有基線切換模型就是靠賭。7. 如果是面試我會(huì)怎么回答這道題——框架之外的“權(quán)衡觀”這道題如果出現(xiàn)在面試?yán)镂业呐袛嗍敲嬖嚬傧肟疾斓牟皇茿PI細(xì)節(jié)而是你有沒(méi)有完整的架構(gòu)思維。所以回答的層次比結(jié)論本身更重要。7.1 先講權(quán)衡維度再給策略矩陣我一般這么展開(kāi)先說(shuō)明成本效益權(quán)衡不是一個(gè)單點(diǎn)比較至少要落到成本、質(zhì)量、性能、穩(wěn)定性四個(gè)維度再說(shuō)清楚單一的“按價(jià)格路由”是不完整的實(shí)際生產(chǎn)里更多采用三層策略組合——按任務(wù)復(fù)雜度分流、按可用性做降級(jí)容災(zāi)、按數(shù)據(jù)敏感性做本地與云端混合最后補(bǔ)一句核心前提這些策略能落地是因?yàn)槟Ｐ蛯颖怀橄蟪闪丝商鎿Q的統(tǒng)一接口業(yè)務(wù)代碼不需要感知模型切換。這個(gè)回答結(jié)構(gòu)的好處是它同時(shí)展示了你的架構(gòu)視野、工程落地能力和框架理解深度。7.2 高頻追問(wèn)一怎么證明切換模型后業(yè)務(wù)不劣化這個(gè)問(wèn)題很尖銳直接考驗(yàn)?zāi)阌袥](méi)有閉環(huán)機(jī)制。我的回答落在回歸基線上每個(gè)模型通道都配了質(zhì)量畫像分路由策略調(diào)整前用小流量灰度在基于線上真實(shí)請(qǐng)求的回歸集上對(duì)比新舊模型的質(zhì)量指標(biāo)包括準(zhǔn)確率、格式遵循率、幻覺(jué)率?；叶绕谂軡M至少48小時(shí)觀測(cè)P95延遲和錯(cuò)誤率達(dá)標(biāo)才逐步放量。7.3 高頻追問(wèn)二這個(gè)權(quán)衡體系如何自動(dòng)化我理解面試官真正想問(wèn)的是你不可能天天手動(dòng)調(diào)權(quán)重系統(tǒng)能不能自適應(yīng)我的回答是分層自動(dòng)化第一層是規(guī)則路由意圖識(shí)別加上下文長(zhǎng)度約束這是基礎(chǔ)第二層是動(dòng)態(tài)權(quán)重根據(jù)畫像分和成本分定期調(diào)整不同通道的流量比例用配置下發(fā)不發(fā)布代碼第三層是故障自動(dòng)降級(jí)熔斷與重試機(jī)制兜底。完全端到端的自動(dòng)化是不現(xiàn)實(shí)的因?yàn)闃I(yè)務(wù)效果需要人來(lái)判斷但工程鏈路可以做到強(qiáng)自動(dòng)化。7.4 給面試官留下印象的收尾最后我會(huì)補(bǔ)一句個(gè)人觀點(diǎn)模型成本效益沒(méi)有一勞永逸的答案每個(gè)月都要復(fù)盤賬單和畫像分的變化這是一個(gè)持續(xù)校準(zhǔn)的過(guò)程而不是上線后就結(jié)束的項(xiàng)目。這句話往往能引發(fā)面試官共鳴因?yàn)樗麄冏约阂彩沁@么過(guò)來(lái)的。回到開(kāi)頭的場(chǎng)景。那次被老板盯著問(wèn)賬單的事后來(lái)反而成了好事——它逼著我們搭出了這套多模型路由體系?，F(xiàn)在再面對(duì)“成本效益權(quán)衡”這個(gè)問(wèn)題我不會(huì)只談省了多少錢而是會(huì)講清楚如何用可量化的維度管理模型選擇如何讓系統(tǒng)在成本、體驗(yàn)、穩(wěn)定性之間保持動(dòng)態(tài)平衡。這套能力比省下那筆錢更有價(jià)值。最后分享一個(gè)實(shí)操小技巧所有路由決策日志務(wù)必帶上請(qǐng)求ID和通道名。剛開(kāi)始可能覺(jué)得多余等你要做月度成本歸因、復(fù)盤一次線上異常切換時(shí)就知道這個(gè)字段有多值錢了。