上個(gè)月一號(hào)早上我習(xí)慣性打開控制臺(tái)看賬單好家伙客服機(jī)器人這個(gè)功能一個(gè)月燒掉的錢比它帶來的轉(zhuǎn)化還刺眼。我把調(diào)用日志抽樣拉出來看了一圈越看越不對(duì)勁——起碼七成的提問是你們幾點(diǎn)下班發(fā)票能開嗎幫我查下訂單到哪了這種一句話就能答完的事。而這些請(qǐng)求全被我送進(jìn)了自家最貴的旗艦?zāi)Ｐ汀Ｏ喈?dāng)于我請(qǐng)了一位博士后坐在前臺(tái)專門回答廁所在哪。于是我決定給項(xiàng)目加一層模型路由model routing模型路由就是在請(qǐng)求進(jìn)門時(shí)先分類簡(jiǎn)單問題分給便宜的小模型難的才請(qǐng)出大模型。狠一點(diǎn)的做法叫級(jí)聯(lián)調(diào)用cascading級(jí)聯(lián)調(diào)用先一律讓小模型上答不好再自動(dòng)升級(jí)找大模型救場(chǎng)。聽著都很美對(duì)吧我第一次跑的時(shí)候還挺得意覺得自己用 AI 管 AI架構(gòu)優(yōu)雅得很——我讓旗艦?zāi)Ｐ陀H自當(dāng)路由器每個(gè)請(qǐng)求先問它一句這題簡(jiǎn)單嗎再?zèng)Q定分給誰。結(jié)果跑了一周賬單比不加路由還高了 8%平均響應(yīng)時(shí)間也翻了一倍。原因特別樸素路由這一步本身也是一次大模型調(diào)用錢一分沒少花延遲還多出一截。同事看完我的架構(gòu)圖憋了半天來了句你這門衛(wèi)的工資比里面上班的還高。行這話說得難聽但在理。推翻重來第二版我把路由器從最貴的換成了最便宜的。規(guī)則先上高頻 FAQ 命中的直接走模板答案壓根不進(jìn)模型剩下的請(qǐng)求用 embedding向量嵌入把文本變成一串?dāng)?shù)字方便機(jī)器算相似度加一個(gè)輕量邏輯回歸分類器判斷類型成本約等于零判斷不準(zhǔn)的一律默認(rèn)給小模型。旗艦?zāi)Ｐ蛷娜珕T營(yíng)業(yè)變成了只接疑難雜癥。這一版上線路由本身的開銷降到可以忽略不計(jì)。然后我就撞上了第二個(gè)坑也是這個(gè)方案里真正難的部分——難度這個(gè)信號(hào)遠(yuǎn)沒有想象中好判斷。我一開始偷懶拿問題短簡(jiǎn)單當(dāng)規(guī)則用結(jié)果被現(xiàn)實(shí)教育了幫我寫周報(bào)四個(gè)字是生成類任務(wù)小模型寫出來就是一篇流水賬用戶直接投訴反過來一段三百字的技術(shù)報(bào)錯(cuò)貼進(jìn)來看著挺唬人其實(shí)是我們 FAQ 里躺了半年的已知問題。你看長(zhǎng)度根本不能代表難度任務(wù)類型是問答、生成還是推理和領(lǐng)域熟悉度才是關(guān)鍵變量。我后來把分類器改成了按任務(wù)類型領(lǐng)域打標(biāo)準(zhǔn)確率才肉眼可見地爬上來。寫到這兒插一句產(chǎn)品同學(xué)聽說賬單砍了六成第二天就興沖沖跑來想把省下的預(yù)算拿去做兩個(gè)新功能。我趕緊把報(bào)表收起來——省下的錢是拿來填下次事故的真不是拿來花的。光省錢還不行路由錯(cuò)了得有安全網(wǎng)兜底。我們現(xiàn)在的設(shè)計(jì)是小模型答完先過一道自查置信度confidence模型對(duì)自身答案的把握程度低就自動(dòng)升級(jí)到大模型重答用戶點(diǎn)了不滿意的案例會(huì)自動(dòng)回流進(jìn)標(biāo)注池每月喂回分類器重新訓(xùn)練一次。上線時(shí)是灰度放的先切 10% 流量觀察了一周兩類錯(cuò)誤率都穩(wěn)住了才全量?，F(xiàn)在的狀態(tài)是七成流量走小模型總成本降了六成多答對(duì)率只掉了不到兩個(gè)百分點(diǎn)而且大半還是被兜底撈回來的。說實(shí)話路由這事到現(xiàn)在也沒有標(biāo)準(zhǔn)答案。云廠商這兩年都推出了托管路由服務(wù)聽著省心實(shí)際是黑盒分流邏輯一變你連招呼都不會(huì)收到自己搭呢分類器要持續(xù)養(yǎng)數(shù)據(jù)業(yè)務(wù)一變方向整套策略就得重新校準(zhǔn)。另外也別神化這套玩法——小模型的能力上限擺在那復(fù)雜推理、多輪長(zhǎng)對(duì)話這類任務(wù)路由器再聰明也該直接放行給大模型硬省那點(diǎn)錢最后都是事故工單。如果你手上也有項(xiàng)目在拿同一個(gè)旗艦?zāi)Ｐ陀部溉苛髁坎环料热コ橐话贄l日志看看說不定你會(huì)跟我一樣發(fā)現(xiàn)博士后正坐在前臺(tái)。看完了記得回來聊聊你的場(chǎng)景里簡(jiǎn)單請(qǐng)求和硬核請(qǐng)求的比例是多少你是愿意自己養(yǎng)一個(gè)分類器還是干脆信云廠商的黑盒路由評(píng)論區(qū)見我是真的想知道大家這筆賬都是怎么算的。