每天早上打開(kāi)信息流我先干的事就是掃一遍從昨晚到今早的AI圈動(dòng)態(tài)篩出值得跟進(jìn)的內(nèi)容再整理成每天的AI日?qǐng)?bào)。今天是2026年10月5日正好趕上新一波發(fā)布潮消息量不小。這篇日?qǐng)?bào)我不想做成單純的“新聞復(fù)讀機(jī)”所以會(huì)把幾個(gè)真正值得關(guān)注的方向拆開(kāi)講輕量推理模型、端側(cè)多模態(tài)、開(kāi)源工具鏈、Agent落地和成本評(píng)估。如果你是要做AI應(yīng)用交付、正在為模型選型和架構(gòu)方案拿主意的人可以直接看結(jié)論如果只是路過(guò)也能從各節(jié)的判斷里快速找到能帶走的東西。1. 模型側(cè)的新動(dòng)作輕量推理和端側(cè)多模態(tài)是主線1.1 一臺(tái)燒不了多少顯存的推理模型把上下文拉到了新的量級(jí)今天上午一個(gè)長(zhǎng)期做開(kāi)源權(quán)重模型的團(tuán)隊(duì)發(fā)布了新一代輕量推理模型名字起得不算花哨但參數(shù)列表挺有看頭7B稠密參數(shù)上下文窗口從上一代的32K直接拉到256K重點(diǎn)強(qiáng)調(diào)的還是工具調(diào)用穩(wěn)定性。官方給出的對(duì)比數(shù)據(jù)里多步工具調(diào)用場(chǎng)景下的成功率和格式錯(cuò)誤率都比同量級(jí)產(chǎn)品要好上一截。為什么大家都朝這個(gè)方向卷了我做Agent相關(guān)項(xiàng)目這一年多最深的感覺(jué)是小模型最讓人頭疼的不是“不知道答案”而是“干到一半突然開(kāi)始自由發(fā)揮”。在整個(gè)工作流里模型能不能?chē)?yán)格按既定schema輸出比它能不能答對(duì)一道題更讓人操心。以前的輕量模型經(jīng)常在連續(xù)調(diào)用幾次工具之后某個(gè)步驟就自作主張變成自由文本下游解析直接崩掉。這次新模型在輸出格式上做了自一致性校驗(yàn)相當(dāng)于讓模型在每次返回工具調(diào)用前都檢查一遍字段是否完整。改動(dòng)聽(tīng)起來(lái)不大但在工程側(cè)減少的解析報(bào)錯(cuò)是真不少。另外這個(gè)團(tuán)隊(duì)把評(píng)測(cè)重心放在了“長(zhǎng)文檔引用”和“多輪工具恢復(fù)”兩個(gè)維度上這也是最近行業(yè)里的共同變化。單輪對(duì)話的分?jǐn)?shù)已經(jīng)沒(méi)有太多空間可以卷模型真正要比的是在多輪任務(wù)里怎么記住關(guān)鍵信息、怎么從錯(cuò)誤的調(diào)用中恢復(fù)出來(lái)。新模型公布的跑分里有一項(xiàng)很扎眼在人為干擾幾輪工具調(diào)用后模型能重新回到正確流程里的比例提升了15個(gè)百分點(diǎn)以上。這比單純漲幾個(gè)點(diǎn)的通用問(wèn)答分?jǐn)?shù)要有意義得多。有一點(diǎn)我需要提醒一句上下文開(kāi)到256K并不等于所有藏在256K里的信息都能被準(zhǔn)確感知。長(zhǎng)上下文模型的注意力分配會(huì)隨長(zhǎng)度增加而稀釋尤其是中后段內(nèi)容經(jīng)常出現(xiàn)“看到了但沒(méi)記住”的情況。所以如果你打算拿它做長(zhǎng)文檔問(wèn)答最好仍然走先檢索、后閱讀的結(jié)構(gòu)而不是把幾十萬(wàn)字無(wú)腦全塞進(jìn)提示詞里。從選型角度看這套模型的優(yōu)勢(shì)場(chǎng)景是客服輔助、Agent工具調(diào)度、需要厚背景資料的問(wèn)答系統(tǒng)。它不適合替代更大參數(shù)量的復(fù)雜推理模型用在數(shù)學(xué)證明、架構(gòu)設(shè)計(jì)這些高難度任務(wù)上還是會(huì)露怯。我的建議是等到量化包正式出來(lái)再在私有化環(huán)境里跑一輪評(píng)測(cè)重點(diǎn)看多輪會(huì)話的穩(wěn)定性而不是盯著單項(xiàng)跑分。1.2 一個(gè)開(kāi)源的多模態(tài)文檔模型把OCR和表格識(shí)別揉進(jìn)了同一個(gè)架構(gòu)另一條值得記錄的消息來(lái)自某個(gè)開(kāi)源社區(qū)。今天他們放出一個(gè)多模態(tài)文檔理解模型權(quán)重完全開(kāi)放參數(shù)規(guī)模約4B主打場(chǎng)景非常明確掃描件、合同、票據(jù)、表格。和不少通用視覺(jué)語(yǔ)言模型不同這個(gè)模型沒(méi)有把OCR當(dāng)成一個(gè)獨(dú)立前置模塊而是把版面分析和文字識(shí)別做進(jìn)了模型輸入端變成一種融合編碼方式。我用真實(shí)票據(jù)樣本簡(jiǎn)單跑了兩次效果確實(shí)超過(guò)預(yù)期。中文印刷體上準(zhǔn)確率和上一代8B專用模型差不多但在低分辨率手機(jī)拍攝件上的表現(xiàn)更穩(wěn)。表格結(jié)構(gòu)還原部分模型能輸出類似HTML表格結(jié)構(gòu)的結(jié)果解決了很多人最頭疼的“PDF里表格復(fù)制出來(lái)全亂掉”的問(wèn)題。因?yàn)閰?shù)小單個(gè)CPU節(jié)點(diǎn)上做推理也不是完全不可行這對(duì)金融、政務(wù)等私有化場(chǎng)景來(lái)說(shuō)是個(gè)很現(xiàn)實(shí)的備選項(xiàng)。不過(guò)也要提醒一下它的訓(xùn)練數(shù)據(jù)里有大量合成文檔一旦遇到真實(shí)世界的復(fù)雜票據(jù)版式比如蓋章壓住文字、表格線斷裂、票據(jù)褶皺干擾等效果會(huì)明顯下降。文檔智能是最吃場(chǎng)景數(shù)據(jù)的賽道指望一個(gè)通用開(kāi)源權(quán)重解決所有票據(jù)識(shí)別問(wèn)題并不可取。真用起來(lái)最好把它當(dāng)?shù)鬃倌脦浊堈鎸?shí)樣本做后訓(xùn)練和校準(zhǔn)。部署時(shí)給個(gè)可參考的做法抽200張真實(shí)票樣做評(píng)測(cè)集人工標(biāo)注字段與對(duì)應(yīng)坐標(biāo)定義好輸出schema之后再批量驗(yàn)證。如果想把模型跑在FP16大約需要8GB顯存其實(shí)很多邊緣盒子都能扛住但量化到INT8之后表格邊框較細(xì)的圖片容易出現(xiàn)漏線這個(gè)風(fēng)險(xiǎn)要在試點(diǎn)階段就摸清。今天的兩個(gè)模型動(dòng)作其實(shí)是同一個(gè)趨勢(shì)的兩面一邊是純文本模型的推理能力往“輕量推理長(zhǎng)上下文工具穩(wěn)定性”集中另一邊是多模態(tài)模型往“垂直文檔私有化部署”集中。兩者都不是為了在公開(kāi)榜單上刷出更炫的數(shù)字而是為了在生產(chǎn)環(huán)節(jié)里少出亂子。2. 開(kāi)源生態(tài)今天殺出來(lái)的幾個(gè)新倉(cāng)庫(kù)2.1 一個(gè)把“上下文壓縮”做成標(biāo)準(zhǔn)工具的庫(kù)今天開(kāi)源社區(qū)熱度比較高的一個(gè)項(xiàng)目是一個(gè)做上下文壓縮的庫(kù)。它的思路很簡(jiǎn)單在把材料塞進(jìn)模型之前先對(duì)文檔做一次信息密度篩選把重點(diǎn)內(nèi)容壓縮成結(jié)構(gòu)化骨架再交給模型。聽(tīng)上去有點(diǎn)像摘要但實(shí)際上不一樣摘要很容易把關(guān)鍵細(xì)節(jié)丟掉而這個(gè)庫(kù)會(huì)保留原句的引用位置去掉的是重復(fù)和冗余。我立刻拉下來(lái)跑了一個(gè)文檔問(wèn)答場(chǎng)景代碼大致長(zhǎng)這樣from ctx_compactor import CompactContext compactor CompactContext( max_tokens4096, keep_quotedTrue, strategysemantic_skeleton ) compressed_docs compactor.compress(raw_chunks, queryuser_query) answer llm.chat(questionuser_query, contextcompressed_docs)最關(guān)鍵的是它接收query參數(shù)也就是說(shuō)壓縮是“面向問(wèn)題”的同樣一本手冊(cè)用戶問(wèn)“怎么退款”和用戶問(wèn)“發(fā)貨時(shí)效”保留下來(lái)的碎片完全不同。這個(gè)設(shè)計(jì)很聰明比拿全局摘要當(dāng)上下文要實(shí)用得多。當(dāng)前版本需要用一個(gè)中等水平的embedding模型做語(yǔ)義聚類如果壓根沒(méi)有embedding接口也可以退化成基于關(guān)鍵詞的粗篩但效果會(huì)差一截。我用一組包含10份技術(shù)文檔、總文本量約12萬(wàn)token的測(cè)試集做了個(gè)簡(jiǎn)單對(duì)比結(jié)果大概是這樣方案輸入token量上下文相比原文答案關(guān)鍵點(diǎn)保留情況不處理全文直送約12萬(wàn)100%完全保留但成本高全局摘要壓縮約2.1萬(wàn)17%部分細(xì)節(jié)丟失面向問(wèn)題的壓縮約2.4萬(wàn)20%關(guān)鍵引用基本保留從這個(gè)結(jié)果看如果你的項(xiàng)目長(zhǎng)期受token成本折磨這個(gè)庫(kù)確實(shí)值得從今天的發(fā)布里單獨(dú)拎出來(lái)加個(gè)星。它不適合的任務(wù)也很明確對(duì)時(shí)效性有嚴(yán)格要求、需要逐字核對(duì)原文的條款審查類場(chǎng)景壓縮還是會(huì)讓人不放心。2.2 一個(gè)終端里跑的本地資料檢索工具想解決老問(wèn)題第二個(gè)項(xiàng)目是本地知識(shí)庫(kù)檢索增強(qiáng)工具沒(méi)有花哨的圖形界面而是跑在終端里支持常見(jiàn)向量庫(kù)后端也支持把PDF、Word、Markdown文檔統(tǒng)一索引。今天更新里加了一個(gè)比較實(shí)用的能力把檢索結(jié)果的原文片段直接渲染到終端方便人工確認(rèn)答案是不是真的來(lái)自資料。這類工具的意義在哪很多團(tuán)隊(duì)做知識(shí)庫(kù)問(wèn)答時(shí)把向量檢索當(dāng)黑盒拷進(jìn)去一批文檔模型答錯(cuò)了都不知道錯(cuò)在哪一步。有了能被人工核對(duì)的鏈路至少能在上線前快速發(fā)現(xiàn)“召回出來(lái)的東西對(duì)不對(duì)”。命令行工具雖然沒(méi)有漂亮界面做調(diào)試和審計(jì)反而更方便還能直接接進(jìn)日志系統(tǒng)。我的建議是不要把它當(dāng)成唯一入口可以用它先做離線索引和驗(yàn)證再通過(guò)API接到內(nèi)部系統(tǒng)避免知識(shí)平臺(tái)被反復(fù)推翻重建。另外它只負(fù)責(zé)“檢索”不負(fù)責(zé)“生成”這種邊界感反而讓人覺(jué)得放心不會(huì)因?yàn)橼s時(shí)髦硬塞一個(gè)對(duì)話層進(jìn)去最后搞出不靠譜的自動(dòng)回答。2.3 社區(qū)評(píng)價(jià)里最值得關(guān)注的三個(gè)信號(hào)除了上面兩個(gè)今天還冒出一批更新但熱度比較平均。從評(píng)論區(qū)能看到三個(gè)比較一致的信號(hào)。第一開(kāi)發(fā)者對(duì)“可解釋檢索路徑”的需求明顯升高單給一個(gè)答案已經(jīng)不夠要給出來(lái)源和鏈路。第二大家對(duì)新倉(cāng)庫(kù)的態(tài)度越來(lái)越嚴(yán)謹(jǐn)先問(wèn)數(shù)據(jù)集授權(quán)和開(kāi)源許可證再看功能。第三很多人開(kāi)始談?wù)摗肮ぞ呔S護(hù)風(fēng)險(xiǎn)”AI工具更新太快動(dòng)不動(dòng)就重構(gòu)用兩個(gè)月被棄坑的情況太常見(jiàn)。如果你要引入別人的開(kāi)源項(xiàng)目等一兩周看社區(qū)反饋是值得的真正能進(jìn)生產(chǎn)環(huán)境的工具至少要過(guò)“問(wèn)題定位清晰、接口穩(wěn)定、測(cè)試樣例可復(fù)現(xiàn)”這三道關(guān)。另外許可證問(wèn)題值得單獨(dú)說(shuō)一句。有些新倉(cāng)庫(kù)本身是寬松許可但它引入的某個(gè)模型權(quán)重可能來(lái)自商用限制的數(shù)據(jù)集部署前至少要過(guò)一遍依賴清單確認(rèn)每一層來(lái)源都清楚。否則后面商業(yè)化或者交付給客戶時(shí)容易踩到合規(guī)坑。3. 應(yīng)用落地的真實(shí)樣本Agent不是玩具了但坑也在3.1 售后客服場(chǎng)景里的一個(gè)Agent升級(jí)樣本今天和一個(gè)做客戶服務(wù)的團(tuán)隊(duì)聊了聊他們上個(gè)月把一個(gè)基于知識(shí)庫(kù)問(wèn)答的機(jī)器人升級(jí)成了帶工具調(diào)用的Agent。場(chǎng)景是售后客服知識(shí)庫(kù)里有一批產(chǎn)品手冊(cè)、退換貨政策和工單流程文檔。以前的機(jī)器人只能從向量庫(kù)撈文本答案用戶問(wèn)“我的訂單為什么還沒(méi)發(fā)貨”它就答不出來(lái)因?yàn)檫@個(gè)問(wèn)題必須實(shí)時(shí)查詢訂單系統(tǒng)。這輪升級(jí)把Agent接到了兩個(gè)真實(shí)工具上訂單狀態(tài)查詢API和退款進(jìn)度查詢API。整個(gè)流程變成先識(shí)別用戶真實(shí)意圖再?zèng)Q定是直接回答知識(shí)庫(kù)問(wèn)題還是調(diào)API取數(shù)最后把訂單信息加政策內(nèi)容一起組裝成回復(fù)。團(tuán)隊(duì)給的數(shù)據(jù)是轉(zhuǎn)人工率從接近50%降到了30%左右平均會(huì)話時(shí)長(zhǎng)也短了一些。但這里我想重點(diǎn)講一個(gè)很多人容易忽略的細(xì)節(jié)Agent能調(diào)API不代表應(yīng)該讓它完全自由地調(diào)API。他們這套系統(tǒng)里加了一個(gè)“操作護(hù)欄”查詢和退款審批是分開(kāi)的所有退款動(dòng)作仍然走人工確認(rèn)。Agent負(fù)責(zé)把信息問(wèn)清楚、把條件核驗(yàn)完最終執(zhí)行風(fēng)險(xiǎn)動(dòng)作的仍然是人。這個(gè)設(shè)計(jì)是這個(gè)案例里最有價(jià)值的部分。否則很容易變成“能查到越來(lái)越多信息也闖出越來(lái)越多禍”。踩坑方面最致命的其實(shí)是“API假成功”。當(dāng)前模型在調(diào)用API返回異常時(shí)偶爾還會(huì)編造一個(gè)合理但錯(cuò)誤的響應(yīng)比如把“退款審核中”改寫(xiě)為“退款成功”。工程上必須對(duì)API響應(yīng)本身做狀態(tài)碼校驗(yàn)和字段完整性校驗(yàn)校驗(yàn)不過(guò)就明確告訴用戶“暫時(shí)查不到已轉(zhuǎn)人工”而不是順著用戶的期望給出假答案。這些細(xì)節(jié)如果在架構(gòu)階段不寫(xiě)進(jìn)設(shè)計(jì)文檔后面上線了再補(bǔ)救會(huì)很痛苦。3.2 端側(cè)多模態(tài)在工業(yè)質(zhì)檢試點(diǎn)時(shí)卡脖子環(huán)節(jié)其實(shí)是量化另一個(gè)應(yīng)用畫(huà)面來(lái)自制造業(yè)質(zhì)檢試點(diǎn)。方案是在產(chǎn)線旁邊部署一個(gè)端側(cè)設(shè)備配上多模態(tài)模型自動(dòng)判斷元器件外觀是否有劃痕、臟污、異物。消息源是某工業(yè)方案商他們?cè)趦煞N硬件上做了對(duì)比一個(gè)用GPU單卡一個(gè)用帶NPU的低功耗盒子。結(jié)果不算意外大一點(diǎn)的GPU節(jié)點(diǎn)表現(xiàn)最好每張圖推理耗時(shí)120毫秒出頭誤檢率控制在1.5%左右低功耗盒子在原始模型下跑不動(dòng)必須量化。量化之后延遲到400毫秒左右誤檢率也升到3%但至少能滿足產(chǎn)線節(jié)拍。最麻煩的不是模型精度而是量化校準(zhǔn)數(shù)據(jù)集太重要。他們用產(chǎn)線真實(shí)壞樣本做校準(zhǔn)之后誤檢率才從4%回到3%如果不做校準(zhǔn)直接硬跑模型甚至?xí)敵鋈叶葓D那種奇怪結(jié)果。這里能給到的經(jīng)驗(yàn)是端側(cè)多模態(tài)的瓶頸往往不在論文分?jǐn)?shù)而在工程細(xì)節(jié)里。選硬件之前最好先拿真實(shí)樣本跑一輪量化校準(zhǔn)確認(rèn)精度損失可接受再簽采購(gòu)單。另外質(zhì)檢場(chǎng)景里“誤檢”和“漏檢”的代價(jià)完全不同漏檢是直接流向客戶誤檢只是多一次人工復(fù)核所以閾值設(shè)置上寧嚴(yán)勿松。4. 評(píng)估和成本今天聊得最多的是“劃算”二字4.1 一個(gè)新推出的長(zhǎng)鏈路Agent評(píng)估基準(zhǔn)治標(biāo)還是治本今天某個(gè)評(píng)測(cè)實(shí)驗(yàn)室發(fā)布了一個(gè)面向長(zhǎng)鏈路Agent的新基準(zhǔn)內(nèi)容涉及多步檢索、工具恢復(fù)、多輪糾錯(cuò)。跟以往“給一個(gè)問(wèn)題看能不能答對(duì)”的基準(zhǔn)不同它把任務(wù)設(shè)計(jì)成瀏覽器操作和API調(diào)用的混合流重點(diǎn)看模型在中間步驟出錯(cuò)后能不能自己繞回來(lái)。社區(qū)反應(yīng)很快。有人覺(jué)得這次終于測(cè)到點(diǎn)子上了也有人提出老擔(dān)心會(huì)不會(huì)被訓(xùn)練集污染現(xiàn)在不少模型廠商會(huì)專門(mén)對(duì)著公開(kāi)基準(zhǔn)調(diào)優(yōu)所以跑分只能當(dāng)參考不能當(dāng)結(jié)論。我的判斷是這類基準(zhǔn)最大的價(jià)值不是排一個(gè)名次而是提供了一套可以復(fù)用的任務(wù)模板。你完全可以模仿任務(wù)設(shè)計(jì)建立一批適合業(yè)務(wù)場(chǎng)景的長(zhǎng)鏈路評(píng)測(cè)集來(lái)做回歸測(cè)試比盯榜單實(shí)用得多。舉個(gè)實(shí)際例子客服Agent的評(píng)測(cè)不應(yīng)該只問(wèn)“用戶說(shuō)退款是否識(shí)別出意圖”而應(yīng)該設(shè)計(jì)成“先查詢訂單再讀政策然后給出退款金額”中間穿插一個(gè)“訂單不存在的異常分支”。只有把這類多步、可恢復(fù)的場(chǎng)景固化成測(cè)試集才能及時(shí)發(fā)現(xiàn)模型在真實(shí)入口處的退化。4.2 成本意識(shí)下的選型策略并不是越大的模型越好最近不少平臺(tái)集中調(diào)整了API價(jià)格長(zhǎng)上下文模型的價(jià)格降得尤其快但“降價(jià)”不等于“可以可勁造”。今天和幾個(gè)有預(yù)算壓力的小團(tuán)隊(duì)聊下來(lái)大家都認(rèn)同一個(gè)判斷如果能把提示詞緩存做好再配合上下文壓縮、路由小模型實(shí)際能省的錢(qián)相當(dāng)可觀。我用一個(gè)表來(lái)總結(jié)比較通用的選型思路任務(wù)類型推薦思路原因高頻短問(wèn)答小模型 緩存體系延遲低、成本穩(wěn)長(zhǎng)文檔閱讀類先壓縮再送大模型減少token浪費(fèi)關(guān)鍵代碼生成最強(qiáng)模型 測(cè)試用例校驗(yàn)返工成本遠(yuǎn)高于tokens成本多步工具調(diào)用輕量模型 嚴(yán)格schema穩(wěn)定輸出比“聰明”重要復(fù)雜推理任務(wù)保留大模型兜底該花的錢(qián)別省實(shí)際落地時(shí)緩存不是打開(kāi)開(kāi)關(guān)就有用的。同一個(gè)問(wèn)題用戶換一種問(wèn)法緩存就命中不了所以要對(duì)輸入做標(biāo)準(zhǔn)化改寫(xiě)。實(shí)用的做法是先走一個(gè)輕量的意圖分類把“怎么退貨”和“退貨流程是什么”歸并成同一個(gè)模板再由緩存層命中。這部分收益在小團(tuán)隊(duì)里試驗(yàn)下來(lái)能省大概三到四成成本值得認(rèn)真做。模型選型已經(jīng)越來(lái)越像“成本工程”而不是單項(xiàng)賽事。真正做得好的人會(huì)專門(mén)記錄每一類任務(wù)的token使用量、錯(cuò)誤率和返工率再把數(shù)據(jù)回填到?jīng)Q策里。如果今天只記一條結(jié)論我會(huì)選這句先把預(yù)算和評(píng)測(cè)數(shù)據(jù)建起來(lái)再談模型能力。5. 動(dòng)手筆記我用一個(gè)周末復(fù)現(xiàn)了一套輕量RAG流水線5.1 為什么選這個(gè)組合下重手今天的日?qǐng)?bào)聊了不少概念如果光看不練很容易飄。所以我特意抽了一個(gè)周末的時(shí)間把最近一個(gè)項(xiàng)目的知識(shí)庫(kù)問(wèn)答重新搭了一遍順便驗(yàn)證前面提到的“上下文壓縮重排序混合檢索”組合是不是真的對(duì)成本有用。選型是這樣embedding用中等維度模型向量庫(kù)用輕量單機(jī)版本重排序器用開(kāi)源的交叉編碼器壓縮層用今天看到的那個(gè)壓縮庫(kù)。沒(méi)有選重型分布式方案因?yàn)轫?xiàng)目文檔量也就幾十萬(wàn)篇單機(jī)完全夠用。很多人一上來(lái)就上重型方案反而是給自己找麻煩。5.2 流水線的核心代碼骨架搭建過(guò)程中我把關(guān)鍵部分簡(jiǎn)化成下面的代碼整體鏈路是文檔入庫(kù)、混合檢索、融合排序、壓縮上下文、生成回答。from doc_loader import load_pdf, split_chunks from vector_store import VectorStore from reranker import Reranker from ctx_compactor import CompactContext docs load_pdf(manual.pdf) chunks split_chunks(docs, chunk_size512, overlap128) store VectorStore(path/to/db) store.index(chunks, embed_modelembed-medium) retrieved store.hybrid_search(退款流程是什么, top_k30) reranked Reranker(model./reranker.bin).rerank(retrieved, query退款流程是什么, top_k8) compactor CompactContext(max_tokens2048, keep_quotedTrue) ctx compactor.compress(reranked, query退款流程是什么) answer llm.chat(messages[ {role: user, content: f{ctx}\n\n問(wèn)題退款流程是什么} ])重點(diǎn)在最后一步。如果不做重排序直接從向量庫(kù)里取top_k塊很容易混進(jìn)大量無(wú)關(guān)片段加了重排序之后前8個(gè)塊里有效內(nèi)容比例顯著提高。再配合壓縮層最終送進(jìn)模型的上下文比原來(lái)少了一半多。我在20道業(yè)務(wù)題上的復(fù)現(xiàn)結(jié)果是答案可用率與原來(lái)的“全量直送”基本持平token開(kāi)銷大約減少了40%。5.3 復(fù)盤(pán)時(shí)印象最深的三個(gè)坑第一個(gè)坑是分塊參數(shù)。網(wǎng)上不少教程建議分塊越大越好我實(shí)測(cè)并不是。512字符分塊加128重疊對(duì)這種技術(shù)文檔是比較穩(wěn)的組合如果是法律合同這類句式較長(zhǎng)的文本重疊要拉到192才合適。第二個(gè)坑更隱蔽切換embedding模型后向量維度可能不一致舊庫(kù)里的向量和新向量根本沒(méi)法比較。只要在切換前寫(xiě)一個(gè)遷移腳本就能安全繞過(guò)去。我看過(guò)不止一個(gè)人因?yàn)橥祽兄苯又亟ㄋ饕龑?dǎo)致線上服務(wù)中斷半天。第三個(gè)坑是壓縮閾值不能拍腦袋。壓縮庫(kù)的閾值會(huì)影響“壓縮率”和“信息保留”的平衡調(diào)得太狠回答會(huì)丟掉細(xì)節(jié)調(diào)得太松省不了多少成本。我的做法是先拿20道測(cè)試題跑一個(gè)閾值掃描找一個(gè)“答案可用性下降不超過(guò)5%時(shí)壓縮率最大”的點(diǎn)然后再推廣到完整數(shù)據(jù)集。把這些坑記下來(lái)是想提醒大家RAG看起來(lái)已經(jīng)是常態(tài)配置但真正決定效果上限的往往還是一堆不起眼的工程參數(shù)。這些參數(shù)沒(méi)有標(biāo)準(zhǔn)答案只有針對(duì)你的文檔風(fēng)格做一輪調(diào)參之后的答案。最后再分享一個(gè)寫(xiě)日?qǐng)?bào)過(guò)程中的小體會(huì)AI圈的信息更新早就超過(guò)了普通人能處理的上限每天跟熱點(diǎn)跟得再緊不如隔幾天就做一次“斷點(diǎn)復(fù)現(xiàn)”。選一兩個(gè)可信來(lái)源找一個(gè)中等體量的項(xiàng)目把流程親手跑通一遍往往比熬夜刷一百條新聞更接近真相。今天的日?qǐng)?bào)就先到這里我繼續(xù)去調(diào)那個(gè)重排序的閾值了。