當(dāng)你的業(yè)務(wù)里接入了多個(gè)大模型API前期最痛苦的不是哪個(gè)模型效果好而是請(qǐng)求到底該打到誰(shuí)那里。我在一個(gè)真實(shí)項(xiàng)目里踩過(guò)坑同一個(gè)用戶請(qǐng)求上午用A家模型跑得好好的下午因?yàn)榛顒?dòng)流量高峰A模型開(kāi)始頻繁超時(shí)代碼里的重試邏輯又自動(dòng)切到了B模型結(jié)果返回格式跟A家不一樣下游解析直接崩了。從那一刻起我就明白多模型接入不是Prometheus里多配幾個(gè)target那么簡(jiǎn)單它需要一層獨(dú)立的、能感知上下文的路由基礎(chǔ)設(shè)施。這次我要聊的OpenRIG就是這種思路下的典型實(shí)現(xiàn)形態(tài)——一個(gè)專門(mén)給大語(yǔ)言模型請(qǐng)求做智能路由、成本控制、故障轉(zhuǎn)移的開(kāi)放網(wǎng)關(guān)層。適合誰(shuí)看后端架構(gòu)師、AI應(yīng)用開(kāi)發(fā)者以及所有準(zhǔn)備把單模型調(diào)用升級(jí)成多模型編排的團(tuán)隊(duì)。它解決的不是哪個(gè)模型更強(qiáng)的問(wèn)題而是怎么用才穩(wěn)、才省的問(wèn)題。1. 為什么需要OpenRIG這樣的路由層1.1 從一把梭調(diào)大模型說(shuō)起很多團(tuán)隊(duì)剛開(kāi)始接大模型都是直連。業(yè)務(wù)代碼里調(diào)用OpenAI SDK、Claude SDK、國(guó)產(chǎn)大模型SDK每個(gè)SDK有自己的超時(shí)配置、錯(cuò)誤碼體系、token計(jì)費(fèi)邏輯。寫(xiě)著寫(xiě)著就發(fā)現(xiàn)這本質(zhì)上是在維護(hù)一個(gè)供應(yīng)商私有協(xié)議適配層的意大利面。我見(jiàn)過(guò)一個(gè)項(xiàng)目光處理各家API異常就寫(xiě)了三百行if-else而且這部分代碼跟業(yè)務(wù)邏輯完全無(wú)關(guān)卻要跟著業(yè)務(wù)節(jié)奏一起發(fā)布。一旦某家模型下線或者接口版本升級(jí)全團(tuán)隊(duì)都得停下來(lái)填坑。OpenRIG這類組件想做的事情是把模型接入這件事從業(yè)務(wù)代碼里徹底抽離。你在業(yè)務(wù)側(cè)只面對(duì)一個(gè)統(tǒng)一的OpenAI兼容接口背后請(qǐng)求去往哪家模型、用什么參數(shù)、失敗之后要不要換一家全由路由層決定。這樣業(yè)務(wù)代碼只關(guān)心我要完成什么語(yǔ)義任務(wù)不關(guān)心這個(gè)任務(wù)由哪家模型完成。1.2 路由層到底解決了哪些具體問(wèn)題我總結(jié)下來(lái)至少有四類問(wèn)題是直連模式下很難繞開(kāi)的。第一是故障隔離。單一路由目標(biāo)不可用時(shí)網(wǎng)關(guān)可以根據(jù)健康檢查自動(dòng)把流量切換到備用模型而不是等業(yè)務(wù)代碼里的重試邏輯去猜。第二是成本控制。不同模型的定價(jià)差異巨大有些任務(wù)根本不需要用頂級(jí)旗艦?zāi)Ｐ吐酚蓪幽馨押?jiǎn)單請(qǐng)求導(dǎo)到廉價(jià)小模型上。第三是灰度與回滾。要讓一個(gè)新模型上線接流量不能直接改業(yè)務(wù)代碼而是通過(guò)路由規(guī)則灰度一定比例效果不行秒回滾。第四是統(tǒng)一觀測(cè)。所有模型的請(qǐng)求延遲、token消耗、錯(cuò)誤率、成本都能在一個(gè)指標(biāo)面板里對(duì)齊而不是去各家控制臺(tái)點(diǎn)來(lái)點(diǎn)去。這四類問(wèn)題背后其實(shí)是同一個(gè)訴求把大模型當(dāng)成可運(yùn)維的、可治理的基礎(chǔ)設(shè)施資源而不是當(dāng)成SDK里的一個(gè)函數(shù)。OpenRIG這個(gè)名字本身就點(diǎn)題Open指開(kāi)放生態(tài)、可擴(kuò)展適配RIG指Routing Infrastructure Gateway路由基礎(chǔ)設(shè)施網(wǎng)關(guān)。1.3 它和API網(wǎng)關(guān)、Agent編排的區(qū)別初次接觸的人容易把它和通用API網(wǎng)關(guān)搞混。傳統(tǒng)API網(wǎng)關(guān)管的是HTTP層的鑒權(quán)、限流、轉(zhuǎn)發(fā)它不關(guān)心請(qǐng)求里這是否是一個(gè)需要消耗token的Prompt也不理解temperature改到0.7對(duì)下游結(jié)果意味著什么。OpenRIG這一類LLM路由網(wǎng)關(guān)是在API網(wǎng)關(guān)之上做了一層模型語(yǔ)義層的編排。它也不同于Agent編排框架。Agent編排關(guān)心的是這個(gè)任務(wù)要拆幾步、每步調(diào)用什么工具路由層更底層只關(guān)心單次模型請(qǐng)求發(fā)給誰(shuí)。兩者可以配合使用Agent根據(jù)任務(wù)規(guī)劃出子調(diào)用子調(diào)用再經(jīng)過(guò)OpenRIG做最終模型分配。很多團(tuán)隊(duì)一開(kāi)始以為兩者選一個(gè)就行實(shí)際落地時(shí)發(fā)現(xiàn)是上下游關(guān)系。2. 核心設(shè)計(jì)拆解路由策略與關(guān)鍵組件2.1 請(qǐng)求進(jìn)來(lái)之后發(fā)生了什么一個(gè)標(biāo)準(zhǔn)的OpenRIG請(qǐng)求生命周期大概是這樣客戶端發(fā)起一個(gè)OpenAI格式的completion請(qǐng)求網(wǎng)關(guān)先做鑒權(quán)和額度校驗(yàn)然后進(jìn)入路由策略引擎。策略引擎會(huì)根據(jù)配置的規(guī)則上下文從可用模型池里挑出一個(gè)目標(biāo)模型接著通過(guò)對(duì)應(yīng)的供應(yīng)商適配層把請(qǐng)求轉(zhuǎn)發(fā)出去。供應(yīng)商返回結(jié)果后網(wǎng)關(guān)做格式統(tǒng)一化把各家不同的usage統(tǒng)計(jì)、錯(cuò)誤結(jié)構(gòu)、流式格式都轉(zhuǎn)換成標(biāo)準(zhǔn)結(jié)構(gòu)再返回給調(diào)用方。這個(gè)過(guò)程中最容易忽略的是流式響應(yīng)的處理。各家大模型的SSEServer-Sent Events格式細(xì)節(jié)差異很大有的用data:前綴帶[DONE]結(jié)束有的還要額外發(fā)一條空行。路由網(wǎng)關(guān)必須能消化這些差異讓業(yè)務(wù)側(cè)收到的永遠(yuǎn)是同一套流式協(xié)議。否則用戶可以忍受偶爾的不穩(wěn)定但絕對(duì)忍不了同樣的代碼在切模型后解析Stream直接失敗。2.2 三類路由策略的取舍路由策略是OpenRIG的靈魂。我見(jiàn)過(guò)的主流策略大概分三類規(guī)則路由、語(yǔ)義路由、成本/質(zhì)量權(quán)衡路由。規(guī)則路由最樸素也最常用——根據(jù)請(qǐng)求特征打標(biāo)簽然后走固定映射。比如請(qǐng)求里帶了modelgpt-4o-mini但網(wǎng)關(guān)按規(guī)則改發(fā)給deepseek-chat或者按用戶維度分流付費(fèi)用戶走旗艦?zāi)Ｐ兔赓M(fèi)用戶走開(kāi)源模型。這種策略的優(yōu)點(diǎn)是結(jié)果可預(yù)期排查問(wèn)題方便缺點(diǎn)是規(guī)則需要人工維護(hù)模型一變你就要改配置。語(yǔ)義路由則更進(jìn)一步。它通常用一個(gè)輕量模型或者摘要向量來(lái)判斷當(dāng)前請(qǐng)求的復(fù)雜程度再?zèng)Q定派發(fā)給哪個(gè)模型。簡(jiǎn)單翻譯任務(wù)給claude-3-haiku深度的代碼分析任務(wù)給claude-3-opus。這種策略能讓成本優(yōu)化自動(dòng)化但引入了一個(gè)額外的判斷模型判斷本身有延遲和成本而且存在誤判風(fēng)險(xiǎn)。我現(xiàn)在跑生產(chǎn)的經(jīng)驗(yàn)是語(yǔ)義路由適合請(qǐng)求類型非常分散的平臺(tái)如果你的業(yè)務(wù)就三五個(gè)Prompt模板用規(guī)則路由反而更香。成本/質(zhì)量權(quán)衡路由是最接近商業(yè)決策的一種策略。它會(huì)實(shí)時(shí)統(tǒng)計(jì)每個(gè)模型的響應(yīng)質(zhì)量指標(biāo)如人工評(píng)分、嘗鮮率再結(jié)合實(shí)時(shí)價(jià)格用類似多臂老虎機(jī)的算法分配流量。說(shuō)實(shí)話這類策略在生產(chǎn)環(huán)境里落地難度不小因?yàn)橘|(zhì)量指標(biāo)往往延遲反饋不像延遲和成本那樣可以實(shí)時(shí)拿到。沒(méi)有足夠的流量和標(biāo)注體系很容易被噪聲數(shù)據(jù)帶偏。2.3 統(tǒng)一供應(yīng)商適配層OpenRIG的另一個(gè)核心是供應(yīng)商適配層。每接一家新模型你都需要寫(xiě)一個(gè)適配器把OpenAI格式的請(qǐng)求翻譯成該供應(yīng)商的協(xié)議再把供應(yīng)商的響應(yīng)翻譯回OpenAI格式。適配層里有很多隱藏細(xì)節(jié)比如各家對(duì)max_tokens和max_completion_tokens的命名差異、對(duì)frequency_penalty支持程度、對(duì)系統(tǒng)提示詞的處理方式。我自己踩過(guò)的坑是某家國(guó)產(chǎn)模型的API對(duì)stream_options字段直接報(bào)錯(cuò)而OpenAI SDK默認(rèn)會(huì)帶這個(gè)字段。如果適配層只是簡(jiǎn)單轉(zhuǎn)發(fā)請(qǐng)求就永遠(yuǎn)失敗。解決方式是在適配層里做參數(shù)白名單清洗——把OpenAI格式里多余的參數(shù)剝掉只留目標(biāo)模型支持的字段。另外供應(yīng)商的超時(shí)時(shí)間、并發(fā)上限、限流返回碼都不一樣適配層必須把這些差異規(guī)范化成內(nèi)部統(tǒng)一的錯(cuò)誤模型路由引擎才能據(jù)此做故障轉(zhuǎn)移。2.4 成本與延遲的雙目標(biāo)優(yōu)化路由網(wǎng)關(guān)只做質(zhì)量?jī)?yōu)化是不完整的成本和延遲必須一起考慮。成本優(yōu)化的基礎(chǔ)是token計(jì)價(jià)歸一化。你不能直接比價(jià)因?yàn)橛械哪Ｐ桶摧斎雝okens收費(fèi)有的按字符數(shù)收費(fèi)有的還會(huì)對(duì)緩存命中有特殊折扣。網(wǎng)關(guān)需要在適配層統(tǒng)一累積usage信息再乘以單價(jià)表在指標(biāo)里實(shí)時(shí)展示每次請(qǐng)求的成本。延遲優(yōu)化的核心則是避免讓最慢的模型拖垮整體SLA。比較有效的實(shí)操手段是給不同模型設(shè)置不同的超時(shí)閾值并在路由時(shí)優(yōu)先選擇預(yù)估延遲低的模型。比如文本分類這種延遲敏感的短請(qǐng)求寧可多花點(diǎn)錢(qián)選低延遲模型也不要為了省錢(qián)讓用戶體驗(yàn)到5秒白屏。這里也可以用緩存策略輔助對(duì)于相同Prompt前綴、相同參數(shù)的請(qǐng)求網(wǎng)關(guān)緩存直接命中根本不需要發(fā)到模型端。3. 實(shí)操?gòu)牧懵涞匾粋€(gè)OpenRIG服務(wù)3.1 部署方式與前置條件OpenRIG這個(gè)層面的基礎(chǔ)設(shè)施部署形態(tài)通常有兩種一種是獨(dú)立部署的網(wǎng)關(guān)服務(wù)通過(guò)Docker或Kubernetes統(tǒng)一管理另一種是作為進(jìn)程內(nèi)庫(kù)嵌入業(yè)務(wù)服務(wù)。我更推薦獨(dú)立部署原因是模型路由策略的變更頻率低但影響面大獨(dú)立服務(wù)能把策略變更和業(yè)務(wù)發(fā)版解耦也方便在多個(gè)業(yè)務(wù)方之間復(fù)用。前置條件不復(fù)雜一臺(tái)能訪問(wèn)各模型API的機(jī)器可以是云主機(jī)也可以是本地服務(wù)器、Docker環(huán)境、以及各家大模型API的Key。如果你是離線內(nèi)網(wǎng)環(huán)境就得在網(wǎng)關(guān)側(cè)預(yù)先配置好代理通道確保它能訪問(wèn)模型服務(wù)商。部署好之后的初始化配置核心就兩件事配置供應(yīng)商連接信息和聲明模型池。供應(yīng)商連接信息包括API地址、認(rèn)證方式、默認(rèn)超時(shí)模型池則定義哪些模型可被路由以及每個(gè)模型的權(quán)重、別名、成本參數(shù)。配置我建議用版本化的YAML文件管理不要直接改數(shù)據(jù)庫(kù)這樣每次調(diào)整都能走代碼評(píng)審和回滾。3.2 配置一個(gè)最小可用的路由規(guī)則先看一個(gè)最簡(jiǎn)單的規(guī)則路由配置示例models: - name: gpt-4o-mini provider: openai max_tokens: 8192 cost_per_1k_input: 0.00015 cost_per_1k_output: 0.0006 - name: claude-haiku provider: anthropic max_tokens: 8192 cost_per_1k_input: 0.00025 cost_per_1k_output: 0.00125 routes: - name: chat-short match: max_input_tokens: 2000 target_model: gpt-4o-mini - name: chat-long match: max_input_tokens: 8000 target_model: claude-haiku - name: fallback match: * target_model: gpt-4o-mini這里match字段是路由匹配條件max_input_tokens表示只對(duì)小于等于2000 tokens的請(qǐng)求生效。配置文件的重點(diǎn)在于規(guī)則從上到下匹配第一條命中的規(guī)則生效所以要記得把最具體的規(guī)則放前面。fallback兜底規(guī)則必須存在否則未匹配請(qǐng)求會(huì)直接被拒絕。我見(jiàn)過(guò)新人配完規(guī)則跑測(cè)試請(qǐng)求時(shí)發(fā)現(xiàn)為什么我設(shè)置了claude來(lái)路由結(jié)果還是gpt——大概率是前面的catch-all規(guī)則命中了而他自己沒(méi)看到順序。3.3 接入業(yè)務(wù)代碼與指標(biāo)觀察OpenRIG對(duì)外暴露的接口通常設(shè)計(jì)成OpenAI兼容格式這有個(gè)巨大的好處業(yè)務(wù)代碼不用改SDK只需要把base_url指向OpenRIG服務(wù)把API Key替換成網(wǎng)關(guān)簽發(fā)的Key。如果你之前用的就是openai庫(kù)整個(gè)切換成本非常低。一個(gè)Python調(diào)用示例from openai import OpenAI client OpenAI( base_urlhttp://openrig.internal:8080/v1, api_keyyour-openrig-key ) resp client.chat.completions.create( modelany-route-name, messages[{role: user, content: 把這段產(chǎn)品文案翻譯成英文}], temperature0.3 ) print(resp.choices[0].message.content)注意這里model字段傳的不是一個(gè)具體模型名而是一個(gè)路由名。OpenRIG會(huì)在內(nèi)部把這個(gè)路由名映射到當(dāng)前路由策略決定的真實(shí)模型。好處是如果你想切換這個(gè)接口背后的真實(shí)模型只需改網(wǎng)關(guān)配置業(yè)務(wù)代碼零改動(dòng)。這比讓業(yè)務(wù)方直接傳gpt-4o-mini健康得多——傳具體模型名等于把路由決策下放給了每個(gè)調(diào)用方網(wǎng)關(guān)的策略就形同虛設(shè)。指標(biāo)觀察是運(yùn)維中不能省的一步。我通常會(huì)要求網(wǎng)關(guān)暴露Prometheus指標(biāo)至少包含請(qǐng)求總量、按模型分的請(qǐng)求數(shù)、平均延遲與P95延遲、錯(cuò)誤率、token消耗總量、估算成本。配合Grafana做一張成本儀表盤(pán)每天掃一眼哪個(gè)模型花錢(qián)最多就能盡早發(fā)現(xiàn)預(yù)算失控。如果你沒(méi)有Prometheus也要確保網(wǎng)關(guān)至少提供JSON格式的指標(biāo)接口方便腳本拉取。3.4 模型灰度切換演練路由網(wǎng)關(guān)最大的價(jià)值之一是讓模型切換變成改配置看指標(biāo)就能完成。拿一個(gè)典型的灰度場(chǎng)景舉例新模型claude-sonnet要上線我們計(jì)劃把原來(lái)gpt-4o-mini承擔(dān)的代碼解釋請(qǐng)求切10%流量過(guò)來(lái)。操作步驟是先往模型池里加入claude-sonnet然后新增一條路由規(guī)則讓10%的匹配請(qǐng)求命中它90%繼續(xù)走gpt-4o-mini。這里的關(guān)鍵是灰度分配不能靠隨機(jī)數(shù)要用一致性哈希按用戶ID或會(huì)話ID來(lái)分桶。否則同一個(gè)用戶在頁(yè)面里兩次刷新請(qǐng)求一次走了新模型一次走舊模型用戶會(huì)明顯感覺(jué)到回答風(fēng)格差異非常影響體驗(yàn)。接著觀察幾分鐘的P95延遲、錯(cuò)誤率和人工抽檢回答質(zhì)量。如果一切正常把比例逐漸提高到30%、50%、100%如果出問(wèn)題把比例直接降回0不比發(fā)布代碼還擔(dān)驚受怕。整個(gè)流程下來(lái)業(yè)務(wù)方無(wú)感知這是直連模式完全做不到的。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 高延遲與超時(shí)問(wèn)題我遇到最多的問(wèn)題是為什么路由后整體延遲比直連高了一倍排查思路先不要懷疑網(wǎng)關(guān)性能先拆解延遲構(gòu)成網(wǎng)關(guān)處理耗時(shí)、模型調(diào)用耗時(shí)、網(wǎng)絡(luò)耗時(shí)。如果模型調(diào)用耗時(shí)占了90%說(shuō)明問(wèn)題不在網(wǎng)關(guān)而在選型和供應(yīng)商。打開(kāi)OpenRIG的trace看請(qǐng)求最終路由到了哪個(gè)模型——很可能是語(yǔ)義路由誤判把一個(gè)短問(wèn)題識(shí)別成了復(fù)雜任務(wù)發(fā)給了慢速大模型。另外要警惕重試風(fēng)暴。當(dāng)一個(gè)模型開(kāi)始變慢超過(guò)了網(wǎng)關(guān)配置的超時(shí)閾值網(wǎng)關(guān)會(huì)把它標(biāo)記為不健康把流量切給備用模型。但如果備用模型也慢網(wǎng)關(guān)會(huì)在短時(shí)間內(nèi)發(fā)起大量并發(fā)重試反而把瓶頸打在網(wǎng)關(guān)自身。我現(xiàn)在的經(jīng)驗(yàn)是超時(shí)閾值不要設(shè)置成剛好等于你最慢模型的P99要給死線留足余量重試次數(shù)嚴(yán)格限制在1次且重試之間加指數(shù)退避。4.2 路由誤判與效果回退語(yǔ)義路由的誤判很難完全避免但可以大幅降低。我踩過(guò)的坑是一開(kāi)始使用文本長(zhǎng)度作為復(fù)雜度的唯一特征結(jié)果超長(zhǎng)但重復(fù)性強(qiáng)的文本全被發(fā)給了高規(guī)格模型成本暴增效果也沒(méi)變好。后來(lái)在匹配特征里加入了是否包含代碼塊是否包含多條指令是否包含JSON結(jié)構(gòu)等信號(hào)誤判率才降下去。如果出現(xiàn)某類請(qǐng)求效果明顯回退比如用戶反饋翻譯質(zhì)量下降第一步是去網(wǎng)關(guān)后臺(tái)查一下最近這一類請(qǐng)求的路由分布是否發(fā)生了變化。如果是語(yǔ)義路由調(diào)整導(dǎo)致的立刻把對(duì)應(yīng)請(qǐng)求類型加一條更具體的規(guī)則路由優(yōu)先規(guī)則覆蓋語(yǔ)義路由。記住一個(gè)原則規(guī)則路由是穩(wěn)定基座語(yǔ)義路由是優(yōu)化增量任何時(shí)候都不能讓不可解釋的語(yǔ)義判斷完全取代顯式規(guī)則。4.3 成本統(tǒng)計(jì)偏差成本統(tǒng)計(jì)不準(zhǔn)通常有兩個(gè)原因。一是把輸入和輸出token的價(jià)格算錯(cuò)了很多模型輸入和輸出單價(jià)差異很大標(biāo)價(jià)時(shí)要用cost_per_1k_input和cost_per_1k_output分開(kāi)配置而不是用一個(gè)平均價(jià)。二是緩存機(jī)制沒(méi)有考慮進(jìn)去現(xiàn)在的模型提供商普遍對(duì)Prompt緩存有折扣如果你在網(wǎng)關(guān)層做了前綴緩存或者供應(yīng)商本身有緩存命中實(shí)際成本會(huì)比raw token計(jì)算低不少。我給的建議是成本指標(biāo)允許有偏差但偏差方向必須清楚寧可高估不要低估。4.4 關(guān)鍵經(jīng)驗(yàn)把模型密鑰與路由策略分開(kāi)管理這在多人協(xié)作時(shí)尤其重要。供應(yīng)商密鑰統(tǒng)一放在網(wǎng)關(guān)的密鑰管理模塊里業(yè)務(wù)方只需要拿一個(gè)OpenRIG簽發(fā)的虛擬Key。好處不只安全還有審計(jì)性——某個(gè)業(yè)務(wù)方調(diào)用了多少次、用了哪些模型、花了多少錢(qián)都能在網(wǎng)關(guān)側(cè)追溯到虛擬Key。我還建議給虛擬Key設(shè)置token額度和月預(yù)算上限一旦超限自動(dòng)攔截這能避免某個(gè)測(cè)試腳本跑飛導(dǎo)致當(dāng)月API賬單爆表。5. 演進(jìn)方向從模型路由到智能體路由5.1 RIG為什么不是RAG的替代品現(xiàn)在討論RIGRouting Infrastructure時(shí)經(jīng)常有人拿它和RAG檢索增強(qiáng)生成對(duì)比其實(shí)兩者完全不是一個(gè)維度。RAG解決的是讓模型看到更多私有知識(shí)RIG解決的是讓每個(gè)請(qǐng)求用最合適的模型來(lái)生成。一個(gè)負(fù)責(zé)任的路由層確實(shí)會(huì)把是否需要檢索作為路由決策的信號(hào)之一——比如判斷請(qǐng)求提到的實(shí)體在知識(shí)庫(kù)里有對(duì)應(yīng)文檔就先走RAG鏈路否則直接走對(duì)話模型。但這是RIG和RAG的協(xié)同不是替代。更實(shí)際的說(shuō)法是在Agent應(yīng)用里RIG可以成為工具調(diào)用鏈路上的交通樞紐。Agent規(guī)劃器決定調(diào)用什么工具RIG決定這次模型調(diào)用用哪個(gè)模型、走什么參數(shù)、失敗后如何降級(jí)。當(dāng)Agent需要調(diào)用多個(gè)模型完成復(fù)雜任務(wù)時(shí)路由層的體驗(yàn)會(huì)直接決定整個(gè)Agent的延遲和成本。5.2 多模態(tài)與工具調(diào)用的路由挑戰(zhàn)下一階段路由層要面對(duì)的不只是文本生成。多模態(tài)請(qǐng)求里圖片輸入的token化方式和成本計(jì)算與文本完全不同路由策略需要感知模態(tài)類型。工具調(diào)用請(qǐng)求里模型的輸出格式比如是否嚴(yán)格輸出JSON決定了能不能成功觸發(fā)后續(xù)動(dòng)作路由策略不能只看模型價(jià)格還得看結(jié)構(gòu)化輸出能力。我在實(shí)際測(cè)試?yán)锇l(fā)現(xiàn)有些模型文本生成質(zhì)量差不多但函數(shù)調(diào)用能力差距巨大。這時(shí)候路由層應(yīng)該在匹配特征里加入tools字段——只有當(dāng)請(qǐng)求里包含工具定義時(shí)才路由到函數(shù)調(diào)用能力強(qiáng)的模型。這個(gè)邏輯用規(guī)則配置很容易做has_tools: true就映射到指定模型其他情況走通用模型。類似的適配思路還可以擴(kuò)展到圖像生成、嵌入向量、語(yǔ)音轉(zhuǎn)寫(xiě)等不同模態(tài)讓OpenRIG真正成為一個(gè)多模態(tài)模型網(wǎng)關(guān)?；剡^(guò)頭來(lái)看OpenRIG這類路由網(wǎng)關(guān)的價(jià)值不在于它是一個(gè)多炫的框架而在于它把模型選擇從業(yè)務(wù)決策變成了可配置、可觀測(cè)、可回滾的運(yùn)維決策。我自己現(xiàn)在的習(xí)慣是任何新模型上線都先接網(wǎng)關(guān)跑小流量對(duì)比真實(shí)業(yè)務(wù)的反饋確認(rèn)穩(wěn)定后再逐步放量。踩過(guò)幾次坑之后你會(huì)明白多模型接入的穩(wěn)定性靠的不是某個(gè)模型多強(qiáng)而是你手里有沒(méi)有一個(gè)能靈活控制流量去向的底座。