編者按當模型能力逐漸成為可采購的通用商品企業(yè)之間的差距將不再由模型清單拉開而由圍繞模型構(gòu)建的工程體系決定。這一點正在成為企業(yè)AI從試點走向規(guī)?；a(chǎn)的分水嶺。過去幾年圍繞人工智能的討論幾乎被同一條敘事主導(dǎo)更大的模型、更強的推理能力、更長的上下文窗口、更高的基準分數(shù)。每一次能力躍遷都會引發(fā)一輪「換模型」的討論仿佛只要選對了那個榜單上最靠前的模型企業(yè)的AI戰(zhàn)略就能自動成立。但MIT Technology Review刊發(fā)的這篇題為《Designing an AI serving harness built to last》的文章提出了一個不同的判斷企業(yè)AI的下一個競爭優(yōu)勢與其說取決于你選擇哪個模型不如說取決于你在模型周圍構(gòu)建了什么。這是一個重要的轉(zhuǎn)向——它意味著競爭的焦點正從「模型能力」遷移到「系統(tǒng)能力」。一、模型正在變成可替換的零件理解這一轉(zhuǎn)向首先要明白模型市場正在發(fā)生什么。開源模型與閉源模型的能力差距持續(xù)收窄同一梯隊的模型在通用任務(wù)上的表現(xiàn)日益接近價格戰(zhàn)讓推理成本快速下降而模型迭代周期已經(jīng)縮短到以月乃至以周計。今天的最優(yōu)選擇很可能在半年后既不是最強、也不是最便宜的。在這種環(huán)境下把所有業(yè)務(wù)邏輯、提示詞、評測流程和運維經(jīng)驗都硬編碼到某一個模型的調(diào)用方式上是一種高風(fēng)險做法。一旦更換模型這些沉淀就得推倒重來。反過來如果企業(yè)能把「模型」抽象為一個可插拔的組件用統(tǒng)一的接口去調(diào)度、評測、切換、回滾那么模型能力的每一次進步都能被低摩擦地吸收而不是每次都要重新做一遍集成工程。這正是「服務(wù)承載框架」serving harness要解決的問題。它不是模型本身而是模型運行其上的那一層工程結(jié)構(gòu)。二、什么是AI服務(wù)承載框架所謂serving harness可以理解為模型與業(yè)務(wù)之間的中間層。它負責(zé)的事情相當具體把請求路由到合適的模型管理上下文與提示模板處理重試、超時、限流與降級記錄完整的調(diào)用鏈路以便審計與排障對輸出進行結(jié)構(gòu)化校驗與安全過濾以及在多個模型之間做成本與質(zhì)量的動態(tài)權(quán)衡。這一層聽起來并不起眼卻恰恰是「演示」與「生產(chǎn)」之間的差距所在。一個在實驗室里跑通的智能體到了真實業(yè)務(wù)環(huán)境中會遇到并發(fā)尖峰、長尾延遲、模型幻覺、上下文超限、供應(yīng)商故障、合規(guī)審計等一系列問題。承載框架的價值就是在這些問題發(fā)生時不至于讓整個系統(tǒng)一起崩塌。換句話說模型決定了能力上限而承載框架決定了可用性下限。對企業(yè)而言下限往往比上限更重要——因為業(yè)務(wù)不能靠偶爾一次的驚艷表現(xiàn)來運轉(zhuǎn)。三、為什么「built to last」如此困難文章標題中「built to last」這個限定詞值得注意。設(shè)計一個能撐過數(shù)年的框架比設(shè)計一個能跑通今天的框架難得多原因有三。其一技術(shù)棧變化太快。今天的推理接口、工具調(diào)用協(xié)議、上下文管理方式兩三年后可能完全不同?？蚣苋暨^度耦合于某一代技術(shù)細節(jié)很快會變成技術(shù)債。其二需求會漂移。業(yè)務(wù)方最初只想要一個問答機器人后來可能要求它接入內(nèi)部系統(tǒng)、執(zhí)行多步任務(wù)、承擔有審計要求的決策輔助。框架必須具備足夠的抽象能力來承接這種演進而不是每來一個新需求就重寫一遍。其三組織會變化。誰來維護這套框架是平臺團隊、數(shù)據(jù)團隊還是各業(yè)務(wù)線自建如果框架設(shè)計沒有清晰的責(zé)任邊界和可觀測性它會在多人協(xié)作中逐漸腐化最終無人敢動。四、長期框架的四條設(shè)計原則基于上述挑戰(zhàn)可以歸納出幾條在實踐中被反復(fù)驗證的原則。第一把模型當作可替換依賴。統(tǒng)一抽象層保留灰度切換與快速回滾能力讓「換模型」成為一個配置動作而不是一次項目立項。第二把可觀測性作為一等公民。從第一天起就記錄請求、上下文、模型版本、token消耗、延遲與失敗原因。沒有這些數(shù)據(jù)成本優(yōu)化和質(zhì)量評估都只能靠猜。第三把評測內(nèi)嵌到流程中。框架應(yīng)能對新模型、新提示、新版本自動跑回歸評測用數(shù)據(jù)回答「這次改動是變好還是變壞」而不是靠個別案例的主觀感受。第四把成本與質(zhì)量放在同一張儀表盤上。不同任務(wù)對質(zhì)量的要求并不相同框架應(yīng)支持按場景選擇模型檔位把昂貴的推理能力用在高價值環(huán)節(jié)把輕量模型用在高頻簡單環(huán)節(jié)。當模型本身越來越像水電一樣的基礎(chǔ)資源真正構(gòu)成壁壘的是企業(yè)圍繞模型沉淀下來的工程資產(chǎn)路由策略、評測集、提示資產(chǎn)、運維經(jīng)驗和組織流程。這些東西不會因為一次模型發(fā)布而過時反而會隨使用而增值。五、對企業(yè)的現(xiàn)實含義這一判斷對企業(yè)有三點直接含義。首先AI預(yù)算的分配需要重新審視如果絕大部分投入都用于追逐最新模型而承載框架仍停留在腳本拼接階段那么投入產(chǎn)出比會越來越差。其次平臺團隊的價值被低估了——那些看起來「不產(chǎn)出業(yè)務(wù)功能」的抽象層、評測工具和監(jiān)控體系恰恰是長期競爭力的來源。最后管理層需要把AI視為一項系統(tǒng)工程而不是一次采購決策。模型會繼續(xù)進步榜單會繼續(xù)刷新價格會繼續(xù)下降。這些都值得關(guān)注但它們更像是潮水會同時抬高所有船只。真正讓一家企業(yè)與另一家企業(yè)拉開差距的是它在潮水之下打下的那層地基——一個設(shè)計良好、能夠長期演進、經(jīng)得起模型換代與業(yè)務(wù)擴張沖擊的服務(wù)承載框架。這也解釋了一個看似矛盾的現(xiàn)象在模型能力最強的時代工程能力反而變得更重要了。本文編譯自MIT Technology Review本文首發(fā)于贏政天下 獲取更多深度技術(shù)內(nèi)容與資源歡迎訪問官網(wǎng)。