“AI工程從零開始”這句話喊的人多落地的人少。我見過太多項(xiàng)目卡在同一個(gè)地方模型剛寫了幾行代碼跑通就急著接業(yè)務(wù)結(jié)果prompt一換場景就崩Agent跑著跑著自己就失控了更別說評(píng)測和迭代。這篇文章我想用一個(gè)完整案例把從零搭建一個(gè)AI應(yīng)用我習(xí)慣叫它AI工程的核心環(huán)節(jié)拆開來講包括提示詞設(shè)計(jì)、Agent編排、工程化落地和評(píng)測復(fù)盤。如果你是剛接觸AI工程、或者已經(jīng)做了幾個(gè)demo但總覺得離“能上生產(chǎn)”差口氣的人這篇文章應(yīng)該能幫你少走很多我踩過的彎路。這里說的“AI工程”不是讓你從權(quán)重開始訓(xùn)練大模型那條路的成本和門檻完全不同而是指在現(xiàn)有語言模型基礎(chǔ)上把提示詞、工具調(diào)用、流程控制、結(jié)果校驗(yàn)這些環(huán)節(jié)系統(tǒng)性地組織起來形成一個(gè)穩(wěn)定可控的應(yīng)用系統(tǒng)。我見過的許多團(tuán)隊(duì)本質(zhì)上是把AI工程做成了“prompt拼接”沒有把它當(dāng)成真正的軟件工程來對待。這篇博文就是想把后者這件事講透。1. 從零開始先想清楚一件事你到底在造什么1.1 別急著寫代碼先定義你要解決的問題邊界很多剛接觸AI工程的人一上來就問“我要用哪個(gè)框架”“我要調(diào)哪個(gè)模型”這是典型的工具先行誤區(qū)。我做過的幾個(gè)失敗項(xiàng)目復(fù)盤時(shí)發(fā)現(xiàn)根因都不是模型不夠強(qiáng)而是“我們根本沒想清楚系統(tǒng)要做什么、做到什么程度算成功”。動(dòng)手前請先回答四個(gè)問題輸入是什么是用戶自由輸入的文本還是帶結(jié)構(gòu)化字段的表單輸出是什么需要精確的JSON還是允許自然語言返回邊界在哪里系統(tǒng)允許調(diào)用哪些外部工具不允許做哪些事失敗的代價(jià)是什么如果回答錯(cuò)了用戶會(huì)發(fā)現(xiàn)并投訴還是只是降低一點(diǎn)體驗(yàn)這四個(gè)問題的答案直接決定你后續(xù)的提示詞設(shè)計(jì)、工具配置、評(píng)測方案甚至模型選型。舉個(gè)例子如果輸出是結(jié)構(gòu)化JSON那你必須啟用模型的JSON模式并在代碼里做schema校驗(yàn)如果輸出會(huì)被直接展示給用戶那你可以更側(cè)重于流式輸出和表述自然度而不是強(qiáng)約束格式。我習(xí)慣把這些邊界寫進(jìn)一個(gè)簡短的“系統(tǒng)用例文檔”一頁紙就夠。這個(gè)文檔是給團(tuán)隊(duì)看的也是給模型看的——系統(tǒng)提示詞里大部分內(nèi)容就來自這個(gè)文檔。1.2 “從零”其實(shí)有兩種起點(diǎn)決定你的技術(shù)路線“from scratch”這個(gè)詞很容易讓人誤解。如果是想從頭訓(xùn)練一個(gè)類似LLaMA的大模型那你需要的是幾萬張顯卡、海量數(shù)據(jù)和很長時(shí)間這不在普通人“工程實(shí)踐”的范圍內(nèi)。但如果你是像我一樣的產(chǎn)品技術(shù)負(fù)責(zé)人想在現(xiàn)有模型能力之上構(gòu)建自己的AI應(yīng)用“從零”的真正含義是不依賴別人的模板、不抄現(xiàn)成框架的示例自己設(shè)計(jì)一套適配業(yè)務(wù)場景的提示詞、工具編排和評(píng)測機(jī)制。這兩種起點(diǎn)的技術(shù)路線完全不同。前者是模型層的“預(yù)訓(xùn)練-微調(diào)-對齊-部署”后者是應(yīng)用層的“提示詞-工具-編排-評(píng)測-迭代”。這篇文章聚焦后者因?yàn)閷^大多數(shù)團(tuán)隊(duì)來說后者才是投入產(chǎn)出比最高的選擇。但完全不理解前者也不行至少要知道模型是概率系統(tǒng)它輸出的不是確定結(jié)果這就決定了你所有工程手段的核心目的只有一個(gè)把不確定性盡可能關(guān)在籠子里。2. 把“AI工程”拆成四個(gè)核心模塊2.1 提示詞工程不是寫文案是定義輸入輸出契約很多人把提示詞工程理解成“把話說清楚讓模型聽懂”這個(gè)理解太淺了。跟模型打交道的次數(shù)多了你會(huì)發(fā)現(xiàn)提示詞其實(shí)是“程序接口的注釋增強(qiáng)版”它定義了輸入輸出的契約。一個(gè)健壯的提示詞應(yīng)該包含五個(gè)部分系統(tǒng)角色定義模型應(yīng)該以什么身份、什么專業(yè)背景來回答。任務(wù)范圍約束什么話題該回答什么話題必須拒絕什么情況下該轉(zhuǎn)人工。輸入格式說明告訴模型用戶可能輸入哪些類型的內(nèi)容如何解析。輸出格式規(guī)范給出JSON模板或markdown結(jié)構(gòu)要求嚴(yán)格遵守。例外處理規(guī)則當(dāng)信息不足、檢測到惡意輸入、遇到模糊請求時(shí)怎么辦。舉個(gè)例子我做一個(gè)“資料檢索助手”時(shí)系統(tǒng)提示詞的開頭不是“你是一個(gè)助手”而是你是企業(yè)的資料檢索助手。你的任務(wù)是根據(jù)用戶問題調(diào)用搜索工具閱讀搜索結(jié)果原文提煉答案。 規(guī)則1必須基于工具返回的內(nèi)容回答禁止編造信息來源。 規(guī)則2當(dāng)搜索結(jié)果與問題無關(guān)時(shí)回復(fù)“未找到相關(guān)信息”不要強(qiáng)行作答。 規(guī)則3輸出必須使用如下JSON格式{answer: ..., sources: [...], confidence: 0.0-1.0}為什么要寫這么細(xì)致因?yàn)檎Z言模型對模糊指令的“發(fā)散”能力遠(yuǎn)超你的想象。你只說“找資料”它會(huì)自由發(fā)揮你給出明確規(guī)則和格式它才知道邊界在哪。關(guān)鍵心得提示詞一定要做版本管理。我見過太多團(tuán)隊(duì)直接在生產(chǎn)環(huán)境里手改提示詞改完沒記錄效果回歸了都不知道是哪個(gè)版本導(dǎo)致。建議把每個(gè)提示詞模板存成獨(dú)立文件用Git管理修改必提交線上版本和提交記錄一一對應(yīng)。2.2 Agent 不是魔法是“能力編排”的設(shè)計(jì)Agent是現(xiàn)在最熱的概念之一但真正理解它的人不多。從工程角度看Agent就是一個(gè)“能自主決定工具調(diào)用順序的循環(huán)系統(tǒng)”它接收任務(wù)決定是否需要調(diào)用工具調(diào)用后獲得結(jié)果再?zèng)Q定下一步動(dòng)作直到滿足結(jié)束條件。如果你看過一些所謂“harness engineering”的資料會(huì)發(fā)現(xiàn)這個(gè)詞本質(zhì)上講的就是怎么為Agent設(shè)計(jì)一個(gè)“安全帶/控制框架”?？刂瓶蚣苤辽侔齻€(gè)要素工具注冊表明確告訴模型有哪些工具可用、每個(gè)工具的參數(shù)schema描述是什么。決策循環(huán)模型輸出工具調(diào)用請求代碼執(zhí)行請求把結(jié)果反饋給模型再讓模型決定下一步。終止與回退設(shè)定最大循環(huán)步數(shù)和退避規(guī)則避免模型陷入死循環(huán)或錯(cuò)誤路徑。很多人會(huì)問為什么需要Agent直接用一個(gè)大調(diào)用完成“用戶問題 - 答案”不行嗎確實(shí)很多簡單場景一次調(diào)用就夠但一旦涉及“獲取最新數(shù)據(jù)、查數(shù)據(jù)庫、操作現(xiàn)有系統(tǒng)”這類需要?jiǎng)討B(tài)信息的場景單次調(diào)用就不夠了。模型不知道數(shù)據(jù)庫里有什么你需要它自己去查詢。Agent循環(huán)就是解決“動(dòng)態(tài)決策”問題的。別急著引入LangChain這類重量級(jí)框架。我的建議是第一版Agent用原生SDK手寫循環(huán)盡量把控制流掌握在自己手里。框架能幫你省事但也會(huì)掩蓋細(xì)節(jié)當(dāng)你連“什么時(shí)候該重試、什么時(shí)候該結(jié)束”都沒想明白時(shí)框架的默認(rèn)策略只會(huì)讓你更加困惑。2.3 流程編排從單次調(diào)用到多角色協(xié)作真正的AI工程很少只有一個(gè)Agent單打獨(dú)斗。更常見的情況是多個(gè)Agent各司其職或一個(gè)Agent拆分成多個(gè)階段。比如資料檢索助手可以拆成“意圖識(shí)別Agent”“檢索Agent”“生成Agent”三個(gè)角色每個(gè)Agent擁有不同的提示詞和工具集。為什么這么拆因?yàn)槊總€(gè)子任務(wù)的最優(yōu)提示詞不同。意圖識(shí)別關(guān)注的是分類準(zhǔn)確性不需要引用文獻(xiàn)生成Agent關(guān)注的是表達(dá)自然和信息忠實(shí)需要引用來源。如果能將它們拆分每個(gè)階段的提示詞都能做到精簡專業(yè)整體效果遠(yuǎn)好于一個(gè)萬能Agent加上一堆復(fù)雜指令。流程編排要注意三個(gè)問題狀態(tài)傳遞上游Agent的輸出通常含有中間結(jié)果如何安全地傳給下游Agent。建議用統(tǒng)一的JSON結(jié)構(gòu)在節(jié)點(diǎn)間傳遞而不是直接拼字符串。錯(cuò)誤分支如果意圖識(shí)別失敗后面的流程不要繼續(xù)跑直接返回兜底文案。人工介入點(diǎn)在設(shè)計(jì)流程時(shí)提前標(biāo)好“哪里需要人工審核”。比如涉及對外發(fā)送郵件之前必須有人確認(rèn)。2.4 評(píng)測與觀測沒有度量就沒有工程不做評(píng)測的AI工程等于在黑暗里開車。模型每次輸出的分布都可能有差異你今天好用的prompt明天模型一更新可能效果大跌。所以從第一天開始就要建立評(píng)測集和觀測機(jī)制。評(píng)測集不需要很大但要有代表性。我會(huì)在項(xiàng)目啟動(dòng)時(shí)花兩個(gè)小時(shí)從真實(shí)使用記錄里挑出30到50條典型輸入標(biāo)注好“標(biāo)準(zhǔn)答案”和“可接受答案”。每次修改提示詞或調(diào)整工具配置就全量跑一遍評(píng)測集記錄評(píng)分。評(píng)分方式可以用客觀指標(biāo)如JSON schema通過率、字段缺失率也可以用“模型評(píng)模型”做LLM-as-judge讓一個(gè)強(qiáng)模型按固定標(biāo)準(zhǔn)打分。觀測方面至少要有日志記錄以下幾點(diǎn)每次請求的prompt版本號(hào)模型返回的完整原始輸出Agent每一步動(dòng)作調(diào)用了什么工具參數(shù)是什么耗時(shí)、token消耗、費(fèi)用失敗類型超時(shí)、解析失敗、校驗(yàn)失敗、安全拒絕帶著這些數(shù)據(jù)去迭代你才能說“這個(gè)改動(dòng)提升了3%”而不是“感覺好像變好了一點(diǎn)”。3. 實(shí)操從零搭建一個(gè)最小可用的AI Agent3.1 場景設(shè)定與功能拆解為了把上面的原理講清楚我?guī)愦钜粋€(gè)最小但完整的AI Agent功能是“技術(shù)問題研究助手”它能根據(jù)用戶提出的問題調(diào)用一個(gè)內(nèi)部知識(shí)庫接口檢索相關(guān)文檔片段再生成帶引用來源的回答。這個(gè)場景的典型輸入是“幫我查一下系統(tǒng)里關(guān)于權(quán)限配置的文檔并告訴我管理員如何修改角色權(quán)限?！蔽野阉鸪蓛蓚€(gè)階段檢索階段調(diào)用知識(shí)庫API傳入用戶問題作為關(guān)鍵詞獲取Top3文檔片段。生成階段把檢索結(jié)果和用戶問題一起放進(jìn)提示詞讓模型生成回答并標(biāo)注引用。注意這里我先不做多輪對話和復(fù)雜工具鏈因?yàn)樽钚】捎玫囊饬x在于先把閉環(huán)跑通后續(xù)可以在此基礎(chǔ)上擴(kuò)展。3.2 環(huán)境準(zhǔn)備與依賴選擇環(huán)境只需Python 3.10加上openai官方SDK你需要一個(gè)兼容OpenAI API的模型服務(wù)或云服務(wù)不需要額外的Agent框架。為什么不用LangChain不是為了“炫技”而是當(dāng)項(xiàng)目規(guī)模還沒大到需要抽象層時(shí)手寫循環(huán)反而更可控。你可以清晰看到每次請求的輸入輸出方便排查和調(diào)優(yōu)。等真正復(fù)雜到需要并發(fā)管理、記憶持久化、工具生態(tài)接入時(shí)再引入框架也不遲。依賴安裝就一行pip install openai再加一個(gè)用于校驗(yàn)JSON的庫pip install jsonschema3.3 核心代碼實(shí)現(xiàn)首先定義一個(gè)工具注冊表用一個(gè)字典維護(hù)所有可調(diào)用工具的描述和執(zhí)行函數(shù)def search_knowledge_base(query: str, top_k: int 3) - list[dict]: 模擬檢索知識(shí)庫文檔片段的函數(shù)實(shí)際項(xiàng)目中換成向量庫或搜索服務(wù) # 這里省略真實(shí)實(shí)現(xiàn)返回兩個(gè)模擬片段 return [ {id: doc-001, text: 角色權(quán)限在管理員后臺(tái)的“角色管理”頁面配置修改后即時(shí)生效。}, {id: doc-002, text: 管理員可以使用admin賬號(hào)進(jìn)入系統(tǒng)設(shè)置選擇需要修改的角色并調(diào)整權(quán)限范圍。}, ] TOOLS { search_knowledge_base: { description: 搜索內(nèi)部知識(shí)庫返回相關(guān)文檔片段。參數(shù)query(str), top_k(int), function: search_knowledge_base, } }然后寫一個(gè)引用工具的提示詞模板SYSTEM_PROMPT 你是一個(gè)企業(yè)知識(shí)庫助手。 請根據(jù)用戶問題調(diào)用search_knowledge_base工具獲取資料然后基于資料回答。 規(guī)則 1. 輸出必須是可以被json.loads解析的JSON格式為{answers: [{content: 回答內(nèi)容, source_id: 文檔ID}]} 2. 只引用工具返回內(nèi)容里包含的信息禁止編造。 3. 如果工具沒有返回有用信息output字段為未找到相關(guān)信息source_id為null。 USER_PROMPT_TEMPLATE 用戶問題{question} 請開始回答。接著是Agent的主循環(huán)。邏輯很簡單把系統(tǒng)和用戶消息發(fā)送給模型如果模型返回內(nèi)容可被解析為工具調(diào)用則執(zhí)行工具并把結(jié)果作為后續(xù)消息之一繼續(xù)對話直到模型輸出最終答案或達(dá)到最大輪數(shù)。為了控制篇幅我這里先給出一個(gè)簡化版假設(shè)模型直接返回最終答案不先走工具調(diào)用邏輯先調(diào)用工具然后把結(jié)果拼接到消息中再讓模型生成答案。import json import openai client openai.Client() # 配置好base_url和api_key def run_agent(question: str, max_rounds: int 2) - dict: # 1. 先調(diào)用檢索工具獲取文檔上下文 docs TOOLS[search_knowledge_base][function](question, top_k3) context \n\n.join(f[{d[id]}] {d[text]} for d in docs) # 2. 構(gòu)造消息 messages [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: USER_PROMPT_TEMPLATE.format(questionquestion)}, {role: assistant, content: f我查一下知識(shí)庫返回結(jié)果如下\n{context}}, ] # 3. 調(diào)用模型生成最終答案 resp client.chat.completions.create( modelMODEL_NAME, messagesmessages, temperature0.2, response_format{type: json_object}, ) content resp.choices[0].message.content return json.loads(content) result run_agent(管理員如何修改角色權(quán)限) print(result)這個(gè)代碼雖然簡單但已經(jīng)包含了“檢索-生成”的基本閉環(huán)。實(shí)際項(xiàng)目中你還需要把工具調(diào)用放在循環(huán)里因?yàn)榭赡芤淮螜z索不夠需要再追問或者生成的中文路徑需要二次確認(rèn)。但第一版能把閉環(huán)跑通最重要。3.4 運(yùn)行調(diào)試與輸出微調(diào)我運(yùn)行上面的代碼三次結(jié)果并不完全一致其中一次還把a(bǔ)nswer寫成了“根據(jù)文檔管理員修改角色權(quán)限需要在后臺(tái)進(jìn)行”雖然意思對但格式里缺少source_id。這是因?yàn)镴SON模式只保證是json對象不保證字段完整。此時(shí)需要用jsonschema校驗(yàn)并用重試機(jī)制補(bǔ)一次from jsonschema import validate schema { type: object, properties: { answer: {type: string}, source_id: {type: [string, null]}, }, required: [answer, source_id], } validate(instanceresult, schemaschema)如果校驗(yàn)不過就把報(bào)錯(cuò)消息和新一輪提示發(fā)給模型讓它重新輸出。這種“校驗(yàn)-重試”機(jī)制是保證生產(chǎn)可用性的關(guān)鍵細(xì)節(jié)。小技巧在調(diào)試階段每次請求都打印日志包含prompt、raw output、校驗(yàn)是否通過、消耗token數(shù)。你會(huì)發(fā)現(xiàn)模型行為模式越來越清晰。4. 常見問題與排查技巧實(shí)錄4.1 大模型輸出不穩(wěn)定怎么解析和兜底這是AI工程里遇到最多的問題。同一個(gè)prompt模型今天返回標(biāo)準(zhǔn)JSON明天可能多了一句“好的這是你要的答案”。我的標(biāo)準(zhǔn)做法是三重兜底第一重設(shè)置response_format為json_object盡量約束輸出結(jié)構(gòu)。第二重用schema校驗(yàn)不通過就自動(dòng)重試重試次數(shù)一般設(shè)1到2次。第三重重試仍然失敗時(shí)降級(jí)到“文本后處理”用正則提取JSON片段的嘗試保留如果還不行就返回“服務(wù)暫時(shí)不可用”的提示文案。不要指望模型永遠(yuǎn)守規(guī)矩。設(shè)計(jì)時(shí)就要假設(shè)它可能犯錯(cuò)并讓防線在每一層都攔住問題。4.2 Agent跑飛了怎么限制行為邊界Agent最常見的失控方式是反復(fù)調(diào)用同一個(gè)工具或者在沒有結(jié)果的情況下繼續(xù)“編造步驟”。我出過幾次事故之后總結(jié)出三條硬規(guī)則最大步數(shù)限制設(shè)定循環(huán)上限如4步超過就強(qiáng)制終止并返回當(dāng)前已有結(jié)果。工具白名單Agent只能調(diào)用注冊表里明確告知的工具不能讓它即興發(fā)揮任何未注冊動(dòng)作。預(yù)算攔截每次工具調(diào)用前檢查總token預(yù)估接近預(yù)估值就停止禁止“超支續(xù)跑”。如果模型是調(diào)用外部API或操作數(shù)據(jù)庫這些限制尤其重要。我遇到過一次生產(chǎn)事故Agent在循環(huán)里重復(fù)調(diào)用了10次搜索API賬單漲了上百倍幸好步數(shù)上限及時(shí)攔截。從那以后工具調(diào)用前我都會(huì)加一個(gè)“確認(rèn)”中間層。4.3 評(píng)測集過擬合或偏差怎么設(shè)計(jì)很多團(tuán)隊(duì)的評(píng)測集要么是開發(fā)工程師自己隨手寫的測試用例跟真實(shí)用戶需求脫節(jié)要么只有十幾個(gè)case模型一改就跑不準(zhǔn)。我建議從三個(gè)維度擴(kuò)充分布常見問法覆蓋高頻、標(biāo)準(zhǔn)表達(dá)。邊緣問法問題里包含錯(cuò)別字、含糊表述、超長上下文、口語化表達(dá)。拒答樣本明明不該回答的內(nèi)容你要看模型是否真的拒絕。評(píng)測集建議每兩周更新一次。真實(shí)用戶日志里挑出最近新增的、有價(jià)值的問題補(bǔ)充進(jìn)集合。如果某次改動(dòng)導(dǎo)致舊case效果變好但新case變差就要考慮是不是過擬合了舊模式需要重新平衡。4.4 成本與性能怎么平衡模型越強(qiáng)效果越好但成本也可能翻十幾倍。我的常見組合招數(shù)緩存高頻查詢對相同或相似問題復(fù)用結(jié)果使用語義向量計(jì)算相似度相似度超過閾值就返回緩存。模型分級(jí)簡單問題走輕量模型復(fù)雜問題走旗艦?zāi)Ｐ?。可以通過一個(gè)分類器先判斷難度再路由到不同模型。壓縮上下文只傳入最近幾輪對話和有效檢索片段不要一股腦塞進(jìn)整段知識(shí)庫。并發(fā)上優(yōu)先做異步和批量但也要為每個(gè)用戶設(shè)置速率限制。AI工程的運(yùn)維更像是一個(gè)“限流系統(tǒng)”不是給你算力就完事得考慮每次調(diào)用的波動(dòng)性。4.5 一個(gè)容易忽視的細(xì)節(jié)提示詞版本與線上線下一致性我在多個(gè)項(xiàng)目里遇到過“線上模型效果突然變差”的假象排查半天才發(fā)現(xiàn)是有人改了線上系統(tǒng)的prompt文件但版本沒提交。后來我嚴(yán)格要求prompt模板以代碼形式提交線上部署使用與代碼綁定的同一份模板文件任何人要修改都必須走代碼評(píng)審和發(fā)版流程。這樣做還能讓“效果回滾”變成一條git revert操作。最后再分享一個(gè)小技巧無論你用什么框架從零開始做AI工程時(shí)永遠(yuǎn)把“如何驗(yàn)證效果”當(dāng)成和“如何實(shí)現(xiàn)功能”同等重要的事。我吃過最大的虧就是在上線第一個(gè)Agent時(shí)只關(guān)注了它能回答什么卻沒提前定義它“哪些不該做”結(jié)果用戶在無關(guān)問題上得到了錯(cuò)誤答案一下?lián)舸┝诵湃味取Ｋ越ㄒ粋€(gè)幾十條的冒煙評(píng)測集從第一行代碼起跑著它你的AI工程才算真正入了門。