如何驗(yàn)證 AI 技能好不好用一套評(píng)估系統(tǒng)完整實(shí)戰(zhàn)指南【免費(fèi)下載鏈接】skillsPublic repository for Agent Skills項(xiàng)目地址: https://gitcode.com/GitHub_Trending/skills3/skills你剛寫(xiě)完一組 MCP 工具讓大模型去調(diào)用看起來(lái)能跑——但到底能答對(duì)多少這不能靠感覺(jué)。skills 倉(cāng)庫(kù)里的 mcp-builder 模塊內(nèi)置了 AI 技能評(píng)估能力它把一批測(cè)試題交給模型讓模型用你的工具作答再逐題對(duì)照標(biāo)準(zhǔn)答案輸出一份量化報(bào)告。從出題到讀結(jié)果下面走一遍完整流程。先把話說(shuō)清楚這套評(píng)估器在哪它藏在倉(cāng)庫(kù)的skills/mcp-builder/目錄下核心就是一個(gè)腳本skills/mcp-builder/scripts/evaluation.py。工作方式一句話概括連上你的 MCP 服務(wù)列出全部工具逐題喂入問(wèn)題跑完模型的完整調(diào)用循環(huán)記錄每題的答案、耗時(shí)和工具調(diào)用次數(shù)。連接方式支持 STDIO、SSE、HTTP 三種本地進(jìn)程和遠(yuǎn)程部署的服務(wù)都能測(cè)。同目錄下的example_evaluation.xml是一個(gè)現(xiàn)成的測(cè)試文件樣例照著寫(xiě)即可。 三步跑通評(píng)估第一步裝依賴。只有兩個(gè)包anthropic SDK 和 mcp都在skills/mcp-builder/scripts/requirements.txt里。pip install -r skills/mcp-builder/scripts/requirements.txt第二步準(zhǔn)備測(cè)試文件。格式是 XML根節(jié)點(diǎn)evaluation每個(gè)qa_pair里放一個(gè)question和一個(gè)answer答案就是標(biāo)準(zhǔn)答案原文。第三步執(zhí)行。本地 STDIO 服務(wù)最典型python skills/mcp-builder/scripts/evaluation.py \ -t stdio -c python -a my_server.py my_eval.xml其中-t指定連接方式-c是啟動(dòng)服務(wù)的命令-a是傳給服務(wù)的參數(shù)。如果服務(wù)部署在遠(yuǎn)端把-t換成 sse 或 http改傳 URL并可以附帶自定義請(qǐng)求頭做鑒權(quán)。測(cè)試集怎么出題10 道能驗(yàn)真的題配套的出題指南在skills/mcp-builder/reference/evaluation.md核心要求四條建議一次出 10 道題只讀且無(wú)害答題只靠查詢不修改任何數(shù)據(jù)。這樣評(píng)估可以反復(fù)跑結(jié)果可比。相互獨(dú)立題目之間無(wú)依賴調(diào)換順序不影響答案方便單獨(dú)復(fù)測(cè)。答案可精確核對(duì)單個(gè)數(shù)字、ID 或一段確定文本。比如本金 1 萬(wàn)、月息復(fù)利 3 年最終金額保留兩位小數(shù)答案就是一個(gè)數(shù)字對(duì)就是對(duì)。答案穩(wěn)定不隨時(shí)間變化。別用當(dāng)前有幾條未讀消息這種題下次跑結(jié)果就飄了。另外兩點(diǎn)決定這套測(cè)試是否有含金量。一是題目要多跳一道題逼著模型連續(xù)調(diào)用多個(gè)工具才能湊出答案單步查詢測(cè)不出工具配合的問(wèn)題。二是避免在題面里寫(xiě)工具字段名用同義詞或口語(yǔ)化表述——真實(shí)用戶往往不知道你的字段叫channel_id只說(shuō)那個(gè)頻道。 報(bào)告里的四個(gè)關(guān)鍵指標(biāo)怎么讀跑完后會(huì)生成一份 Markdown 報(bào)告用-o參數(shù)可以存成文件。頂部是四個(gè)匯總值準(zhǔn)確率答對(duì)的題數(shù)除以總題數(shù)。注意判分是字符串精確比對(duì)所以出題時(shí)必須在題面里寫(xiě)死輸出格式保留幾位小數(shù)、只要數(shù)字等否則 11614.72 和 $11,614.72 會(huì)被判錯(cuò)。平均任務(wù)耗時(shí)從提問(wèn)到出答案的總時(shí)長(zhǎng)。個(gè)別題目明顯偏慢時(shí)翻到該題的工具調(diào)用明細(xì)看是哪個(gè)工具拖了后腿。平均工具調(diào)用次數(shù)偏少可能說(shuō)明模型跳步偏多則大概率是工具描述不清晰模型在反復(fù)試錯(cuò)。每題的 Summary 與 Feedback這是模型被要求寫(xiě)下的復(fù)盤(pán)Feedback 部分常直接點(diǎn)名某個(gè)工具命名含糊、參數(shù)沒(méi)文檔、報(bào)錯(cuò)看不懂。整份報(bào)告里它最有價(jià)值往往直接就是改進(jìn)清單。模型解不出的題會(huì)返回 NOT_FOUND 計(jì)為失敗失敗案例同樣值得細(xì)看。發(fā)現(xiàn)瓶頸、改進(jìn)、復(fù)測(cè)的循環(huán)評(píng)估的價(jià)值不在一次分?jǐn)?shù)而在讓你能證明改動(dòng)有效。循環(huán)這么做先看失敗題模型答錯(cuò)前調(diào)用了哪些工具、工具返回了什么瓶頸通常就藏在返回內(nèi)容里。再看 Feedback 的共性問(wèn)題如果多道題都在抱怨工具 X 的參數(shù)描述不清楚這就是明確信號(hào)。一次只改一處比如只重寫(xiě)一個(gè)工具的描述然后用同一份測(cè)試文件重跑。對(duì)比兩份報(bào)告準(zhǔn)確率是否上升、耗時(shí)是否下降、工具調(diào)用次數(shù)是否收斂三項(xiàng)一起看比單看準(zhǔn)確率更可靠。測(cè)試文件不用動(dòng)改動(dòng)的只是你的服務(wù)本身。這樣每一輪復(fù)測(cè)的差異才能真正歸因到那次修改上。【免費(fèi)下載鏈接】skillsPublic repository for Agent Skills項(xiàng)目地址: https://gitcode.com/GitHub_Trending/skills3/skills創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考