測試解讀:5種Claude Code框架同場對決,它為什么拿了80.6分)
人工智能AI Agent多智能體Agent 編排Agent 評測AI 技能開發(fā)工具CLI【免費下載鏈接】oh-my-agentMechanical verification for AI coding agents — skills pack or full harness (stop-hook gates, artifact checks, independent judges).項目地址https://gitcode.com/gh_mirrors/oh/oh-my-agent點擊查看免費下載oh-my-agent 基準(zhǔn)測試benchmark把 5 種 Claude Code 框架harness放進(jìn)同一考場用同一份提示詞、同一個模型、相同的預(yù)算上限讓它們各自從零構(gòu)建一個「兒童 3D 創(chuàng)意學(xué)習(xí)平臺」再由自動化腳本 LLM 評審按五維指標(biāo)打分。最終 oh-my-agentoma以80.6 分奪冠領(lǐng)先第二名 6.5 分。這篇文章帶你讀懂這份成績單測試怎么設(shè)計、80.6 分從哪里來、以及結(jié)果里那些誠實的「扣分項」。一、測試怎么設(shè)計同一份提示詞五支隊伍挑戰(zhàn)任務(wù)從零構(gòu)建一個 3D 創(chuàng)意平臺benchmarks/prompt.md 是這場比賽的「考題」為小學(xué) 6 年級以下兒童構(gòu)建一個 AI 驅(qū)動的 3D 創(chuàng)意學(xué)習(xí)平臺 MVP要求包含 3D 世界構(gòu)建器、拖拽放置物體、AI 創(chuàng)意伙伴面板、探索模式、作品畫廊、保存/加載技術(shù)棧指定為 Next.js TypeScript React Three Fiber Tailwind并要求產(chǎn)出從產(chǎn)品概念、用戶畫像、數(shù)據(jù)庫設(shè)計到起步代碼的13 項交付物。五名選手與「控制變量」選手機制vanilla裸 Claude Code不裝任何插件/技能基線omaoh-my-agent以源碼形式植入項目.agents/.claude/omcoh-my-claudecode通過--plugin-dir插件加載ecceverything-claude-code安裝到用戶級~/.claude/superpowerssuperpowers通過--plugin-dir插件加載測試的關(guān)鍵在于「同條件」同一模型claude-opus-4-6、--effort max、單次運行預(yù)算上限 $20、60 分鐘超時、每個選手獨立隔離的$HOME、完全非交互的claude -p模式、零人工干預(yù)。所有控制變量都記錄在 benchmarks/design.md 中。二、五維評分體系滿分 100 分怎么算評分標(biāo)準(zhǔn)定義在 benchmarks/scoring/multiaxis/rubric.json共五個維度維度分值考察什么打分方式?? 功能 Functional35能否構(gòu)建通過、45 秒內(nèi)啟動、5 條用戶旅程可玩自動腳本 LLM 評審 規(guī)格 Spec15提示詞要求的 13 項交付物是否齊全 真實 API 加分LLM 評審 ×3 輪取均值 視覺 Visual20設(shè)計反模式、兒童友好度、一致性、可訪問性LLM 視覺評審 ×3 輪取均值? 工程 Engineering20路由/組件規(guī)模、類型安全、模塊化、密鑰安全靜態(tài)分析? 效率 Efficiency10完成輪次、耗時、單文件成本運行元數(shù)據(jù)為避免 LLM 單次判分的主觀波動規(guī)格軸和視覺軸的每一項都跑3 輪評審再取平均分?jǐn)?shù)的 0.67 就是「3 輪中 2 輪通過」的意思實現(xiàn)見 judge-multi.sh。三、最終成績單oma 80.6 分領(lǐng)先第二名 6.5 分修正上圖只保留一張同一圖片不重復(fù)引用??偡职駭?shù)據(jù)來自 benchmarks/README.md名次框架總分功能/35規(guī)格/15視覺/20工程/20效率/10 1oma80.63213.315.3155 2omc74.133.56.714.414.55 3superpowers72.9309.311.61484vanilla70.728.511.71212.565ecc70.228.59.713154一個值得注意的細(xì)節(jié)第二名的 omc功能分33.5其實比 oma 還高但規(guī)格分只有 6.7——它交了代碼卻沒交付完整的 13 項設(shè)計文檔。oma 的領(lǐng)先不是「代碼寫得更快」而是代碼和設(shè)計文檔兩手都硬。四、逐軸拆解80.6 分從哪里來功能軸 32/35唯一失分點是「保存-重載」oma 的構(gòu)建通過、dev server 在 45 秒內(nèi)返回 HTTP 200、TypeScript 嚴(yán)格模式 0 錯誤5 條用戶旅程中onboarding、builder、gallery 全過。失分點在 save-reload刷新頁面后孩子資料名還在但放置的物體會丟失世界數(shù)據(jù)沒持久化到 localStorage只拿到 1.5/3。規(guī)格軸 13.3/1513 項交付物通過 12 項oma 完成了產(chǎn)品概念、用戶畫像、用戶旅程、功能清單、信息架構(gòu)、UI 方向、技術(shù)架構(gòu)、數(shù)據(jù)庫設(shè)計、AI 提示詞系統(tǒng)、兒童安全、起步代碼、優(yōu)先屏幕共 12 項僅「分步實施計劃」一項缺失并因用環(huán)境變量配置調(diào)用了真實 AI API拿到 2/2 加分。誠實起見要指出上圖是評審截圖——輸入 help me 后 AI 返回的是兜底錯誤提示Hmm, I got confused for a moment所以 journey-ai 只拿到 1.5/3。視覺軸 15.3/20全場最高分來自「設(shè)計反模式」3 輪視覺評審均值反模式規(guī)避 4.3/5、兒童友好 4/5、設(shè)計一致性 4/5、可訪問性 3/5。對比一下就明白了vanilla 是整屏紫藍(lán)漸變 漂浮 emoji 的「典型 AI 味」反模式僅 2.3/5oma 用克制的淺色背景 卡片式布局被評審打出全場最高的 4.3/5。工程軸 15/20 與效率軸 5/10oma 的兩個短板工程strict 模式、0 個any、5 路由 11 組件、最大文件僅 164 行——全是高分但「誠實的延遲標(biāo)記」TODO/MVP 注釋0 個扣掉 4 分。效率31 輪是全場第二少但耗時 15m 56s全場最長、總成本 $4.04時間子項得 0 分??蚣茌喆螘r長成本源碼文件單文件成本vanilla428m 56s$2.3716$0.15oma3115m 56s$4.0421$0.19omc619m 02s$1.9214$0.14ecc7910m 20s$3.8422$0.17superpowers398m 13s$1.2818$0.07數(shù)據(jù)來自 benchmarks/README.md一句話總結(jié)oma 用更多的時間和錢換來了更完整的交付和更穩(wěn)的代碼質(zhì)量。五、誠實的邊界這些分?jǐn)?shù)要這樣讀oma 團(tuán)隊在 benchmarks/README.md 里主動列出了測試局限讀結(jié)果時建議記住這幾點superpowers 被強制繞過了 brainstorming 硬門檻——測的是「繞過門檻后的 superpowers」并非完全同條件對比每個框架只跑了一次——重跑一次可能產(chǎn)出不同的代碼80.6 不是「穩(wěn)定值」規(guī)格/視覺評審做了 3 輪取均值但 journey 評審依賴實時 dev server只能單次執(zhí)行2 分以內(nèi)的旅程差距應(yīng)視為噪聲oma 的 lint 扣分是有意的設(shè)計取舍oma 的理念是把 lint/typecheck 交給 git hooks 和 CI 層而不是讓 agent 在生成時自我檢查——單輪基準(zhǔn)會把這筆賬算在 agent 頭上。完整的逐項得分含每項證據(jù)可查 multiaxis-score.json 與匯總文件 multiaxis-summary.json。六、如何復(fù)現(xiàn)這場對決整個流程腳本化入口是 benchmarks/run.sh先順序跑完 5 個框架約 45 分鐘、$15–20 API 花費再用score.sh打分、judge-multi.sh多輪評審、build-report.sh生成報告。完整命令見 benchmarks/README.md。結(jié)語80.6 分的含金量不在于它「代碼寫得最快」——效率軸它只拿了 5/10——而在于它是五支隊伍中唯一在功能、規(guī)格、視覺、工程四個維度全面均衡的選手設(shè)計文檔 12/13、零類型錯誤、反模式規(guī)避全場第一。如果你正在為 Claude Code 挑選增強框架這份 benchmarks/ 目錄本身就是一份可復(fù)現(xiàn)、可審計的選型參考。贊分享人工智能AI Agent多智能體Agent 編排Agent 評測AI 技能開發(fā)工具CLI【免費下載鏈接】oh-my-agentMechanical verification for AI coding agents — skills pack or full harness (stop-hook gates, artifact checks, independent judges).項目地址https://gitcode.com/gh_mirrors/oh/oh-my-agent點擊查看免費下載相關(guān)推薦oh-my-opencode與Claude Code對比分析為什么開源方案更勝一籌oh my opencode與Claude Code對比分析為什么開源方案更勝一籌 在AI編程助手快速發(fā)展的今天開發(fā)者面臨著眾多選擇。Claude Code人工智能AI Agent代碼智能體多智能體MCP ClientsAgent 編排PMSuperButton陰影效果深度教程提升iOS應(yīng)用UI層次感的秘訣PMSuperButton陰影效果深度教程提升iOS應(yīng)用UI層次感的秘訣 在iOS應(yīng)用開發(fā)中按鈕作為用戶交互的核心元素其視覺效果直接影響整體UI質(zhì)感。 PNode-lru-cache基準(zhǔn)測試分析為什么它是最快的Node lru cache基準(zhǔn)測試分析為什么它是最快的 LRU緩存是優(yōu)化應(yīng)用性能的重要工具而node lru cache在眾多JavaScript LR緩存創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考