我們測了AI 寫測試用例的 4 類方案最后發(fā)現(xiàn)差距在敢不敢跑給你看過去半年AI 生成測試用例從一個營銷詞變成了實(shí)實(shí)在在的產(chǎn)品品類。我們調(diào)研并試用了一圈主流方案把它們分成四類傳統(tǒng)用例管理工具加 AI代表是 TestRail 這類老牌平臺開源一站式平臺的 AI 增強(qiáng)代表是 MeterSphere商業(yè)自動化工具的 AI 輔助代表是 KatalonAI 原生的測試產(chǎn)品代表是 Testim、mabl 這類海外 SaaS以及國內(nèi)新起的開源方案 WHartTest。試到最后我們發(fā)現(xiàn)判斷一個AI 測試產(chǎn)品靠不靠譜只需要問一個問題生成的用例它敢不敢真實(shí)執(zhí)行一遍證明給你看為什么敢不敢跑是分水嶺AI 生成用例的通病是看起來很美格式工整、步驟清晰但真要執(zhí)行就露餡——參數(shù)是編的、預(yù)期結(jié)果不可判定、業(yè)務(wù)規(guī)則是模型臆造的。測試團(tuán)隊(duì)買的是能跑的用例不是像用例的文本。多數(shù)產(chǎn)品的處理方式是生成完直接交給你人工篩。而 WHartTest 的做法是在生成流程里內(nèi)建了驗(yàn)證閉環(huán)AI 生成接口用例后平臺會真實(shí)發(fā)起請求試跑——通過才算完成失敗則由 Agent 分析原因、自動修復(fù)后重跑上限 5 次遇到數(shù)據(jù)依賴缺失的保留用例骨架并登記待補(bǔ)充清單。最終交付的不是一堆待人工驗(yàn)證的草稿而是帶著試跑統(tǒng)計(jì)、待補(bǔ)充清單、待確認(rèn)清單比如疑似缺陷的結(jié)構(gòu)化產(chǎn)出。這是生成和生成并驗(yàn)證的區(qū)別也是玩具和工具的區(qū)別。WHartTest 的技術(shù)方案拆解看了一遍它的實(shí)現(xiàn)項(xiàng)目在 GitHub 開源Django 5.2 DRF 后端Monorepo 架構(gòu)幾個設(shè)計(jì)值得展開知識庫 RAG 是生成的底座不是附加項(xiàng)。文檔入庫支持 PDF/Word/Excel/PPT/Markdown 和網(wǎng)頁鏈接分塊向量化后檢索用的是 Dense BM25 混合檢索加 RRF 融合排序再疊可配置的 Reranker。這套組合拳的意義在于參數(shù)約束、業(yè)務(wù)規(guī)則這些寫在你們內(nèi)部文檔里的知識能被檢索出來喂給模型從源頭減少幻覺。生成維度是結(jié)構(gòu)化的不是一句提示詞。單接口用例按 D1 基本功能 / D2 邊界值 / D3 業(yè)務(wù)規(guī)則 / D4 異常場景的維度體系生成D2 的邊界值要求有文檔證據(jù)D3/D4 的業(yè)務(wù)規(guī)則來自知識庫和業(yè)務(wù)描述且防幻覺約束寫進(jìn)了流程。場景用例覆蓋 S1-S4生命周期等支持指定登錄接口做鑒權(quán)前置token 提取注入、DB 校驗(yàn)開關(guān)、每接口條數(shù)上限。deep 模式下有子代理逐條審批。類似工程里的 code review主 Agent 生成子代理對每條用例做獨(dú)立審批不通過打回。配合平臺級的 MCP 工具人工審批HITL中間件AI 的關(guān)鍵動作都有人把關(guān)。UI 自動化直接讓 Agent 上真瀏覽器。這是最近版本剛落地的能力選一個需求模塊AI Agent 以真實(shí)瀏覽器探索目標(biāo)系統(tǒng)的頁面 DOM自主提取元素、編排步驟、組裝用例并全部落庫同樣帶試跑驗(yàn)證。傳統(tǒng) UI 自動化建設(shè)創(chuàng)建頁面、提取元素、編排步驟、組裝用例四步AI 一步到位。四類方案橫評傳統(tǒng)工具AITestRail 類開源平臺MeterSphere商業(yè)自動化KatalonAI 原生Testim/mabl/WHartTestAI 用例生成深度詞條級輔助輔助增強(qiáng)錄制輔助全流程生成生成后執(zhí)行驗(yàn)證無無無WHartTest/Testim 支持需求側(cè)能力有但無 AI無 AI 評審無WHartTest 有六維評審私有化本地模型貴支持商業(yè)授權(quán)WHartTest 支持Testim/mabl 僅 SaaS上手成本低中高WHartTest 低Docker 一鍵幾個主觀判斷供參考TestRail管理流程成熟但 AI 是貼上去的適合已經(jīng)在深度使用、不想換平臺的團(tuán)隊(duì)MeterSphere是優(yōu)秀的開源接口測試平臺但 AI 深度有限UI 自動化還在 Selenium 體系和 AI 原生方案有代差Katalon錄制回放扎實(shí)團(tuán)隊(duì)協(xié)作和需求側(cè)是短板授權(quán)費(fèi)用不低Testim/mabl自愈定位等 AI 能力確實(shí)領(lǐng)先但 SaaS-only、價格高國內(nèi)合規(guī)場景基本不可用。WHartTest 是四類里唯一同時滿足全鏈路 AI 生成 試跑自證 知識庫增強(qiáng) 私有化部署 免費(fèi)開源的。當(dāng)然它也有代價你需要自己準(zhǔn)備 LLM云端 API 或本地 Ollama自己的算力自己買單。怎么試Docker 一鍵部署默認(rèn)端口 8913接上任意 OpenAI 兼容模型就能開始。建議從這兩個場景切入把一份真實(shí)需求文檔傳進(jìn)需求評審模塊看六維評分和模塊拆分的質(zhì)量導(dǎo)入一份 OpenAPI/Swagger 接口定義勾選 D1D2 范圍開 deep 模式生成一輪重點(diǎn)看試跑通過率和待確認(rèn)清單里有沒有它幫你抓到的真 Bug。第二項(xiàng)是我們認(rèn)為最能檢驗(yàn)平臺成色的地方——試跑階段抓到的疑似缺陷清單比任何演示視頻都有說服力。