【免費(fèi)下載鏈接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.項(xiàng)目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact點(diǎn)擊查看免費(fèi)下載BIRD-Interact 是 ICLR 2026 Oral 論文提出的交互式 Text-to-SQL 評(píng)測基準(zhǔn)本文將帶你完整獲取它的三份數(shù)據(jù)集Lite 270 任務(wù)、Full 600 任務(wù)與 Mini-Interact 300 任務(wù)并搞定 PostgreSQL / SQLite 數(shù)據(jù)庫和 Ground Truth 的合并方法。一、先認(rèn)識(shí)BIRD-Interact動(dòng)態(tài)交互的Text-to-SQL基準(zhǔn)BIRD-Interact 重新定義了 Text-to-SQL 的評(píng)測方式不再只看單輪問答而是讓用戶模擬器User Simulator與模型進(jìn)行多輪對(duì)話逐步消解用戶查詢中的歧義Ambiguity最終驗(yàn)證模型寫出的 SQL 是否能真實(shí)執(zhí)行并通過測試用例。整個(gè)基準(zhǔn)由三大部件組成這也是下載數(shù)據(jù)集時(shí)需要一并準(zhǔn)備的內(nèi)容組成部件說明? 數(shù)據(jù)庫Lite/Full 為 PostgreSQL18/22 個(gè)庫Mini-Interact 為 SQLite 任務(wù)數(shù)據(jù)含歧義注入查詢、追問、外部知識(shí)等字段? Ground Truth標(biāo)準(zhǔn)答案 SQL 與可執(zhí)行測試用例需單獨(dú)申請(qǐng)?jiān)摶鶞?zhǔn)提供兩種評(píng)測模式下載時(shí)可根據(jù)研究目標(biāo)選擇c-Interact對(duì)話式交互被動(dòng)模式流程固定——澄清歧義 → 提交 SQL → 追問對(duì)應(yīng) bird_interact_conv/ 模塊a-Interact智能體式交互主動(dòng)模式Agent 自主決定何時(shí)查知識(shí)庫、何時(shí)問用戶、何時(shí)執(zhí)行 SQL對(duì)應(yīng) bird_interact_agent/ 模塊研究還發(fā)現(xiàn)隨著用戶耐心值交互輪數(shù)預(yù)算增加部分模型的成功率持續(xù)上升展現(xiàn)出 Interaction-Time Scaling交互時(shí)擴(kuò)展現(xiàn)象二、三大版本怎么選Lite 270 / Full 600 / Mini-Interact版本任務(wù)數(shù)數(shù)據(jù)庫特點(diǎn)適用場景bird-interact-lite270PostgreSQL18 庫 / 175 表高質(zhì)量真實(shí)業(yè)務(wù)任務(wù)快速實(shí)驗(yàn)、上手首選bird-interact-full600PostgreSQL22 庫 / 244 表覆蓋 BI、CRUD 全操作當(dāng)前最強(qiáng)模型成功率僅約 16%嚴(yán)肅研究、刷榜mini-interact300SQLite僅 SELECT歧義消解與追問解耦可本地輕量運(yùn)行無 Docker 環(huán)境、個(gè)人快速驗(yàn)證 新手建議先用Lite 270跑通流程再用Mini-Interact做本地調(diào)試最后上Full 600。三、第一步克隆倉庫獲取評(píng)測代碼所有數(shù)據(jù)集的評(píng)測腳本、用戶模擬器與合并工具都在倉庫中先克隆這是唯一需要 clone 的步驟git clone https://gitcode.com/gh_mirrors/bi/BIRD-Interact倉庫中你后續(xù)會(huì)用到的關(guān)鍵文件README.md總覽、環(huán)境搭建與數(shù)據(jù)集字段說明combine_public_with_gt.py公開數(shù)據(jù)與 Ground Truth 的合并腳本evaluation/PostgreSQL 四種數(shù)據(jù)庫類型的評(píng)測源碼mini_interact/README.mdMini-Interact 數(shù)據(jù)集說明四、下載Lite 270與Full 600數(shù)據(jù)集PostgreSQL版1. 獲取公開數(shù)據(jù)Lite 與 Full 數(shù)據(jù)集托管在 HuggingFace 上在 HuggingFace 搜索框中分別查找數(shù)據(jù)集卡片Litebirdsql/bird-interact-lite270 任務(wù)Fullbirdsql/bird-interact-full600 任務(wù)下載后將數(shù)據(jù)集放入對(duì)應(yīng)模塊的data/目錄例如 bird_interact_conv/ 或 bird_interact_agent/ 下。?? 注意為防止數(shù)據(jù)泄露公開數(shù)據(jù)不含sol_sql標(biāo)準(zhǔn)答案和test_cases測試用例字段需要單獨(dú)申請(qǐng)見下節(jié)。2. 申請(qǐng)Ground Truth與Test Cases官方郵件會(huì)自動(dòng)發(fā)送完整字段文件只需按格式發(fā)送郵件到bird.bench25gmail.com標(biāo)題必須帶指定標(biāo)簽數(shù)據(jù)集郵件標(biāo)題標(biāo)簽bird-interact-lite[bird-interact-lite GTTest Cases]bird-interact-full[bird-interact-full GTTest Cases]3. 合并公開數(shù)據(jù)與Ground Truth收到 GT 文件后用倉庫根目錄的 combine_public_with_gt.py 按instance_id自動(dòng)合并。以 Full 為例# (1) 生成合并后的完整數(shù)據(jù)文件 python combine_public_with_gt.py \ /path/to/bird-interact-full/bird_interact_data.jsonl \ /path/to/bird_interact_full_gt_kg_testcases_08022.jsonl \ /path/to/bird_interact_data.jsonl # (2) 用合并結(jié)果替換原公開數(shù)據(jù) cp /path/to/bird_interact_data.jsonl /path/to/bird-interact-full/bird_interact_data.jsonlLite 與 Mini 版本操作相同只需替換對(duì)應(yīng)的公開數(shù)據(jù)與 GT 路徑。每條任務(wù)數(shù)據(jù)的核心字段詳見 README.md 的 Dataset Details 一節(jié)amb_user_query注入歧義的用戶查詢sol_sqlGround Truth SQLtest_cases驗(yàn)證預(yù)測 SQL 的可執(zhí)行測試用例preprocess_sql/clean_up_sql執(zhí)行前后對(duì)數(shù)據(jù)庫的預(yù)處理與還原follow_up/external_knowledge追問標(biāo)注與外部知識(shí)4. 加載PostgreSQL數(shù)據(jù)庫Lite 與 Full 的數(shù)據(jù)庫有兩種獲取方式方式 ADocker 預(yù)構(gòu)建鏡像推薦無需手動(dòng)下載數(shù)據(jù)庫轉(zhuǎn)儲(chǔ)文件cd env docker compose pull docker compose up -d這會(huì)啟動(dòng)三個(gè)容器bird_interact_postgresqlLite 數(shù)據(jù)庫、bird_interact_postgresql_fullFull 數(shù)據(jù)庫和bird_interact_eval評(píng)測環(huán)境。只跑 Lite 可注釋掉postgresql_full服務(wù)以加快初始化。方式 B手動(dòng)導(dǎo)入自行下載 Lite / Full 的數(shù)據(jù)庫轉(zhuǎn)儲(chǔ)文件Google Drive 鏈接見 README.md Environment Setup 一節(jié)解壓后分別重命名為env/postgre_table_dumps與env/postgre_table_dumps_full再使用docker-compose.build.yml構(gòu)建鏡像。啟動(dòng)后務(wù)必檢查數(shù)據(jù)庫是否加載成功在評(píng)測容器內(nèi)執(zhí)行docker compose exec bird_interact_eval bash cd /app/env python check_db_metadata.py --host bird_interact_postgresql # Lite python check_db_metadata.py --host bird_interact_postgresql_full # Full預(yù)期結(jié)果Lite 為18 庫 / 175 表 / 2286 列Full 為22 庫 / 244 表 / 2011 列。若日志出現(xiàn)Errors occurred during import:說明數(shù)據(jù)庫未正確加載評(píng)測分?jǐn)?shù)會(huì)異常偏低官方公告特別強(qiáng)調(diào)了這一點(diǎn)。五、下載Mini-InteractSQLite本地輕量版Mini-Interact 是便攜版300 個(gè) SQLite 任務(wù)歧義消解與追問解耦無需 Docker 即可本地評(píng)測。詳細(xì)說明見 mini_interact/README.md。獲取步驟在 HuggingFace 中查找數(shù)據(jù)集卡片birdsql/mini-interact下載其中的 SQLite 數(shù)據(jù)庫文件與mini_interact.jsonl數(shù)據(jù)文件將 SQLite 數(shù)據(jù)庫放入 mini_interact/knowledge_based/mini_interact_conv/data/ 目錄數(shù)據(jù)文件放為data/mini_interact.jsonl配置模型 API Key 后通過 mini_interact/knowledge_based/mini_interact_conv/pipeline/run_Mini_Interact.sh 即可運(yùn)行對(duì)話式評(píng)測當(dāng)前已發(fā)布的版本為知識(shí)型歧義Knowledge-Based版本僅支持 SELECT 查詢個(gè)性化歧義Personalized與 CRUD 操作在路線圖中可關(guān)注 mini_interact/README.md 的 Roadmap 表格。六、進(jìn)階使用BIRD-Interact-ADK并行評(píng)測如果你的研究需要替換 Agent 框架或并行跑實(shí)驗(yàn)可以改用官方 ADK 實(shí)現(xiàn) BIRD-Interact-ADK/。它把系統(tǒng)拆成三個(gè)獨(dú)立微服務(wù)system_agent6000 端口、user_simulator6001 端口、db_environment6002 端口支持任意 LiteLLM 兼容的模型并通過每任務(wù)獨(dú)立數(shù)據(jù)庫副本實(shí)現(xiàn)無鎖并發(fā)其數(shù)據(jù)集加載邏輯與上文完全一致Lite 18 庫 / Full 22 庫詳細(xì)步驟見 BIRD-Interact-ADK/README.md。七、常見問題速查問題解決方法評(píng)測分?jǐn)?shù)異常低檢查 Docker 日志確認(rèn)數(shù)據(jù)庫全部加載成功不要跳過元數(shù)據(jù)校驗(yàn)數(shù)據(jù)缺sol_sql/test_cases正常現(xiàn)象公開數(shù)據(jù)刻意剔除需郵件申請(qǐng)后用 combine_public_with_gt.py 合并跑 Full 時(shí)連錯(cuò)數(shù)據(jù)庫將 evaluation/ 中postgresql_utils.py的 host 從bird_interact_postgresql改為bird_interact_postgresql_full用戶模擬器解析 SQL 報(bào)錯(cuò)在bird_interact_eval環(huán)境執(zhí)行pip install sqlglot26.16.4或重建容器到這里L(fēng)ite 270、Full 600 與 Mini-Interact 三份數(shù)據(jù)集、PostgreSQL / SQLite 數(shù)據(jù)庫以及 Ground Truth 的完整獲取鏈路就跑通了。接下來按 bird_interact_conv/README.md、bird_interact_agent/README.md 的 Quick Start 跑通第一組實(shí)驗(yàn)即可祝你在 BIRD-Interact 排行榜上取得好成績 贊分享【免費(fèi)下載鏈接】BIRD-Interact[ICLR 2026 Oral] BIRD-INTERACT: Re-imagines Text-to-SQL evaluation via lens of dynamic interactions.項(xiàng)目地址https://gitcode.com/gh_mirrors/bi/BIRD-Interact點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Notepad-- 目錄查找替換十分鐘三行命令刷掉整個(gè)目錄的舊版本號(hào)Notepad 目錄查找替換十分鐘三行命令刷掉整個(gè)目錄的舊版本號(hào) 同一個(gè)配置值散在四十個(gè)文件里挨個(gè)打開逐個(gè)改改到第二十遍就開始懷疑人生。Notepad 是APScheduler任務(wù)結(jié)果處理完全指南如何獲取和分析任務(wù)執(zhí)行結(jié)果APScheduler任務(wù)結(jié)果處理完全指南如何獲取和分析任務(wù)執(zhí)行結(jié)果 APScheduler是一個(gè)功能強(qiáng)大的Python任務(wù)調(diào)度庫能夠幫助開發(fā)者輕松管理定時(shí)任務(wù)調(diào)度后端learn2learn任務(wù)轉(zhuǎn)換教程如何從任何PyTorch數(shù)據(jù)集創(chuàng)建小樣本任務(wù)learn2learn任務(wù)轉(zhuǎn)換教程如何從任何PyTorch數(shù)據(jù)集創(chuàng)建小樣本任務(wù) 小樣本學(xué)習(xí)是元學(xué)習(xí)中的核心挑戰(zhàn)而learn2learn庫提供了強(qiáng)大的任務(wù)轉(zhuǎn)換上一篇aiohttp 客戶端中間件實(shí)戰(zhàn)指南重試、日志、Token 刷新與 SSRF 防護(hù)下一篇Gatsby 中借助 gatsby-remark-prismjs 與 Emotion 實(shí)現(xiàn) Markdown 代碼高亮using-emotion-prismjs 實(shí)戰(zhàn)解析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考