跑通首次基準(zhǔn)評(píng)測(cè))
【免費(fèi)下載鏈接】XL-DocBench項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載XL-DocBench 是一個(gè)面向超長(zhǎng)文檔理解Extra-Long Document Understanding的基準(zhǔn)評(píng)測(cè)數(shù)據(jù)集包含 292 份真實(shí)專業(yè)文檔和 1,345 道經(jīng) 194 位人類專家逐條核驗(yàn)的問答題。它要求系統(tǒng)不僅讀懂文檔還要找到證據(jù)、組合多方支撐、適用正確規(guī)則并知道何時(shí)該拒答。本教程帶你用一條命令、約 5 分鐘的時(shí)間完成從獲取數(shù)據(jù)到跑通首次基準(zhǔn)評(píng)測(cè)的完整流程。為什么選擇 XL-DocBench與常見的短文檔問答基準(zhǔn)不同XL-DocBench 考察的是數(shù)百甚至數(shù)千頁(yè)文檔下的證據(jù)推理能力非常適合用來檢驗(yàn)?zāi)愕拈L(zhǎng)上下文模型或 RAG 系統(tǒng)。本次保守發(fā)布版strict release的關(guān)鍵數(shù)據(jù)指標(biāo)數(shù)量文檔總數(shù)292 份完整序列上下文最多達(dá) 2,935 頁(yè)單文檔問答1,191 題跨文檔問答154 題2–12 份文檔聯(lián)合上下文專家核驗(yàn)問題1,345 題需多頁(yè)證據(jù)的題目76.2%要求回答 None 的題目188 題考驗(yàn)拒答能力題目覆蓋金融、法律、醫(yī)療、理工、學(xué)術(shù)、文學(xué)六大專業(yè)領(lǐng)域。當(dāng)前公開榜單上最強(qiáng)系統(tǒng) GPT-5.4 的 Accuracy 也只有38.36滿分 100可見難度之高。倉(cāng)庫(kù)結(jié)構(gòu)速覽 ?在開始之前先了解你即將打交道的幾個(gè)文件文件說明data/documents.jsonl292 份文檔的元數(shù)據(jù)與公開 URLdata/qa_single_doc.jsonl單文檔問答題目data/qa_cross_doc.jsonl跨文檔問答題目code/quickstart.py一條命令的數(shù)據(jù)評(píng)測(cè)冒煙測(cè)試code/evaluate.py獨(dú)立的確定性評(píng)測(cè)器零依賴manifest.json發(fā)布統(tǒng)計(jì)信息與文件清單results/scores.jsonl13 個(gè)可復(fù)現(xiàn)系統(tǒng)的逐題得分一條命令跑通首次評(píng)測(cè)分步指南 第 1 步獲取數(shù)據(jù)約 1 分鐘在終端中執(zhí)行以下命令克隆倉(cāng)庫(kù)git clone https://gitcode.com/hf_mirrors/microsoft/XL-DocBench cd XL-DocBench 所有腳本僅依賴 Python 標(biāo)準(zhǔn)庫(kù)無需安裝任何第三方包。推薦使用uv來運(yùn)行省去環(huán)境配置。第 2 步運(yùn)行冒煙測(cè)試核心一條命令uv run --no-project python code/quickstart.py這一條命令會(huì)一口氣完成四件事校驗(yàn)三份數(shù)據(jù)表與 ID 唯一性、核對(duì)證據(jù)頁(yè)元數(shù)據(jù)、檢查逐題得分覆蓋是否完整、并運(yùn)行一個(gè) 5 題的評(píng)測(cè)示例?？吹饺缦螺敵鼍驼f明環(huán)境完全就緒XL-DocBench smoke test: PASS data: 292 documents, 1,345 QA (1,191 single 154 cross) evidence items: 3,044 per-question scores: 13 systems sample metrics: Accuracy100.0, F1100.0, ANLS100.0? 看到PASS即代表數(shù)據(jù)完整、評(píng)測(cè)器工作正常。示例中滿分是因?yàn)閮?nèi)置了 5 條完美預(yù)測(cè)。第 3 步快速瀏覽數(shù)據(jù)可選uv run --no-project python code/examples/load_data.py該腳本會(huì)加載全部三張 JSONL 表并打印文檔數(shù)、題目數(shù)以及第一道問題幫助你直觀感受數(shù)據(jù)長(zhǎng)什么樣。示例記錄格式可參考 schema/release_format_sample.json。第 4 步用內(nèi)置示例跑一次真實(shí)評(píng)測(cè)官方內(nèi)置了一組 5 題示例gold 標(biāo)注 預(yù)測(cè)結(jié)果直接運(yùn)行uv run --no-project python code/evaluate.py \ --gold-files code/examples/gold_sample.jsonl \ --predictions code/examples/predictions_sample.jsonl示例文件見 code/examples/gold_sample.jsonl 與 code/examples/predictions_sample.jsonl。這一步走通了離跑完整 1,345 題就只差把真實(shí)預(yù)測(cè)接進(jìn)來。評(píng)測(cè)指標(biāo)解讀三個(gè)數(shù)字分別代表什么evaluate.py 報(bào)告三個(gè)確定性指標(biāo)均為規(guī)則式打分不調(diào)用任何模型Accuracy寬松準(zhǔn)確率預(yù)測(cè)與標(biāo)準(zhǔn)答案經(jīng)過歸一化后精確匹配才算對(duì)衡量答對(duì)的硬指標(biāo)Token F1按 token 粒度計(jì)算 F1答對(duì)一部分也能拿到部分分更平滑ANLS容錯(cuò)版準(zhǔn)確率允許答案存在輕微字符差異。?? 注意缺失、失敗或無法解析的預(yù)測(cè)一律計(jì)為錯(cuò)誤除非顯式啟用--ignore-missing參數(shù)。如何評(píng)測(cè)自己的模型讓模型回答 1,345 道題后把結(jié)果整理成 JSONL每題一行格式如下預(yù)測(cè)字段也接受model_answer、answer、response、output等別名{question_id: adubench_single_000001, prediction: the biggest single risk to human health worldwide} {question_id: adubench_cross_000001, prediction: macroprudential measures}然后執(zhí)行uv run --no-project python code/evaluate.py \ --predictions predictions.jsonl \ --output eval_report.json \ --per-question-csv per_question.csv產(chǎn)出整體報(bào)告eval_report.json和逐題明細(xì)per_question.csv。你可以直接將自己的成績(jī)與 results/summary.json 中 13 個(gè)已發(fā)布系統(tǒng)對(duì)比——榜單第一名 GPT-5.4OCR 輸入的 Accuracy 為 38.36這是一個(gè)值得瞄準(zhǔn)的起點(diǎn)。常見問題 FAQ Q1沒有安裝uv怎么辦所有腳本只用 Python 標(biāo)準(zhǔn)庫(kù)可直接用系統(tǒng) Python 替代python3 code/quickstart.pyQ2冒煙測(cè)試報(bào) FAIL 了錯(cuò)誤信息會(huì)明確指出失敗原因如Missing release file、Duplicate document_id。最常見原因是數(shù)據(jù)文件不完整重新克隆倉(cāng)庫(kù)即可。Q3倉(cāng)庫(kù)里為什么沒有 PDF出于版權(quán)考慮本次發(fā)布僅包含文檔的公開 URL 與元數(shù)據(jù)見 data/documents.jsonl不重分發(fā)第三方 PDF。Q4evidence_pages的頁(yè)碼是什么含義使用從 1 開始的 PDF 頁(yè)索引而證據(jù)項(xiàng)evidence item中的頁(yè)碼保留標(biāo)注員原始引用印刷頁(yè)碼可能與 PDF 頁(yè)索引不同manifest.json 中有完整說明。寫在最后從克隆倉(cāng)庫(kù)到跑通首次評(píng)測(cè)整個(gè)流程只需要一條核心命令uv run --no-project python code/quickstart.py接下來你可以① 用 code/examples/load_data.py 深入瀏覽題目② 接入自己的長(zhǎng)上下文模型或 RAG 系統(tǒng)③ 用 code/evaluate.py 完成全部 1,345 題的評(píng)測(cè)看看你的系統(tǒng)能否超越當(dāng)前榜首。祝評(píng)測(cè)順利贊分享【免費(fèi)下載鏈接】XL-DocBench項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評(píng)測(cè)安裝與opb命令教程如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評(píng)測(cè)安裝與opb命令教程 Omni Parse Bench 是 Datala數(shù)據(jù)集AI 評(píng)測(cè)OCR數(shù)據(jù)標(biāo)注5分鐘跑通第一次推理Qwen3-4B-Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程5分鐘跑通第一次推理Qwen3 4B Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程 Qwen3 4B Instruct_ra5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程 Backburner 通過一根 USB C 線讓你的 iPhone上一篇japicmp過濾功能全攻略如何精確控制比較范圍包/類/方法/注解下一篇WebGazer.js革命性眼動(dòng)追蹤如何用普通攝像頭實(shí)現(xiàn)網(wǎng)頁(yè)用戶行為分析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 XL-DocBench快速入門教程：一條命令如何在5分鐘內(nèi)跑通首次基準(zhǔn)評(píng)測(cè)
【免費(fèi)下載鏈接】XL-DocBench項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載XL-DocBench 是一個(gè)面向超長(zhǎng)文檔理解Extra-Long Document Understanding的基準(zhǔn)評(píng)測(cè)數(shù)據(jù)集包含 292 份真實(shí)專業(yè)文檔和 1,345 道經(jīng) 194 位人類專家逐條核驗(yàn)的問答題。它要求系統(tǒng)不僅讀懂文檔還要找到證據(jù)、組合多方支撐、適用正確規(guī)則并知道何時(shí)該拒答。本教程帶你用一條命令、約 5 分鐘的時(shí)間完成從獲取數(shù)據(jù)到跑通首次基準(zhǔn)評(píng)測(cè)的完整流程。為什么選擇 XL-DocBench與常見的短文檔問答基準(zhǔn)不同XL-DocBench 考察的是數(shù)百甚至數(shù)千頁(yè)文檔下的證據(jù)推理能力非常適合用來檢驗(yàn)?zāi)愕拈L(zhǎng)上下文模型或 RAG 系統(tǒng)。本次保守發(fā)布版strict release的關(guān)鍵數(shù)據(jù)指標(biāo)數(shù)量文檔總數(shù)292 份完整序列上下文最多達(dá) 2,935 頁(yè)單文檔問答1,191 題跨文檔問答154 題2–12 份文檔聯(lián)合上下文專家核驗(yàn)問題1,345 題需多頁(yè)證據(jù)的題目76.2%要求回答 None 的題目188 題考驗(yàn)拒答能力題目覆蓋金融、法律、醫(yī)療、理工、學(xué)術(shù)、文學(xué)六大專業(yè)領(lǐng)域。當(dāng)前公開榜單上最強(qiáng)系統(tǒng) GPT-5.4 的 Accuracy 也只有38.36滿分 100可見難度之高。倉(cāng)庫(kù)結(jié)構(gòu)速覽 ?在開始之前先了解你即將打交道的幾個(gè)文件文件說明data/documents.jsonl292 份文檔的元數(shù)據(jù)與公開 URLdata/qa_single_doc.jsonl單文檔問答題目data/qa_cross_doc.jsonl跨文檔問答題目code/quickstart.py一條命令的數(shù)據(jù)評(píng)測(cè)冒煙測(cè)試code/evaluate.py獨(dú)立的確定性評(píng)測(cè)器零依賴manifest.json發(fā)布統(tǒng)計(jì)信息與文件清單results/scores.jsonl13 個(gè)可復(fù)現(xiàn)系統(tǒng)的逐題得分一條命令跑通首次評(píng)測(cè)分步指南 第 1 步獲取數(shù)據(jù)約 1 分鐘在終端中執(zhí)行以下命令克隆倉(cāng)庫(kù)git clone https://gitcode.com/hf_mirrors/microsoft/XL-DocBench cd XL-DocBench 所有腳本僅依賴 Python 標(biāo)準(zhǔn)庫(kù)無需安裝任何第三方包。推薦使用uv來運(yùn)行省去環(huán)境配置。第 2 步運(yùn)行冒煙測(cè)試核心一條命令uv run --no-project python code/quickstart.py這一條命令會(huì)一口氣完成四件事校驗(yàn)三份數(shù)據(jù)表與 ID 唯一性、核對(duì)證據(jù)頁(yè)元數(shù)據(jù)、檢查逐題得分覆蓋是否完整、并運(yùn)行一個(gè) 5 題的評(píng)測(cè)示例?？吹饺缦螺敵鼍驼f明環(huán)境完全就緒XL-DocBench smoke test: PASS data: 292 documents, 1,345 QA (1,191 single 154 cross) evidence items: 3,044 per-question scores: 13 systems sample metrics: Accuracy100.0, F1100.0, ANLS100.0? 看到PASS即代表數(shù)據(jù)完整、評(píng)測(cè)器工作正常。示例中滿分是因?yàn)閮?nèi)置了 5 條完美預(yù)測(cè)。第 3 步快速瀏覽數(shù)據(jù)可選uv run --no-project python code/examples/load_data.py該腳本會(huì)加載全部三張 JSONL 表并打印文檔數(shù)、題目數(shù)以及第一道問題幫助你直觀感受數(shù)據(jù)長(zhǎng)什么樣。示例記錄格式可參考 schema/release_format_sample.json。第 4 步用內(nèi)置示例跑一次真實(shí)評(píng)測(cè)官方內(nèi)置了一組 5 題示例gold 標(biāo)注 預(yù)測(cè)結(jié)果直接運(yùn)行uv run --no-project python code/evaluate.py \ --gold-files code/examples/gold_sample.jsonl \ --predictions code/examples/predictions_sample.jsonl示例文件見 code/examples/gold_sample.jsonl 與 code/examples/predictions_sample.jsonl。這一步走通了離跑完整 1,345 題就只差把真實(shí)預(yù)測(cè)接進(jìn)來。評(píng)測(cè)指標(biāo)解讀三個(gè)數(shù)字分別代表什么evaluate.py 報(bào)告三個(gè)確定性指標(biāo)均為規(guī)則式打分不調(diào)用任何模型Accuracy寬松準(zhǔn)確率預(yù)測(cè)與標(biāo)準(zhǔn)答案經(jīng)過歸一化后精確匹配才算對(duì)衡量答對(duì)的硬指標(biāo)Token F1按 token 粒度計(jì)算 F1答對(duì)一部分也能拿到部分分更平滑ANLS容錯(cuò)版準(zhǔn)確率允許答案存在輕微字符差異。?? 注意缺失、失敗或無法解析的預(yù)測(cè)一律計(jì)為錯(cuò)誤除非顯式啟用--ignore-missing參數(shù)。如何評(píng)測(cè)自己的模型讓模型回答 1,345 道題后把結(jié)果整理成 JSONL每題一行格式如下預(yù)測(cè)字段也接受model_answer、answer、response、output等別名{question_id: adubench_single_000001, prediction: the biggest single risk to human health worldwide} {question_id: adubench_cross_000001, prediction: macroprudential measures}然后執(zhí)行uv run --no-project python code/evaluate.py \ --predictions predictions.jsonl \ --output eval_report.json \ --per-question-csv per_question.csv產(chǎn)出整體報(bào)告eval_report.json和逐題明細(xì)per_question.csv。你可以直接將自己的成績(jī)與 results/summary.json 中 13 個(gè)已發(fā)布系統(tǒng)對(duì)比——榜單第一名 GPT-5.4OCR 輸入的 Accuracy 為 38.36這是一個(gè)值得瞄準(zhǔn)的起點(diǎn)。常見問題 FAQ Q1沒有安裝uv怎么辦所有腳本只用 Python 標(biāo)準(zhǔn)庫(kù)可直接用系統(tǒng) Python 替代python3 code/quickstart.pyQ2冒煙測(cè)試報(bào) FAIL 了錯(cuò)誤信息會(huì)明確指出失敗原因如Missing release file、Duplicate document_id。最常見原因是數(shù)據(jù)文件不完整重新克隆倉(cāng)庫(kù)即可。Q3倉(cāng)庫(kù)里為什么沒有 PDF出于版權(quán)考慮本次發(fā)布僅包含文檔的公開 URL 與元數(shù)據(jù)見 data/documents.jsonl不重分發(fā)第三方 PDF。Q4evidence_pages的頁(yè)碼是什么含義使用從 1 開始的 PDF 頁(yè)索引而證據(jù)項(xiàng)evidence item中的頁(yè)碼保留標(biāo)注員原始引用印刷頁(yè)碼可能與 PDF 頁(yè)索引不同manifest.json 中有完整說明。寫在最后從克隆倉(cāng)庫(kù)到跑通首次評(píng)測(cè)整個(gè)流程只需要一條核心命令uv run --no-project python code/quickstart.py接下來你可以① 用 code/examples/load_data.py 深入瀏覽題目② 接入自己的長(zhǎng)上下文模型或 RAG 系統(tǒng)③ 用 code/evaluate.py 完成全部 1,345 題的評(píng)測(cè)看看你的系統(tǒng)能否超越當(dāng)前榜首。祝評(píng)測(cè)順利贊分享【免費(fèi)下載鏈接】XL-DocBench項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評(píng)測(cè)安裝與opb命令教程如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評(píng)測(cè)安裝與opb命令教程 Omni Parse Bench 是 Datala數(shù)據(jù)集AI 評(píng)測(cè)OCR數(shù)據(jù)標(biāo)注5分鐘跑通第一次推理Qwen3-4B-Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程5分鐘跑通第一次推理Qwen3 4B Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程 Qwen3 4B Instruct_ra5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程 Backburner 通過一根 USB C 線讓你的 iPhone上一篇japicmp過濾功能全攻略如何精確控制比較范圍包/類/方法/注解下一篇WebGazer.js革命性眼動(dòng)追蹤如何用普通攝像頭實(shí)現(xiàn)網(wǎng)頁(yè)用戶行為分析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考