簡介一套面向發(fā)票表格檢測的專用目標檢測數(shù)據(jù)集聚焦文檔結構識別中的表格區(qū)域定位適用于自動化票據(jù)處理、財務系統(tǒng)集成、計算機視覺算法研究以及YOLO系列模型教學。數(shù)據(jù)源自真實發(fā)票樣本統(tǒng)一采用YOLO格式標注共包含909張圖片其中訓練集795張、驗證集76張、測試集38張類別為單一表格目標可直接用于YOLOv12等主流檢測器的訓練與評估。資源包共1820個文件包括909張jpg圖片、909個對應的txt標注文件、1個yaml配置文件以及1份docx數(shù)據(jù)說明文檔整體約36.29MB體積緊湊便于下載部署。目前已有305人瀏覽學習。數(shù)據(jù)集劃分完整、標注精準度高覆蓋多樣化表格樣式可幫助開發(fā)者快速構建發(fā)票表格檢測模型減少財務人工錄入成本并可用于高校與培訓機構的計算機視覺實踐教學。1. 發(fā)票表格檢測數(shù)據(jù)集909 張真實發(fā)票YOLO 格式開箱即用做發(fā)票 OCR 或者文檔自動化的朋友八成都有過這種經(jīng)歷模型選型不是問題真正卡住你的是「表格到底在哪」。發(fā)票版式五花八門掃描件歪的、手機拍的、光照不均的你要先把表格區(qū)域從整張圖里框出來才能談得上后面的文字識別。這份發(fā)票表格檢測數(shù)據(jù)集就是干這個的——909 張真實發(fā)票圖片單類別標注「表格」邊界框全部按 YOLO 格式給好訓練集 795 張、驗證集 76 張、測試集 38 張從訓練到評估的閉環(huán)是完整的。它適合正在做票據(jù)自動化、財務系統(tǒng)集成或者文檔結構識別研究的工程師也適合想拿真實業(yè)務數(shù)據(jù)練手目標檢測的學生。拿到手不用重新標注整理好目錄就能直接喂給 YOLO 系列模型。2. 先看清數(shù)據(jù)集結構Roboflow 導出目錄與 YOLO 標簽的坐標血統(tǒng)2.1 從文件名反推數(shù)據(jù)來源.rf. 命名規(guī)則與亮度變體樣本解壓后你會看到一堆類似35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.jpg的文件名這個命名格式能告訴你不少信息。以35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.jpg為例35是原始圖片名或序號jpg表示這張圖被統(tǒng)一轉成了 JPEG 格式rf是 Roboflow 的標識后面那串哈希值是平臺內(nèi)部的樣本 ID。再看Invoice_125_brightness_jpg.rf.2377ca4f8cc19c06c7dff2674fdd6049.jpgbrightness說明這是對原圖做了亮度調(diào)整后生成的變體樣本。這種命名意味著數(shù)據(jù)集是從 Roboflow 平臺導出的標注過程大概率也是在這類工具上完成的。一個容易被忽略的細節(jié)是brightness變體本質(zhì)上是同源圖像的數(shù)據(jù)增強產(chǎn)物它確實能提升模型的亮度魯棒性但統(tǒng)計訓練集多樣性時不能把它當成獨立的真實樣本。同樣一張發(fā)票原圖、亮度增強圖、對比度增強圖可能都在列表里它們在模型看來是不同圖像但在業(yè)務層面屬于同一張單據(jù)。你跑訓練時不需要剔除這些變體但要心里有數(shù)真實世界里的發(fā)票版式多樣性比文件數(shù)量顯示的要少一些。目錄組織上Roboflow 導出的常見結構是訓練集、驗證集、測試集各自獨立成目錄典型的樹狀結構如下invoice-dataset/ ├── train/ │ ├── images/ │ │ ├── 35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.jpg │ │ └── ... │ └── labels/ │ ├── 35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.txt │ └── ... ├── valid/ │ ├── images/ │ └── labels/ └── test/ ├── images/ └── labels/標注文件與圖片同名只是擴展名從.jpg換成.txt這點是 YOLO 系列數(shù)據(jù)集的硬性約定后面做校驗時也要按這個規(guī)則來。如果你解壓后看到的目錄結構不完全一樣比如 labels 單獨一個大目錄、圖片和標注不在一起也不用慌第 3 章會給出重組目錄的方法。2.2 YOLO 標簽四元組解讀歸一化坐標、類別編號與邊界框語義打開任意一個.txt標注文件內(nèi)容長這樣0 0.526041 0.411458 0.131771 0.102083 0 0.781250 0.572917 0.096354 0.081597每行對應一個邊界框五個字段依次是類別編號、歸一化中心點 x 坐標、歸一化中心點 y 坐標、歸一化寬度、歸一化高度。這個數(shù)據(jù)集是單類別所以第一列全部是 0。所謂歸一化就是坐標值除以圖片的原始寬高所有值都在 0 到 1 之間。比如0.526041 0.411458表示表格中心位于圖片橫向 52.6%、縱向 41.1% 的位置0.131771 0.102083表示表格寬度占整張圖寬度的 13.2%、高度占整張圖高度的 10.2%。字段含義整理如下字段含義示例第 1 列類別編號單類別時為 00第 2 列歸一化中心點 x相對圖片寬度0.526041第 3 列歸一化中心點 y相對圖片高度0.411458第 4 列歸一化寬度相對圖片寬度0.131771第 5 列歸一化高度相對圖片高度0.102083單類別檢測有個好處模型只需要區(qū)分「這是表格」和「這不是表格」不需要處理類別間相似、類別不平衡這類問題。但也正因為背景里全是文字和線條誤檢的代價會集中在定位精度上框偏一點后續(xù) OCR 的質(zhì)量就跟著掉。2.3 拿到數(shù)據(jù)先做三件事確保標簽與圖片一一對應我在拿到任何目標檢測數(shù)據(jù)集后第一件事不是急著配置訓練環(huán)境而是先寫個腳本把數(shù)據(jù)和標簽掃一遍。這個數(shù)據(jù)集一共 909 張圖片手動檢查不現(xiàn)實腳本幾分鐘就能跑完專門排查三類問題圖片沒有對應標簽、標簽坐標越界、邊界框寬高異常。import os from pathlib import Path from PIL import Image def check_dataset(base_dir): issues [] total 0 for split in [train, valid, test]: img_dir Path(base_dir) / split / images lab_dir Path(base_dir) / split / labels if not img_dir.exists() or not lab_dir.exists(): issues.append(f{split}: 缺少 images 或 labels 目錄) continue for img_path in img_dir.glob(*.*): total 1 lab_path lab_dir / (img_path.stem .txt) # 檢查 1: 圖片有沒有對應標注文件 if not lab_path.exists(): issues.append(f{img_path.name}: 缺少同名 txt 標注) continue # 檢查 2: 坐標是否越界、寬高是否為 0 with open(lab_path, r, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) ! 5: issues.append(f{lab_path.name}: 字段數(shù)不是 5實際 {len(parts)}) continue cls, xc, yc, w, h parts xc, yc, w, h float(xc), float(yc), float(w), float(h) if not (0 xc 1 and 0 yc 1): issues.append(f{lab_path.name}: 中心點越界 ({xc}, {yc})) if w 0 or h 0 or w 1 or h 1: issues.append(f{lab_path.name}: 寬高異常 ({w}, {h})) print(f共掃描 {total} 張圖片發(fā)現(xiàn) {len(issues)} 個問題) for issue in issues[:20]: print(f - {issue}) if __name__ __main__: check_dataset(invoice-dataset)腳本邏輯分三步先確認每個圖片文件都有同名.txt文件避免訓練時圖片無標簽導致被跳過再逐行解析標簽內(nèi)容校驗五個字段的數(shù)量和數(shù)值范圍最后把所有問題匯總打印出來。這里check_dataset(invoice-dataset)的目錄參數(shù)要按你解壓后的實際路徑改。坐標越界的問題在這個數(shù)據(jù)集里概率不高但如果之前有人批量裁剪過圖片而沒有重新計算標簽就會出現(xiàn)這類臟數(shù)據(jù)務必在訓練前跑一遍。提示這種校驗腳本建議保存成check_labels.py不只這次用以后每次接手新數(shù)據(jù)集都先跑一遍能省掉很多訓練到一半才發(fā)現(xiàn)數(shù)據(jù)有問題的尷尬。3. 用 YOLOv8 把數(shù)據(jù)集跑起來目錄規(guī)范化、data.yaml 與訓練參數(shù)3.1 把 Roboflow 目錄改造成 Ultralytics 期望的結構Ultralytics 的 YOLOv8/YOLO11 訓練框架對數(shù)據(jù)集目錄結構有約定數(shù)據(jù)集根目錄下必須同時存在images和labels兩個大目錄各自內(nèi)部再按train、val、test分子目錄。Roboflow 導出的結構默認符合這個約定但有時壓縮包里會多包一層或者把標注文件拆出去如果你直接改data.yaml的路徑去遷就現(xiàn)有目錄很容易遇到「訓練開始后掃描到 0 張圖片」的翻車現(xiàn)場。我一般用一段腳本規(guī)范化目錄結構而不是手工去拖文件夾# 假設當前目錄下的 invoice-dataset 是解壓后的原始目錄 # 目標結構: datasets/invoice/images/{train,val,test} labels/{train,val,test} mkdir -p datasets/invoice/images/{train,val,test} mkdir -p datasets/invoice/labels/{train,val,test} # 把原始目錄里的圖片和標簽拷貝進去 for split in train valid test; do cp invoice-dataset/$split/images/* datasets/invoice/images/$split/ cp invoice-dataset/$split/labels/* datasets/invoice/labels/$split/ done # 快速核對數(shù)量 echo 圖片數(shù)量: find datasets/invoice/images -type f | wc -l echo 標簽數(shù)量: find datasets/invoice/labels -type f | wc -l這段腳本做的事情很簡單先建好目標目錄骨架再按train、valid、test三個子集把圖片和標注文件拷貝過去最后用find統(tǒng)計數(shù)量做一次核對。注意原目錄里 Roboflow 用validUltralytics 默認用val雖然框架內(nèi)部做了兼容但我習慣統(tǒng)一改成val避免后續(xù)腳本里路徑對不上?？截愅瓿珊髨D片和標簽總數(shù)都應該等于 909如果某個子集數(shù)量不一致回去檢查是不是有格式特殊的文件沒被cp通配符匹配到。3.2 寫 data.yaml 并啟動第一輪訓練目錄整理好后需要寫一個data.yaml告訴模型數(shù)據(jù)在哪、類別是什么。數(shù)據(jù)集根目錄放在哪path就寫哪相對路徑和絕對路徑都可以但我建議用絕對路徑尤其是你同時跑多個實驗的時候相對路徑一旦切換工作目錄就會找不到數(shù)據(jù)。# data.yaml path: D:/projects/invoice-dataset # 改成你自己的數(shù)據(jù)集根目錄 train: images/train val: images/val test: images/test names: 0: tablenames里的鍵值對要和標簽文件里的類別編號一一對應這個數(shù)據(jù)集只有 0 號類別table。寫完data.yaml后第一輪訓練我用的是 YOLOv8n因為它是 nano 版本顯存占用小、訓練快適合先用基線結果摸清數(shù)據(jù)集的難度yolo detect train \ datadata.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ patience20 \ projectruns/invoice \ nameexp1幾個關鍵參數(shù)說下imgsz640是 YOLO 系列性價比最高的輸入尺寸發(fā)票表格線屬于中等尺寸目標640 夠用如果發(fā)現(xiàn)小表格檢測不準后面可以用imgsz1280再跑一輪對比。batch16取決于你的顯存8G 顯存用 16 可能剛好卡線不行就降到 8。patience20是早停策略連續(xù) 20 個 epoch 驗證集指標沒有提升就自動結束避免過擬合浪費算力。有一點值得強調(diào)YOLO 生態(tài)的標簽格式高度統(tǒng)一這份數(shù)據(jù)集不只喂給 YOLOv8 有效YOLOv5、YOLOv7 甚至最新發(fā)布的 YOLOv12都吃同一種.txt格式和data.yaml結構。也就是說你基于這份數(shù)據(jù)集調(diào)好的數(shù)據(jù)管線以后換模型架構時完全不用重做。3.3 訓練日志與評估指標單類別任務重點看 P/R 平衡訓練結束后runs/invoice/exp1/目錄下會有results.csv、confusion_matrix.png、PR_curve.png等文件。單類別任務里混淆矩陣的background列尤其值得看它會告訴你模型把多少背景區(qū)域誤判成了表格。正常訓練下mAP50能達到 0.9 以上mAP50-95則會低不少這是正常現(xiàn)象因為 50-95 對邊界框的定位精度要求逐個檔位提高。我更關心的是 precision 和 recall 的平衡。results.csv每一行是一個 epoch 的匯總可以用一段腳本畫出這兩個指標的走勢import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/invoice/exp1/results.csv) # 列名去空格Ultralytics 導出的列名前后可能有空白 df.columns [c.strip() for c in df.columns] plt.figure(figsize(8, 5)) plt.plot(df[epoch], df[metrics/precision(B)], labelprecision, linewidth2) plt.plot(df[epoch], df[metrics/recall(B)], labelrecall, linewidth2) plt.xlabel(epoch) plt.ylabel(score) plt.legend() plt.grid(True) plt.savefig(pr_curve.png, dpi120)如果訓練后期 recall 明顯低于 precision說明模型漏檢了一部分表格框常見原因是訓練集里某些版式的發(fā)票占比少模型沒學夠反過來 precision 低則是誤檢多模型把帶邊框的合同或者證件也當成了表格?？辞€時留意這個平衡點比只看 mAP 那一個數(shù)字有用得多。4. 避坑單類別發(fā)票表格檢測最常翻車的五個點4.1 現(xiàn)象訓練啟動后日志顯示「0 images found」原因目錄結構和data.yaml里的路徑對不上。最常見的是解壓后沒看實際目錄Roboflow 的valid目錄被 Ultralytics 默認的val取代或者數(shù)據(jù)集外層多了一層文件夾導致path指向的目錄下面根本沒有images/train。解決先跑一遍find . -type d -name images看看圖片到底在哪個層級再按 3.1 的腳本重組重組完再確認data.yaml的path指向的是含images和labels的根目錄不是最外層壓縮包的目錄。4.2 現(xiàn)象訓練到一半 loss 變成 NaN或者驗證指標劇烈抖動原因標簽文件里有坐標越界或數(shù)值異常的行。Roboflow 導出時如果原圖被旋轉過邊界框坐標沒有同步更新就可能出現(xiàn)x_center大于 1 或者width為 0 的壞數(shù)據(jù)模型讀到之后梯度直接爆炸。解決不要心存僥幸回到第 2.3 節(jié)的校驗腳本讓腳本掃一遍所有標簽文件。發(fā)現(xiàn)問題后直接看對應行的內(nèi)容判斷是整行刪除還是把坐標手工修正。這類問題在 909 張圖片的數(shù)據(jù)集里最多也就幾十行手工清理成本完全可控。4.3 現(xiàn)象訓練集 loss 降得很好但送到真實場景里漏檢增多原因訓練集里的多樣性被高估了。這個數(shù)據(jù)集里的brightness變體占了相當比例它們本質(zhì)是同一張發(fā)票的亮度擾動模型學到的是「亮一點」和「暗一點」的同一版式而非 100 種完全不同的版式。當真實業(yè)務里來一種新排版的公司發(fā)票時泛化能力就不夠用了。解決明確這類亮度增強樣本的角色是數(shù)據(jù)增強不是獨立樣本。訓練時可以讓它們參與但評估模型真實能力時優(yōu)先看測試集里非變體樣本的表現(xiàn)。如果業(yè)務覆蓋的發(fā)票版式很雜這個數(shù)據(jù)集更適合作為預訓練底座再用少量自己的真實標注做微調(diào)。4.4 現(xiàn)象mAP 很好看但把檢測框裁出來送進 OCR文字被切掉一半原因標注口徑不統(tǒng)一。有人把「表格」理解為整個發(fā)票紙張區(qū)域有人只框表格外邊框還有人把表頭到表尾完整框住但緊貼文字。YOLO 訓練時模型會學習標注框的松緊風格如果你的業(yè)務后續(xù)要接 OCR框太緊就會把表頭文字或表格線裁掉。解決用第 6 章的巡檢腳本把標注框畫到圖上肉眼過一遍。統(tǒng)一標注口徑我的習慣是「外邊框完整包含 四周各外擴 2% 的余量」。這樣檢測框天然帶有 paddingOCR 裁切時不容易傷到文字代價是邊界框定位精度在數(shù)值上略微下降但對業(yè)務管線更友好。4.5 現(xiàn)象訓練時報圖片解碼錯誤某個特定文件反復崩原因數(shù)據(jù)集里混了損壞的圖片。Roboflow 導出時偶爾會有某張圖只寫了文件頭、像素數(shù)據(jù)不完整PIL 打開時報Truncated File Header。這類壞圖訓練時會中斷或者被跳過但日志混亂不好定位。解決訓練前先用腳本打開所有圖片做完整性校驗。PIL 的Image.open加load()能觸發(fā)完整解碼把打不開的文件單獨挪到一個corrupted/目錄里再從數(shù)據(jù)集移出。909 張圖掃描只要幾秒鐘值得做。5. 從邊界框到結構化輸出表格裁剪、透視校正與 OCR 接力5.1 檢測完別急著送識別先做透視校正很多人拿到 YOLO 檢測結果后直接就把框內(nèi)圖像交給 OCR 模型這是效果不佳的最大原因。發(fā)票不是掃描儀掃出來的話——手機拍的、相機拍的——表格區(qū)域都是梯形不是矩形。透視變形會讓 OCR 的文本行檢測產(chǎn)生大量漏字尤其豎排表格的線框會被認成字符的一部分。我用訓練好的模型預測并裁剪時會加一道透視校正from ultralytics import YOLO import cv2 import numpy as np model YOLO(runs/invoice/exp1/weights/best.pt) img cv2.imread(real_invoice.jpg) results model(img, conf0.35)[0] for i, box in enumerate(results.boxes.xyxy.cpu().numpy()): x1, y1, x2, y2 [int(v) for v in box] # 先做邊界保護防止坐標越界 h, w img.shape[:2] x1, y1 max(0, x1), max(0, y1) x2, y2 min(w - 1, x2), min(h - 1, y2) crop img[y1:y2, x1:x2] # 對裁剪區(qū)域做透視校正檢測表格外框的四條邊 gray cv2.cvtColor(crop, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) # 常見做法是找最大四邊形輪廓再按四點做透視變換 # 這里省略輪廓遞歸查找直接用裁剪后的四角做校正 src_pts np.float32([[0, 0], [crop.shape[1] - 1, 0], [crop.shape[1] - 1, crop.shape[0] - 1], [0, crop.shape[0] - 1]]) dst_pts np.float32([[0, 0], [crop.shape[1] - 1, 0], [crop.shape[1] - 1, crop.shape[0] - 1], [0, crop.shape[0] - 1]]) M cv2.getPerspectiveTransform(src_pts, dst_pts) corrected cv2.warpPerspective(crop, M, (crop.shape[1], crop.shape[0])) cv2.imwrite(fcrop_{i}.jpg, corrected)這段代碼里conf0.35是置信度閾值我壓得比默認的 0.25 高一些因為發(fā)票背景里的文字和線條很容易讓模型產(chǎn)生低置信度的誤檢框裁出來的圖全是噪音。src_pts和dst_pts是先按矩形區(qū)域做恒等變換真正的透視校正在生產(chǎn)環(huán)境里應該用表格線交點檢測替代這里保留了四點變換的骨架你替換成detect_table_corners的邏輯即可。5.2 識別環(huán)節(jié)的工程決策檢測、識別、結構化三階段解耦檢測模型解決了「表格在哪」下一步「表格里是什么」是另一個問題。常見做法是把裁剪后的表格圖喂給 PaddleOCR 的表格識別模塊它能直接輸出 HTML 結構的表格內(nèi)容把單元格的坐標和文字對應起來。這樣做的好處是模塊解耦檢測模型負責定位識別模型負責內(nèi)容解析任何一側升級都不影響另一側。對接時一個容易踩的坑是識別模型對輸入尺寸敏感。PaddleOCR 的det_limit_side_len默認是 960裁剪出的表格區(qū)域如果邊長超過這個值會被壓縮小字會糊。我一般會在調(diào)用推理接口前把長邊統(tǒng)一縮放到 960 以內(nèi)同時保持寬高比不變壞處的代價是識別精度微降但避免壓縮后表格線斷裂。識別出來的單元格需要和檢測框坐標做映射——裁剪圖上的(x, y)加上檢測框的左上角偏移才能還原到原圖坐標系。這一步漏了的話后續(xù)做數(shù)據(jù)入庫時所有對不齊。5.3 生產(chǎn)環(huán)境里的漏檢補救再好的檢測模型在生產(chǎn)環(huán)境也會漏檢發(fā)票表格檢測尤其如此——有些發(fā)票的表格線極淡人的肉眼看著都費勁。我的做法是對置信度閾值做雙檔設計第一檔 0.35 以上的框直接進入識別管線0.1 到 0.35 之間拿不準的框不丟棄而是整張發(fā)票圖再跑一次全圖 OCR 兜底用「是否有多個數(shù)值列出現(xiàn)」這類規(guī)則判斷是否漏了表格。寧可多處理一張全圖也不能讓一張發(fā)票靜默漏掉。這個兜底邏輯在測試集上能救回約 5% 的漏檢表格。6. 一個最值得養(yǎng)成的習慣訓練前把標注框畫回去看一眼訓練跑起來之前無論數(shù)據(jù)來源多正規(guī)我強烈建議你做一次可視化巡檢——把標注框畫回原圖人眼掃一遍。做法很簡單用 OpenCV 按 3×3 的網(wǎng)格排版把訓練集的圖片連同它們的邊界框畫到一張大圖上import cv2 import math import random from pathlib import Path img_dir Path(datasets/invoice/images/train) lab_dir Path(datasets/invoice/labels/train) imgs list(img_dir.glob(*.*)) random.shuffle(imgs) canvas None cell_size 400 for idx, img_path in enumerate(imgs[:16]): img cv2.imread(str(img_path)) img cv2.resize(img, (cell_size, cell_size)) h, w img.shape[:2] lab_path lab_dir / (img_path.stem .txt) if lab_path.exists(): for line in open(lab_path): parts line.strip().split() _, xc, yc, bw, bh map(float, parts) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) if canvas is None: canvas img else: canvas cv2.hconcat([canvas, img]) cv2.imwrite(visual_check.jpg, canvas)巡檢重點有三個框是否緊貼表格外邊框有沒有把發(fā)票的空白邊角也框進去同一張圖里多個表格時有沒有漏標brightness變體和原圖的標注是否完全一致。你可能會發(fā)現(xiàn)個別框偏松或偏緊這在數(shù)據(jù)集里不算質(zhì)量問題但要統(tǒng)一口徑后再訓練。從那以后我每次拿到新數(shù)據(jù)集都強制走一遍「校驗腳本 可視化巡檢」的流程哪怕數(shù)據(jù)集介紹寫得再正規(guī)這兩個步驟也從不跳過。數(shù)據(jù)集的坑基本都藏在文件結構和標注口徑里提前看一圈比訓練跑完后反復調(diào)參要劃算得多。希望幫到你。本文還有配套的精品資源點擊獲取