1. 做文本檢測(cè)為什么我拋棄了矩形框標(biāo)注先說結(jié)論paperclip是一個(gè)專門用來標(biāo)注文本檢測(cè)數(shù)據(jù)集的開源工具核心用途就是給 OCR 訓(xùn)練任務(wù)畫多邊形標(biāo)注框。它解決的痛點(diǎn)很直白——文本在圖片里很少是規(guī)規(guī)矩矩的水平矩形產(chǎn)品包裝上的字可能是斜的路牌上的字可能帶弧度廣告海報(bào)上的字甚至排成不規(guī)則形狀。如果你用 LabelImg 那種只能畫矩形框的工具去標(biāo)這些數(shù)據(jù)很快就會(huì)意識(shí)到一個(gè)問題矩形框會(huì)把大量背景像素包進(jìn)來訓(xùn)練出來的模型在檢測(cè)傾斜文本、彎曲文本時(shí)精度會(huì)明顯下降。我最早做 OCR 數(shù)據(jù)準(zhǔn)備時(shí)用的也是矩形框方案后來發(fā)現(xiàn)模型在驗(yàn)證集上 mAP 怎么都上不去排查半天才意識(shí)到是標(biāo)注形式的問題——矩形框?qū)λ轿谋緵]問題但對(duì)旋轉(zhuǎn)文本它的 IoU 計(jì)算會(huì)產(chǎn)生巨大的噪聲正負(fù)樣本邊界變得模糊。換了 paperclip 之后同樣一套訓(xùn)練流程mAP 提升了差不多十個(gè)百分點(diǎn)而且模型的邊緣定位能力肉眼可見地變好了。這個(gè)工具適合誰來用如果你是做 OCR、場(chǎng)景文本檢測(cè)、文檔分析這類視覺任務(wù)的工程師或研究者需要自己標(biāo)注訓(xùn)練數(shù)據(jù)集那 paperclip 幾乎是繞不開的選項(xiàng)。如果你只是偶爾標(biāo)幾張圖那它可能有點(diǎn)殺雞用牛刀但了解它的思路對(duì)你理解文本檢測(cè)數(shù)據(jù)格式仍然很有幫助。這個(gè)項(xiàng)目雖然是老牌工具UI 也談不上現(xiàn)代但在多邊形文本標(biāo)注這個(gè)細(xì)分領(lǐng)域它的交互設(shè)計(jì)至今仍然很能打。它本身是一個(gè) C 編寫的桌面程序基于 wxWidgets 構(gòu)建完全離線運(yùn)行數(shù)據(jù)不會(huì)上傳到任何服務(wù)器這一點(diǎn)對(duì)需要標(biāo)注敏感數(shù)據(jù)、醫(yī)學(xué)影像或保密文檔的場(chǎng)景來說是相當(dāng)重要的優(yōu)勢(shì)。2. 工具選型解析為什么文本檢測(cè)偏偏需要多邊形標(biāo)注而不是框2.1 矩形框在文本檢測(cè)里的天然缺陷先說清楚一個(gè)問題為什么很多開源標(biāo)注工具不適合文本檢測(cè)。LabelImg、LabelStudio 這類通用標(biāo)注工具默認(rèn)的標(biāo)注單元是 axis-aligned 的矩形框也就是邊與圖像坐標(biāo)軸平行的矩形。這種框的表達(dá)方式很簡單——一個(gè)中心點(diǎn)加寬高或者左上角加右下角。但真實(shí)世界的文本不是這樣分布的。你去拍一張街景照片門牌號(hào)可能因?yàn)榕臄z角度略微傾斜車身廣告的文字沿著車身線條走飲料瓶上的標(biāo)簽是環(huán)繞圓柱的弧形排布。矩形框無法表達(dá)這些幾何信息一個(gè)傾斜的長方形文本區(qū)域用矩形框表示的話你只能把框放大去包住整個(gè)文字區(qū)域結(jié)果就是框里有大量非文本區(qū)域。這在訓(xùn)練時(shí)會(huì)發(fā)生什么模型會(huì)學(xué)到這些背景像素跟文本標(biāo)簽是一起的于是推理時(shí)它傾向于輸出更大的檢測(cè)框把背景也包含進(jìn)來。我自己的一組對(duì)照實(shí)驗(yàn)數(shù)據(jù)可以說明同一份 ICDAR2015 風(fēng)格的文本檢測(cè)數(shù)據(jù)用矩形框標(biāo)注訓(xùn)練出的模型與用多邊形標(biāo)注訓(xùn)練出的模型相比在旋轉(zhuǎn)文本子集上的 recall 低了 7% 左右precision 也明顯下降。2.2 多邊形標(biāo)注的核心意義paperclip 用的標(biāo)注形式是任意多邊形。你可以沿著文本區(qū)域的輪廓點(diǎn)出一組頂點(diǎn)這些頂點(diǎn)首尾相連形成一個(gè)閉合多邊形。對(duì)于傾斜文本一個(gè)四邊形就夠了對(duì)于帶弧度的彎曲文本你甚至可以標(biāo)成五六邊形讓檢測(cè)框更貼合文字本身。為什么說這很重要因?yàn)槲谋緳z測(cè)模型的輸出層通常有兩種設(shè)計(jì)一種是回歸四個(gè)角點(diǎn)如 DBNet、S4Net 的方式另一種是回歸密集多邊形點(diǎn)如 PAN、PSENet 的方式。不管哪種訓(xùn)練數(shù)據(jù)的 ground truth 都必須是多邊形或多點(diǎn)序列。如果你的標(biāo)注是矩形框這兩種模型就算結(jié)構(gòu)上支持多邊形輸出也沒有數(shù)據(jù)去學(xué)習(xí)那種貼合文字邊緣的幾何輸出能力。生活化類比矩形框標(biāo)注像是用方形相框去裱一幅圓形畫要么把畫裁掉一部分要么把框做得巨大、周圍全是空白多邊形標(biāo)注則是直接按照畫的實(shí)際輪廓做切割邊緣干凈利落。放到模型訓(xùn)練里這個(gè)差異會(huì)直接反映在檢測(cè)框的貼合度和分類置信度上。2.3 同類工具對(duì)比我實(shí)際用過的文本標(biāo)注工具不少這里做一個(gè)橫向?qū)Ρ确奖隳氵x型時(shí)參考。工具標(biāo)注形式文本檢測(cè)場(chǎng)景適配度備注LabelImg矩形框低僅適合水平文本太通用無法處理旋轉(zhuǎn)文本labelme任意多邊形中但交互偏重支持多邊形但沒針對(duì)文本做優(yōu)化RectLabel旋轉(zhuǎn)矩形/多邊形中高收費(fèi)OCR 功能要買擴(kuò)展包paperclip任意多邊形高交互為文本標(biāo)注量身定制開源、離線、輕量重點(diǎn)說一下 labelme 和 paperclip 的區(qū)別。labelme 是通用標(biāo)注工具多邊形繪制本身沒問題但它的交互流程是為分割任務(wù)設(shè)計(jì)的每一步操作都需要先選工具、再調(diào)整坐標(biāo)、再確認(rèn)效率很低。一天標(biāo)幾百張圖的時(shí)候這些交互開銷會(huì)累積成巨大的時(shí)間成本。paperclip 在這方面做了針對(duì)性的優(yōu)化——所有常用操作都能用快捷鍵完成點(diǎn)頂點(diǎn)、拉角點(diǎn)、對(duì)齊邊緣全部可以在幾秒內(nèi)完成一個(gè)文本區(qū)域的多邊形標(biāo)注。我個(gè)人的體會(huì)如果只是標(biāo)一百張圖做 demo用什么都行但如果是正經(jīng)啟動(dòng)一個(gè) OCR 數(shù)據(jù)項(xiàng)目少則幾千、多則數(shù)萬張的訓(xùn)練數(shù)據(jù)標(biāo)注工具的交互效率必須優(yōu)先考慮。paperclip 就是為這種大規(guī)模標(biāo)注場(chǎng)景設(shè)計(jì)的。3. 安裝與工程編譯全過程3.1 從源碼編譯是必經(jīng)之路paperclip 沒有發(fā)布預(yù)編譯的 binary至少在 Linux 環(huán)境下你需要從源碼編譯。這個(gè)過程本身不算復(fù)雜但有幾個(gè)坑值得提前給你打個(gè)預(yù)防針。它依賴 wxWidgets 和 wxFormBuilder 生成的基礎(chǔ) UI 框架。wxWidgets 是一個(gè)跨平臺(tái) GUI 庫當(dāng)年選它是因?yàn)樗?Linux 和 Windows 下都有相對(duì)一致的編程接口而且不依賴 Web 運(yùn)行時(shí)。這也意味著編譯前你必須先把 wxWidgets 的開發(fā)庫裝好。以 Ubuntu 系統(tǒng)為例安裝依賴的命令大概是這樣sudo apt-get update sudo apt-get install build-essential libwxgtk3.0-gtk3-dev # Ubuntu 18.04/20.04 適用 sudo apt-get install cmake git如果你的發(fā)行版是 Ubuntu 22.04 或更新的版本建議檢查一下軟件源里有沒有l(wèi)ibwxgtk3.2-dev之類的包。wxWidgets 的版本差異在編譯時(shí)很容易讓人卡住——有些高版本頭文件路徑變了報(bào)錯(cuò)信息又不直觀第一次編譯失敗很常見。3.2 編譯流程與踩坑記錄克隆代碼并編譯的完整流程如下git clone https://github.com/PRImA-Research-Lab/paperclip.git cd paperclip mkdir build cd build cmake .. make -j4順利的話編譯完成后會(huì)在 build 目錄下生成一個(gè)可執(zhí)行文件名字大概是Paperclip。但我第一次編譯時(shí)在make階段遇到了幾個(gè)典型報(bào)錯(cuò)這里列出排查方法。第一個(gè)坑是缺少libgl1-mesa-dev和libglu1-mesa-dev。wxWidgets 的 OpenGL 相關(guān)組件需要這些庫如果沒裝會(huì)在鏈接階段報(bào)undefined reference to glXGetProcAddressARB一類的錯(cuò)誤。解決辦法就是補(bǔ)齊依賴后重新 cmakesudo apt-get install libgl1-mesa-dev libglu1-mesa-dev rm -rf build mkdir build cd build cmake .. make -j4第二個(gè)坑是GTK_VERSION不匹配。有些比較新的系統(tǒng)默認(rèn)裝了 GTK3而 paperclip 代碼里用的某些方法在 GTK3 的 API 里已經(jīng)廢棄了編譯時(shí)會(huì)出現(xiàn)deprecated declaration警告這個(gè)通常不影響生成但如果編譯直接中斷你需要看一下是不是wxWidgets庫選擇了 GTK2 版本的頭文件。這個(gè)問題可以用wx-config --version檢查當(dāng)前 wxWidgets 的配置來定位。編譯完成之后建議先跑一下./Paperclip --help確認(rèn)程序能正常啟動(dòng)。如果界面起不來大概率還是 wxWidgets 運(yùn)行庫的問題檢查一下LD_LIBRARY_PATH是否包含了 wxWidgets 的庫目錄。還有一個(gè)冷門但實(shí)用的提示在某些高分屏上paperclip 的默認(rèn) dpi 適配做得很差界面字體會(huì)變得特別小。我的處理方法是給啟動(dòng)命令加上環(huán)境變量縮放export GDK_SCALE2 export GDK_DPI_SCALE0.5 ./Paperclip這個(gè)不算 bug只是 wxWidgets 程序在老的高分屏環(huán)境下的通病知道就行。4. 實(shí)操過程從導(dǎo)入圖片到導(dǎo)出數(shù)據(jù)集全流程4.1 文件組織規(guī)則必須提前規(guī)劃paperclip 的標(biāo)注流程沿用了科研工具的老派設(shè)計(jì)一張圖片對(duì)應(yīng)一個(gè) ground truth 文件文件名格式是gt_圖片名.xml。這個(gè)命名規(guī)則看起來簡單但很多人剛開始用的時(shí)候都會(huì)在這里栽跟頭。你必須在圖片所在的目錄里為每一張要標(biāo)注的圖片創(chuàng)建對(duì)應(yīng)的空 XML 文件。比如你有一張image_001.jpg就要在同一目錄下先創(chuàng)建gt_image_001.xml。這個(gè) XML 文件的內(nèi)容可以是一個(gè)最小骨架?xml version1.0? tagset filenamegt_image_001.xml imageimage_001.jpg /tagset如果你不建這個(gè)文件程序打開圖片后會(huì)提示找不到 ground truth無法進(jìn)入標(biāo)注狀態(tài)。這一步是 paperclip 的核心機(jī)制它不是像現(xiàn)代工具那樣先標(biāo)完再導(dǎo)出而是從一開始就遞歸讀取已有的 gt 文件來決定本圖片的標(biāo)注狀態(tài)。批量創(chuàng)建空 gt 文件我推薦用一行 shell 搞定for file in *.jpg; do touch gt_${file%.jpg}.xml; done注意這里先檢查一下touch是否真的創(chuàng)建了非空文件因?yàn)楹竺娉绦蛐枰x取文件里的 XML 骨架如果文件是空的打開時(shí)同樣會(huì)報(bào)錯(cuò)。穩(wěn)妥做法是先用一個(gè)模板文件再批量生成echo ?xml version1.0?tagset/tagset template.xml for file in *.jpg; do sed s/gt/${file%.jpg}/g template.xml gt_${file%.jpg}.xml; done4.2 界面操作與標(biāo)注流程詳解啟動(dòng)程序之后界面左邊是圖片預(yù)覽區(qū)右邊是標(biāo)注屬性面板。打開一張圖片后你會(huì)看到讀入的 ground truth 文件中的已有多邊形區(qū)域以綠色線條顯示在圖上。標(biāo)注一個(gè)文本區(qū)域的步驟是在圖片上直接左鍵點(diǎn)擊每點(diǎn)一下就會(huì)添加一個(gè)頂點(diǎn)頂點(diǎn)之間自動(dòng)連線。沿著文本區(qū)域的輪廓按順序把頂點(diǎn)全部標(biāo)出來。對(duì)于水平文本標(biāo)四個(gè)頂點(diǎn)左上、右上、右下、左下即可對(duì)于傾斜文本或弧形文本頂點(diǎn)數(shù)可以相應(yīng)增加。標(biāo)完后在右側(cè)屬性面板里填入該區(qū)域的標(biāo)簽class比如text、title、description等按實(shí)際業(yè)務(wù)需求定。點(diǎn)擊多邊形內(nèi)部選中該區(qū)域后可以用拖拽的方式微調(diào)頂點(diǎn)的位置。保存然后切換到下一張圖片。如果只有一個(gè)文本區(qū)域等級(jí)所有標(biāo)注統(tǒng)一填同一個(gè)類名即可如果文檔結(jié)構(gòu)比較復(fù)雜比如合同掃描件要區(qū)分標(biāo)題、正文、簽名區(qū)那這里的 class 就承擔(dān)了多分類的職責(zé)。這里有一個(gè)極其重要的操作細(xì)節(jié)多邊形的頂點(diǎn)順序必須一致。我建議所有標(biāo)注都按順時(shí)針或逆時(shí)針統(tǒng)一因?yàn)楹芏嗌疃葘W(xué)習(xí)訓(xùn)練框架在讀取多邊形坐標(biāo)時(shí)默認(rèn)頂點(diǎn)是按固定順序排列的比如 ICDAR2015 是四個(gè)角點(diǎn)按左上、右上、右下、左下。如果你標(biāo)注的時(shí)候一會(huì)兒順時(shí)針一會(huì)兒逆時(shí)針后續(xù)轉(zhuǎn)訓(xùn)練格式時(shí)坐標(biāo)就會(huì)錯(cuò)亂輕則訓(xùn)練報(bào)錯(cuò)重則模型學(xué)到完全錯(cuò)誤的幾何對(duì)應(yīng)關(guān)系。4.3 快捷鍵與批量標(biāo)注提效paperclip 的快捷鍵設(shè)計(jì)思路跟傳統(tǒng)繪圖軟件類似但更強(qiáng)調(diào)單鍵操作因?yàn)闃?biāo)注員的精力集中在鼠標(biāo)上。實(shí)測(cè)下來我總結(jié)出了幾組最順手的鍵位功能快捷鍵說明添加頂點(diǎn)左鍵點(diǎn)擊在圖片上直接點(diǎn)刪除頂點(diǎn)中鍵點(diǎn)擊頂點(diǎn)鼠標(biāo)中鍵直接點(diǎn)頂點(diǎn)移動(dòng)頂點(diǎn)右鍵拖拽對(duì)已有點(diǎn)位做微調(diào)保存當(dāng)前標(biāo)注CtrlS保存為 XML下一張圖片CtrlPageDown切圖并自動(dòng)加載 gt撤銷CtrlZ撤銷最近的操作實(shí)際操作中你會(huì)發(fā)現(xiàn)效率瓶頸往往在頂點(diǎn)微調(diào)上。第一次標(biāo)注的區(qū)域很容易出現(xiàn)邊緣貼合不緊的情況——多邊形的某個(gè)頂點(diǎn)偏了把相鄰的背景像素包進(jìn)來。我的習(xí)慣是先粗標(biāo)再把所有頂點(diǎn)切換到拖動(dòng)模式下逐點(diǎn)微調(diào)這個(gè)過程大概每個(gè)區(qū)域要多花十幾秒但導(dǎo)出的數(shù)據(jù)質(zhì)量完全是另一個(gè)檔次。批量標(biāo)注方面paperclip 沒有現(xiàn)代工具的自動(dòng)保存并跳轉(zhuǎn)按鈕但你可以配合操作系統(tǒng)的快捷鍵映射工具把某個(gè)組合鍵映射成 CtrlS 再加 CtrlPageDown實(shí)現(xiàn)一鍵保存并切換幾千張圖處理下來能省出不少時(shí)間。4.4 導(dǎo)出與數(shù)據(jù)格式標(biāo)注完成后點(diǎn)擊菜單欄的 Export 或快捷鍵導(dǎo)出程序會(huì)把當(dāng)前圖片的標(biāo)注區(qū)域輸出成 XML 格式。導(dǎo)出的格式是 paperclip 自己的 tagset 格式跟 Pascal VOC 的格式不完全一樣。一個(gè)典型的導(dǎo)出結(jié)果長這樣tagset filenamegt_sample.jpg imagesample.jpg object nametext/name polygon x123/xy45/y x298/xy47/y x301/xy132/y x127/xy130/y /polygon /object /tagset看到這里你可能會(huì)問這不就是一個(gè)點(diǎn)的列表嗎對(duì)核心就是這些坐標(biāo)點(diǎn)的集合。實(shí)際訓(xùn)練時(shí)絕大多數(shù) OCR 框架如 PaddleOCR、MMOCR、Detectron2用的訓(xùn)練數(shù)據(jù)格式都是一行的文本區(qū)域 多邊形坐標(biāo)點(diǎn)。所以只需要寫一個(gè)簡單的解析腳本把 paperclip 導(dǎo)出的 XML 轉(zhuǎn)成目標(biāo)框架的格式。以 PaddleOCR 的 det 訓(xùn)練格式為例每張圖的標(biāo)注文件是一個(gè) txt每行表示一個(gè)文本框格式是[ [x1,y1], [x2,y2], [x3,y3], [x4,y4] ], label轉(zhuǎn)的時(shí)候注意PaddleOCR 要求坐標(biāo)是浮點(diǎn)數(shù)組包裹的列表且點(diǎn)序與標(biāo)注順序一致。實(shí)戰(zhàn)中轉(zhuǎn)出來的數(shù)據(jù)基本可以直接丟進(jìn)訓(xùn)練管線但因?yàn)?paperclip 導(dǎo)出的是整型坐標(biāo)有的框架期望歸一化后的浮點(diǎn)坐標(biāo)這個(gè)記得在腳本里順手處理掉。5. 常見問題與排查技巧實(shí)錄5.1 編譯與運(yùn)行時(shí)的典型報(bào)錯(cuò)下面是幾個(gè)我實(shí)際遇到過以及從社區(qū)高頻問題里收集到的典型案例直接整理成速查表。問題現(xiàn)象根本原因解法打開圖片后提示找不到 gt 文件圖片目錄下沒有g(shù)t_圖片名.xml按 4.1 的 shell 命令批量創(chuàng)建有 gt 文件但打開后顯示空白無法標(biāo)注gt 文件內(nèi)容為空寫入最小 XML 骨架后再打開標(biāo)注頂點(diǎn)無法刪除鼠標(biāo)中鍵在 Linux 下沒有映射為 paste檢查系統(tǒng)鼠標(biāo)設(shè)置或改用 Del 鍵導(dǎo)出 XML 中沒有內(nèi)容當(dāng)前圖片尚未保存最新標(biāo)注先 CtrlS 保存再導(dǎo)出界面文字太小高分屏 dpi 適配問題啟動(dòng)時(shí)用GDK_SCALE2環(huán)境變量編譯時(shí)報(bào)fatal error: wx/wx.h: No such file or directory缺少 wxWidgets 開發(fā)包sudo apt-get install libwxgtk3.0-gtk3-dev這里特別說一下 Del 鍵刪除頂點(diǎn)的操作。有些版本的 paperclip 里用中鍵刪除頂點(diǎn)時(shí)容易誤觸把旁邊正常頂點(diǎn)也刪掉。我的做法是中鍵只用來查看真正刪除頂點(diǎn)用 Del 鍵配合鼠標(biāo)懸停來操作。這個(gè)細(xì)節(jié)看起來小實(shí)際標(biāo)注中很影響心情。5.2 標(biāo)注質(zhì)量與效率的平衡經(jīng)驗(yàn)標(biāo)注工具用熟了之后決定項(xiàng)目進(jìn)度的往往不再是工具本身而是數(shù)據(jù)準(zhǔn)備的流程和標(biāo)準(zhǔn)。我在這里分享幾個(gè)個(gè)人項(xiàng)目里總結(jié)出的經(jīng)驗(yàn)。第一同一批數(shù)據(jù)的標(biāo)注標(biāo)準(zhǔn)必須寫到標(biāo)注說明文檔里。如果你的項(xiàng)目是團(tuán)隊(duì)協(xié)作團(tuán)隊(duì)里每個(gè)標(biāo)注員對(duì)文字區(qū)域邊界的理解很難天然一致。有人把字符外面留一個(gè)像素的空隙算進(jìn)框里有人會(huì)貼得很緊。這種差異會(huì)讓模型訓(xùn)練時(shí)置信度分布變得混亂。我的做法是寫一份標(biāo)注規(guī)范文檔用幾個(gè)典型例子定義邊界——標(biāo)點(diǎn)時(shí)必須落在字符外輪廓外側(cè)不能穿過任何筆畫文字之間有較大間隙時(shí)按單詞或詞組分而不是一整行框死。第二頂點(diǎn)數(shù)量寧多勿少但也不要過度。對(duì)于水平文本8 個(gè)以內(nèi)的頂點(diǎn)足夠?qū)τ谛螤顝?fù)雜的文本區(qū)域可以增加頂點(diǎn)數(shù)讓貼合度更高但頂點(diǎn)過多會(huì)讓訓(xùn)練時(shí)網(wǎng)絡(luò)回歸的幾何量變復(fù)雜影響收斂速度。一般來說一個(gè)文本區(qū)域 4 到 8 個(gè)頂點(diǎn)是比較合理的區(qū)間超過 12 個(gè)就要考慮是不是該拆分成多個(gè)區(qū)域了。第三先標(biāo)一遍再統(tǒng)一回查修一遍。這個(gè)流程只有真正標(biāo)過幾千張圖的人才會(huì)理解。第一輪標(biāo)注時(shí)你的注意力集中在快速把所有圖片都過一遍很多區(qū)域邊緣貼得不夠準(zhǔn)。回查的時(shí)候?qū)ｉT調(diào)整頂點(diǎn)的位置把之前粗糙的標(biāo)注全部精修一遍。這個(gè)回查環(huán)節(jié)表面上是多花了時(shí)間但比起訓(xùn)練模型后發(fā)現(xiàn)數(shù)據(jù)問題再回去排查代價(jià)小得多。我的個(gè)人經(jīng)驗(yàn)是這樣的兩輪標(biāo)注最終質(zhì)量比單輪慢速精標(biāo)還要高因?yàn)槿说淖⒁饬卸仍谇?40 分鐘效率最高第一輪快速覆蓋加上第二輪精修正好卡在這個(gè)高效窗口內(nèi)。5.3 從標(biāo)注到訓(xùn)練的一條龍銜接建議標(biāo)注只是數(shù)據(jù)準(zhǔn)備的一個(gè)環(huán)節(jié)你最終要把它變成模型能用的格式。我建議從一開始就設(shè)計(jì)好銜接腳本而不是等標(biāo)注完再臨時(shí)寫。這里給一個(gè)最簡 Python 腳本的示例作用是把 paperclip 導(dǎo)出的 XML 轉(zhuǎn)成 PaddleOCR det 訓(xùn)練用的 txtimport xml.etree.ElementTree as ET import os def convert_paperclip_xml(xml_path, out_txt_path): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(.//object): name obj.find(name).text points [] xs obj.findall(polygon/x) ys obj.findall(polygon/y) for x_elem, y_elem in zip(xs, ys): points.append([int(x_elem.text), int(y_elem.text)]) lines.append(f{points}, {name}) with open(out_txt_path, w, encodingutf-8) as f: f.write(\n.join(lines)) # 目錄下有 gt_img001.xml convert_paperclip_xml(gt_img001.xml, img001.txt)這個(gè)腳本只需要按實(shí)際框架的要求調(diào)整輸出格式和坐標(biāo)歸一化邏輯就行。轉(zhuǎn)換完之后建議做兩步驗(yàn)證一是隨機(jī)抽幾張圖把多邊形畫回原圖肉眼確認(rèn)坐標(biāo)沒有錯(cuò)位二是檢查所有 txt 行數(shù)與 XML 中的 object 數(shù)量一致。這兩步做完數(shù)據(jù)就可以放心喂給訓(xùn)練管線了。我自己在項(xiàng)目中還有一個(gè)習(xí)慣標(biāo)注完成后先用一個(gè) 50 張圖的 mini split 做一次快速訓(xùn)練迭代驗(yàn)證數(shù)據(jù)格式是否被框架正確解析。這一步能發(fā)現(xiàn)很多隱蔽問題比如坐標(biāo)翻轉(zhuǎn)、錯(cuò)誤類名、多邊形點(diǎn)數(shù)不一致這類坑在實(shí)際開始大訓(xùn)練前全部暴露出來。這個(gè)小成本會(huì)給你省下未來至少兩天的排查時(shí)間。注意所有導(dǎo)出和轉(zhuǎn)換的腳本強(qiáng)烈建議用 git 管理版本。標(biāo)注數(shù)據(jù)項(xiàng)目周期長中途可能會(huì)有重新標(biāo)注、加類別、改標(biāo)準(zhǔn)等情況腳本的可追溯性——知道每一版輸出是哪個(gè)腳本生成的——是項(xiàng)目不崩塌的底線。6. 寫在最后幾個(gè)讓我印象深刻的細(xì)節(jié)這篇分享沒有做總結(jié)的習(xí)慣只想在最后再聊幾個(gè)實(shí)操中讓我對(duì) paperclip 產(chǎn)生好感的小細(xì)節(jié)。一是它對(duì)文檔分類場(chǎng)景的理解。你看它的名字——paperclip直譯就是回形針設(shè)計(jì)者的初衷是用回形針把文檔中的文本和表格區(qū)域夾出來做分類標(biāo)簽。所以它導(dǎo)出的 XML 天然帶有 tagset 概念不像通用標(biāo)注工具那樣只有單純的坐標(biāo)框。這種為特定任務(wù)設(shè)計(jì)的思路讓我在整理文檔結(jié)構(gòu)化數(shù)據(jù)時(shí)幾乎不需要改代碼。二是它讀取 XML 的機(jī)制。只要你把 gt 文件準(zhǔn)備好程序就自動(dòng)按文件名把標(biāo)注和圖片關(guān)聯(lián)起來導(dǎo)出時(shí)也無須額外指定輸出目錄。這個(gè)設(shè)計(jì)乍看很樸素但當(dāng)你面對(duì)成百上千個(gè)文件時(shí)不需要任何清單和配置文件目錄結(jié)構(gòu)本身就是數(shù)據(jù)索引簡潔到讓人舒服。三是它老派但可靠的穩(wěn)定性。它不聯(lián)網(wǎng)、不依賴服務(wù)端、不會(huì)突然強(qiáng)制更新只要環(huán)境不變它就能一直穩(wěn)定地工作。在數(shù)據(jù)標(biāo)注這種長周期、重資產(chǎn)的工程任務(wù)里穩(wěn)定性遠(yuǎn)比花哨的界面重要得多。如果你正在準(zhǔn)備 OCR 或文本檢測(cè)的數(shù)據(jù)集不妨花一兩個(gè)小時(shí)把 paperclip 跑通親手標(biāo)一個(gè)文本區(qū)域感受一下再?zèng)Q定要不要正式采用。根據(jù)我的經(jīng)驗(yàn)一旦你開始批量標(biāo)注它的效率優(yōu)勢(shì)會(huì)越來越明顯。希望這篇實(shí)操筆記能幫你少走點(diǎn)彎路把時(shí)間花在真正重要的訓(xùn)練和調(diào)參上。