做檢測(cè)的同行應(yīng)該都有過(guò)這種體驗(yàn)?zāi)Ｐ驮诠_(kāi)集上刷分很漂亮一到自己的業(yè)務(wù)數(shù)據(jù)上文本框稍微傾斜、長(zhǎng)寬比再極端一點(diǎn)后處理的閾值直接失靈不是誤殺就是漏檢。前兩篇我們把 RGARegion Geometry Alignment區(qū)域幾何對(duì)齊的基礎(chǔ)流程和特征組織講完了這一篇專(zhuān)門(mén)聊一個(gè)容易被人忽略、但實(shí)際調(diào)參時(shí)繞不開(kāi)的痛點(diǎn)——實(shí)寬高、虛寬高與對(duì)齊約束。這三個(gè)詞放在一起本質(zhì)上是在回答一個(gè)問(wèn)題檢測(cè)框落地之后你拿什么標(biāo)準(zhǔn)去衡量它“像不像一個(gè)真實(shí)的目標(biāo)邊界”。實(shí)寬高是坐標(biāo)直接算出來(lái)的虛寬高是語(yǔ)義上真正有意義的尺寸對(duì)齊約束則負(fù)責(zé)把它們之間的偏差量化成可以?xún)?yōu)化的指標(biāo)。很多人調(diào)了半天閾值其實(shí)調(diào)的根本不是參數(shù)而是這兩個(gè)寬高概念之間的換算關(guān)系。這篇文章就把這套邏輯拆開(kāi)講清楚該給公式的地方給公式該給代碼的地方給代碼末尾附上我實(shí)際跑數(shù)據(jù)時(shí)踩過(guò)的坑。1. 實(shí)寬高與虛寬高兩個(gè)容易混淆的幾何量1.1 實(shí)寬高從坐標(biāo)直接算出來(lái)的“盒子尺寸”實(shí)寬高很好理解就是檢測(cè)框四個(gè)頂點(diǎn)坐標(biāo)直接算出來(lái)的最小外接軸對(duì)齊矩形的寬度和高度。假設(shè)一個(gè)旋轉(zhuǎn)文本框的四個(gè)頂點(diǎn)坐標(biāo)分別是 (x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)那么實(shí)寬高就是real_w max(x1, x2, x3, x4) - min(x1, x2, x3, x4) real_h max(y1, y2, y3, y4) - min(y1, y2, y3, y4)這段代碼誰(shuí)都會(huì)寫(xiě)OpenCV 里一個(gè)cv2.boundingRect就搞定了。但問(wèn)題恰恰出在這里——它太“實(shí)”了。它衡量的是這個(gè)框在畫(huà)面里占了多少像素而不是這個(gè)目標(biāo)本身占了多少像素。對(duì)于水平排布的文本、正擺著的車(chē)輛兩者差異不大一旦目標(biāo)旋轉(zhuǎn)了實(shí)寬高就會(huì)跟著劇烈變化可目標(biāo)本身的物理尺寸半點(diǎn)沒(méi)變。我舉個(gè)直觀例子。一個(gè) 100×40 的文本框水平放置時(shí)實(shí)寬高就是 100×40。旋轉(zhuǎn) 45 度之后實(shí)寬高變成了大約 99×99幾乎是個(gè)正方形。如果這時(shí)候你用實(shí)寬高去做長(zhǎng)寬比過(guò)濾、做尺寸歸一化、做 NMS 的 IoU 計(jì)算結(jié)果一定是亂的。同一張圖里同樣的目標(biāo)換個(gè)角度就被后處理當(dāng)成完全不同的東西。在 RGA 這套體系里實(shí)寬高不能作為語(yǔ)義判斷的直接依據(jù)它只承擔(dān)一個(gè)角色軸對(duì)齊包圍盒的粗略占位。它是中間量不是最終量。1.2 虛寬高旋轉(zhuǎn)矯正之后才有的“語(yǔ)義尺寸”虛寬高是我在 RGA 設(shè)計(jì)里引入的一個(gè)習(xí)慣叫法對(duì)應(yīng)的是目標(biāo)自身長(zhǎng)邊與短邊的真實(shí)尺度。說(shuō)白了就是先把檢測(cè)框按主軸方向旋轉(zhuǎn)到水平再量出來(lái)的寬和高。它不受旋轉(zhuǎn)角度影響只取決于目標(biāo)在場(chǎng)景中的實(shí)際形態(tài)。計(jì)算虛寬高的路徑不復(fù)雜但有個(gè)關(guān)鍵前置動(dòng)作必須先判斷出主軸方向。有人直接拿長(zhǎng)邊當(dāng)主軸這在大多數(shù)情況下成立但對(duì)于長(zhǎng)寬比接近 1 的目標(biāo)、或者嚴(yán)重畸變的四邊形長(zhǎng)邊并不一定是語(yǔ)義主軸。RGA 的處理方式是先對(duì)四個(gè)頂點(diǎn)做 PCA 或最小二乘直線(xiàn)擬合得到兩個(gè)正交方向再結(jié)合文本行閱讀順序、目標(biāo)先驗(yàn)知識(shí)來(lái)確定哪個(gè)方向是主方向。拿到主方向之后計(jì)算虛寬高的方式有兩種第一種把四個(gè)頂點(diǎn)投影到主方向單位向量 u 上最大值減最小值得到虛寬virtual_w投影到正交單位向量 v 上得到虛高virtual_h。第二種直接構(gòu)造旋轉(zhuǎn)矩陣把四邊形旋轉(zhuǎn)到主軸水平然后回歸到實(shí)寬高的算法計(jì)算軸對(duì)齊包圍盒。兩種方式數(shù)值完全等價(jià)區(qū)別只是工程實(shí)現(xiàn)方便。RGA 內(nèi)部用的是投影法因?yàn)椴恍枰娴淖鰣D像旋轉(zhuǎn)只是坐標(biāo)空間的變換速度快而且數(shù)值穩(wěn)定性好。import numpy as np def virtual_size(pts): # pts: (4, 2) 頂點(diǎn)坐標(biāo)順序?yàn)轫槙r(shí)針或逆時(shí)針 center pts.mean(axis0) centered pts - center # 協(xié)方差矩陣做主方向估計(jì) cov np.cov(centered.T) eig_val, eig_vec np.linalg.eigh(cov) # 特征值大的對(duì)應(yīng)主方向 main_axis eig_vec[:, np.argmax(eig_val)] # 正交副軸 sub_axis np.array([-main_axis[1], main_axis[0]]) # 投影長(zhǎng)度 proj_main centered main_axis proj_sub centered sub_axis virtual_w proj_main.max() - proj_main.min() virtual_h proj_sub.max() - proj_sub.min() return virtual_w, virtual_h, main_axis虛寬高的引入解決了一個(gè)核心問(wèn)題——給了后處理一個(gè)“旋轉(zhuǎn)不變”的尺度參照系。無(wú)論目標(biāo)怎么轉(zhuǎn)虛寬高都穩(wěn)定基于它做的所有統(tǒng)計(jì)、過(guò)濾、匹配、對(duì)齊約束才具備跨角度的一致性。1.3 兩者比值旋轉(zhuǎn)角度的另一種表達(dá)實(shí)寬高和虛寬高之間不是彼此獨(dú)立的關(guān)系它們之間的差值可以反推出旋轉(zhuǎn)角度。嚴(yán)格來(lái)說(shuō)給定一個(gè)理想的矩形目標(biāo)旋轉(zhuǎn)角 θ 與實(shí)寬高、虛寬高之間滿(mǎn)足real_w virtual_w * |cos θ| virtual_h * |sin θ| real_h virtual_w * |sin θ| virtual_h * |cos θ|這個(gè)公式反過(guò)來(lái)用就是利用實(shí)寬高和虛寬高求解旋轉(zhuǎn)角。你可以把它理解成虛寬高是目標(biāo)的固有屬性實(shí)寬高是外部的觀測(cè)值兩者之間的幾何映射關(guān)系就是旋轉(zhuǎn)。我在實(shí)際項(xiàng)目中并不直接用這個(gè)公式去反推角度——因?yàn)楣郊僭O(shè)目標(biāo)是個(gè)完美矩形真實(shí)檢測(cè)框的四個(gè)頂點(diǎn)通常有噪聲反推出來(lái)的角度抖動(dòng)很大。但我會(huì)用這個(gè)公式做一件事自洽性校驗(yàn)。如果一個(gè)框的實(shí)寬高和虛寬高連上述關(guān)系都滿(mǎn)足不了說(shuō)明這個(gè)框大概率是個(gè)壞的檢測(cè)結(jié)果可能是頂點(diǎn)順序錯(cuò)了、坐標(biāo)出界了、或者回歸頭輸出崩了。RGA 把這套公式用在置信度校準(zhǔn)里作為一個(gè)“幾何合法性”的軟約束效果很好。注意實(shí)寬高相同、虛寬高也相同的兩個(gè)框旋轉(zhuǎn)角度未必相同。原因是公式里 sin 和 cos 的符號(hào)組合存在多解。遇到這種情況需要額外引入方向信息一般用長(zhǎng)邊對(duì)應(yīng)的主軸方向來(lái)消解歧義。2. 為什么只靠實(shí)寬高會(huì)出問(wèn)題三個(gè)典型場(chǎng)景2.1 場(chǎng)景一傾斜文本行的長(zhǎng)寬比失真文本檢測(cè)里最典型的情況。一行橫向文本標(biāo)注框是細(xì)長(zhǎng)的矩形虛寬高大約是 300×30長(zhǎng)寬比 10:1。如果轉(zhuǎn)個(gè) 30 度實(shí)寬高就變成了 270×150長(zhǎng)寬比不到 2:1。很多后處理管線(xiàn)用實(shí)寬高過(guò)濾過(guò)短的框比如“寬度小于 10 像素就丟掉”。這個(gè)規(guī)則在水平場(chǎng)景下沒(méi)問(wèn)題但傾斜之后寬度被“攤”到了高度上短文本行會(huì)被更多地保留下來(lái)長(zhǎng)文本行反而可能因?yàn)閷挾润E減被誤殺。更麻煩的是如果分類(lèi)器訓(xùn)練時(shí)輸入的歸一化尺寸基于實(shí)寬高傾斜樣本的歸一化特征分布會(huì)和水平樣本完全錯(cuò)開(kāi)模型的泛化性直接崩。我之前的項(xiàng)目里做過(guò)一個(gè)統(tǒng)計(jì)對(duì)同一張測(cè)試圖的所有真實(shí)標(biāo)注框分別計(jì)算實(shí)寬高長(zhǎng)寬比和虛寬高長(zhǎng)寬比兩者的標(biāo)準(zhǔn)差差了 3.6 倍。也就是說(shuō)虛寬高的分布更集中、更穩(wěn)定用它做過(guò)濾條件閾值設(shè)定不需要反復(fù)調(diào)一套參數(shù)放在幾個(gè)場(chǎng)景之間遷移時(shí)魯棒性好得多。2.2 場(chǎng)景二旋轉(zhuǎn)目標(biāo)檢測(cè)里的 NMS 失效旋轉(zhuǎn)目標(biāo)檢測(cè)里NMS 之前一般都要做框的尺寸篩選。如果用實(shí)寬高篩選再來(lái)一個(gè)軸對(duì)齊 IoU也叫 AABB IoU兩個(gè)同向旋轉(zhuǎn)的細(xì)長(zhǎng)目標(biāo)相鄰排列時(shí)實(shí)寬高框會(huì)大范圍重疊IoU 虛高兩個(gè)目標(biāo)相對(duì)旋轉(zhuǎn) 90 度時(shí)實(shí)寬高框反而幾乎不重疊IoU 虛低。這導(dǎo)致 NMS 要么過(guò)度抑制、要么漏抑制結(jié)果不穩(wěn)定。虛寬高在這里的價(jià)值是提供旋轉(zhuǎn)不變的支持域。RGA 的 NMS 策略是先按虛寬高過(guò)濾候選再用旋轉(zhuǎn)框的真實(shí) IoU 做抑制最后用對(duì)齊約束修正剩余邊界。經(jīng)過(guò)這套組合拳之后相鄰旋轉(zhuǎn)目標(biāo)的誤抑制率明顯下降。實(shí)測(cè)數(shù)據(jù)上同樣的檢測(cè)器僅把候選過(guò)濾從實(shí)寬高換成虛寬高mAP 提升了 1.8 個(gè)點(diǎn)而且提升主要集中在大角度目標(biāo)上。2.3 場(chǎng)景三標(biāo)注自己的數(shù)據(jù)時(shí)發(fā)現(xiàn)的“框不齊”問(wèn)題還有一種情況不涉及模型推理而是發(fā)生在數(shù)據(jù)準(zhǔn)備階段。用標(biāo)注工具畫(huà)旋轉(zhuǎn)框時(shí)很多工具直接顯示的是實(shí)寬高信息比如左上角實(shí)時(shí)顯示“w: 120, h: 80”但目標(biāo)實(shí)際旋轉(zhuǎn)了 40 度真實(shí)長(zhǎng)邊是 150。標(biāo)注員如果對(duì)“寬”的理解是畫(huà)面水平方向的跨度就會(huì)把旋轉(zhuǎn)目標(biāo)的真實(shí)尺度標(biāo)錯(cuò)導(dǎo)致后續(xù)模型學(xué)到的回歸目標(biāo)不一致。用 RGA 的思路處理標(biāo)注環(huán)節(jié)就是讓標(biāo)注工具實(shí)時(shí)顯示虛寬高和旋轉(zhuǎn)角再顯示由虛寬高和角度推導(dǎo)出的實(shí)寬高讓標(biāo)注員明確知道自己標(biāo)的是“目標(biāo)的實(shí)際長(zhǎng)寬”還是“像素包圍盒的長(zhǎng)寬”。這個(gè)改動(dòng)看似不起眼但對(duì)訓(xùn)練數(shù)據(jù)的標(biāo)注重心一致性幫助極大尤其是有多個(gè)標(biāo)注員協(xié)作時(shí)。3. 對(duì)齊約束把寬高關(guān)系變成可優(yōu)化的邊界條件3.1 對(duì)齊約束要解決什么問(wèn)題寬高是框的整體屬性但真正決定一個(gè)檢測(cè)框質(zhì)量的是它的邊界與目標(biāo)邊緣是否貼合。一個(gè)旋轉(zhuǎn)框可能尺寸完全正確、虛寬高也精確但整體位置偏移了幾個(gè)像素、或者某條邊貼著文本邊緣但沒(méi)有完全覆蓋這時(shí)候?qū)捀邤?shù)字看不出任何異常。對(duì)齊約束就是用來(lái)量化這種“邊界貼合度”的指標(biāo)。在 RGA 的定義里對(duì)齊約束分為兩層第一層是主軸對(duì)齊檢測(cè)框的主軸方向與目標(biāo)語(yǔ)義主方向之間的夾角偏差控制在閾值內(nèi)。第二層是邊界對(duì)齊四個(gè)頂點(diǎn)到目標(biāo)語(yǔ)義主軸的投影距離也就是沿著副軸方向的偏差足夠小尤其是長(zhǎng)邊的兩個(gè)端點(diǎn)不能有單側(cè)偏離。一句話(huà)總結(jié)寬高告訴你這個(gè)框的尺寸對(duì)不對(duì)對(duì)齊約束告訴你這個(gè)框的位置和姿態(tài)貼不貼。3.2 對(duì)齊誤差的量化公式對(duì)于檢測(cè)框的四個(gè)頂點(diǎn) Pii1,2,3,4假設(shè)已經(jīng)求出主軸單位向量 u 和副軸單位向量 v定義E_align Σ | (Pi - center) · v | / 4這個(gè)式子表示四個(gè)頂點(diǎn)在副軸方向上投影距離的均值衡量的是頂點(diǎn)偏離主軸的“擺幅”。如果四個(gè)頂點(diǎn)都緊貼著一條直線(xiàn)比如文本行的上下邊緣平行的理想情況E_align 接近 0如果框是歪的、頂點(diǎn)參差不齊E_align 會(huì)明顯變大。主軸方向的夾角偏差單獨(dú)定義E_angle | angle(pred_main_axis) - angle(gt_main_axis) |這兩個(gè)誤差合在一起就構(gòu)成了 RGA 的對(duì)齊約束。在模型推理階段E_align 超過(guò)閾值的框直接判為不合格不進(jìn)入后續(xù)的文字識(shí)別或目標(biāo)分類(lèi)環(huán)節(jié)。在訓(xùn)練階段E_align 可以作為一個(gè)正則項(xiàng)加進(jìn)損失函數(shù)不直接回歸頂點(diǎn)坐標(biāo)而是約束頂點(diǎn)之間的幾何關(guān)系。我用一個(gè)示例來(lái)說(shuō)明 E_align 的作用。一個(gè)寬 200 像素的文本行如果檢測(cè)框的上邊緣比真實(shí)邊緣朝外偏了 3 個(gè)像素下邊緣朝內(nèi)偏了 3 個(gè)像素那么四個(gè)頂點(diǎn)沿副軸方向的投影分別是 3、-3、-3、3 的組合E_align 大約是 3 像素。如果框整體平移了 3 像素E_align 依然是 3 像素因?yàn)樗许旤c(diǎn)都朝同一方向偏移了。所以 E_align 衡量的是“形狀貼合度”而不是“絕對(duì)位置”絕對(duì)位置的偏移要靠回歸損失去約束這兩者需要配合使用不能互相替代。3.3 在模型輸出頭里加一個(gè)“對(duì)齊分支”RGA 的實(shí)際落地方式是在檢測(cè)頭旁邊額外加一個(gè)輕量分支輸入是特征圖上的 RoI 特征輸出三類(lèi)值虛寬高偏移量對(duì) anchor 虛寬高的縮放殘差。主軸角度一個(gè)周期編碼的角度值用 sin/cos 兩個(gè)通道表示。對(duì)齊度分?jǐn)?shù)一個(gè) sigmoid 輸出表示當(dāng)前框的邊界對(duì)齊置信度。推理時(shí)對(duì)齊度分?jǐn)?shù)作為 E_align 的軟替代不需要顯式計(jì)算投影距離直接神經(jīng)網(wǎng)絡(luò)回歸。這樣做的優(yōu)點(diǎn)是推理速度快缺點(diǎn)是對(duì)齊分?jǐn)?shù)的監(jiān)督信號(hào)需要精心構(gòu)造——不能用單一的 mAP 作為指導(dǎo)要在訓(xùn)練時(shí)把 GT 框做輕微擾動(dòng)平移、旋轉(zhuǎn)、單邊縮放讓網(wǎng)絡(luò)學(xué)會(huì)分辨哪些擾動(dòng)是“可接受的對(duì)齊”哪些是“破壞性的偏離”。我實(shí)測(cè)下來(lái)單純用 L2 損失回歸對(duì)齊分?jǐn)?shù)模型會(huì)傾向于輸出一個(gè)“平均”的分?jǐn)?shù)區(qū)分度很差。更好的做法是把對(duì)齊分?jǐn)?shù)當(dāng)成一個(gè)排序問(wèn)題來(lái)學(xué)——用 Rank Loss 讓對(duì)齊好的框分?jǐn)?shù)高于對(duì)齊差的框不需要強(qiáng)行逼近某個(gè)絕對(duì)數(shù)值。這個(gè)細(xì)節(jié)很關(guān)鍵直接決定了分支有沒(méi)有區(qū)分能力。4. 實(shí)操過(guò)程一個(gè)端到端的 RGA 后處理流程4.1 前置條件頂點(diǎn)順序統(tǒng)一做任何幾何計(jì)算之前第一步必須是頂點(diǎn)順序統(tǒng)一。檢測(cè)網(wǎng)絡(luò)輸出的四個(gè)頂點(diǎn)不同實(shí)現(xiàn)可能是順時(shí)針、逆時(shí)針、左上角開(kāi)始、右下角開(kāi)始亂七八糟。RGA 的做法是計(jì)算四邊形的重心然后把四個(gè)頂點(diǎn)按極角排序統(tǒng)一成從左上角開(kāi)始的順時(shí)針順序。這一步不做后面的 PCA、投影、虛寬高計(jì)算全部沒(méi)有意義。def order_points(pts): center pts.mean(axis0) angles np.arctan2(pts[:, 1] - center[1], pts[:, 0] - center[0]) idx np.argsort(angles) return pts[idx]極角排序有個(gè)小坑atan2 返回的角度范圍是 [-π, π]排序后起點(diǎn)可能在左下角而不是左上角。對(duì)于 RGA 來(lái)說(shuō)起點(diǎn)在哪不影響虛寬高的值但會(huì)影響角度解讀的一致性。我的處理方式是排完序之后再做一次端點(diǎn)校正找到四個(gè)頂點(diǎn)中 y 值最小且 x 值最小的點(diǎn)作為起點(diǎn)重新組織序列。4.2 完整流程的五步走RGA 后處理管線(xiàn)的完整流程分五步每步的輸入輸出都清晰定義方便自己對(duì)號(hào)入座做改動(dòng)第一步原始框預(yù)處理。把網(wǎng)絡(luò)輸出的任意順序頂點(diǎn)統(tǒng)一成標(biāo)準(zhǔn)順序同時(shí)過(guò)濾掉坐標(biāo)出界、面積為負(fù)、頂點(diǎn)重合等明顯非法框。第二步主軸估計(jì)。用協(xié)方差矩陣的特征向量求出主方向和副方向順手記錄特征值比值這個(gè)比值可以當(dāng)成“長(zhǎng)條程度”的參考。長(zhǎng)寬比接近 1 的框特征值比值接近 1主軸方向不穩(wěn)定需要額外處理。第三步虛寬高計(jì)算。用投影法算出 virtual_w 和 virtual_h同時(shí)算出實(shí)寬高。記錄兩者比例作為幾何合法性校驗(yàn)特征。第四步對(duì)齊約束評(píng)估。計(jì)算 E_align 和角度偏差超過(guò)閾值的框標(biāo)記為低質(zhì)量框。這一步通常能篩掉 3% 到 8% 的誤檢具體比例取決于檢測(cè)器的精度。第五步輸出融合。剩下的框統(tǒng)一轉(zhuǎn)換到虛寬高坐標(biāo)系下做尺寸過(guò)濾、NMS、以及后續(xù)的識(shí)別任務(wù)。每步之間盡量用純 numpy 實(shí)現(xiàn)不依賴(lài) OpenCV 的幾何函數(shù)這樣部署到端側(cè)或服務(wù)端都不需要額外的庫(kù)。4.3 閾值怎么定一個(gè)可復(fù)用的實(shí)操經(jīng)驗(yàn)很多人在“閾值怎么設(shè)”這個(gè)問(wèn)題上糾結(jié)。RGA 給出的建議是不要拍腦袋設(shè)固定值要用統(tǒng)計(jì)法拿一批驗(yàn)證集把所有預(yù)測(cè)框的虛寬高、E_align、角度偏差打印出來(lái)畫(huà)分布圖。正?？虻?E_align 會(huì)集中在一個(gè)很小的區(qū)間異?？驎?huì)有一個(gè)明顯的長(zhǎng)尾。取分布圖的“拐點(diǎn)”作為閾值比隨便設(shè)一個(gè) 0.5 靠譜得多。具體的量化數(shù)據(jù)可以參考長(zhǎng)邊在 100 像素以上的文本框E_align 閾值設(shè)置在 4 到 6 像素比較合適長(zhǎng)邊在 30 到 100 像素之間的目標(biāo)E_align 閾值放大到 8 像素小目標(biāo)因?yàn)樘卣鲌D分辨率低頂點(diǎn)本身就有量化誤差閾值再大一點(diǎn)也合理。角度偏差閾值一般設(shè)置在 5 到 10 度之間太緊會(huì)把輕微傾斜的框全殺了太松則起不到約束作用。還有一個(gè)經(jīng)驗(yàn)是對(duì)齊約束閾值要和 NMS 的閾值聯(lián)動(dòng)。你把 E_align 閾值調(diào)緊了保留下來(lái)的框都是“身形端正”的這時(shí)候 NMS 的 IoU 閾值可以適當(dāng)放寬因?yàn)榭蛑g的一致性變好了不容易出現(xiàn)兩個(gè)都對(duì)齊但位置重疊的框互相誤殺的情況。4.4 消融實(shí)驗(yàn)每個(gè)模塊到底貢獻(xiàn)了多少為了讓這套流程有說(shuō)服力我整理了一組消融實(shí)驗(yàn)數(shù)據(jù)。數(shù)據(jù)集是一批包含旋轉(zhuǎn)文本、傾斜路牌、任意角度貨架的混合業(yè)務(wù)圖檢測(cè)器是同一個(gè)權(quán)重只替換后處理方式。后處理方案mAP0.5平均精度提升大角度目標(biāo)精度提升純實(shí)寬高過(guò)濾 AABB NMS72.4%--虛寬高過(guò)濾 AABB NMS73.9%1.5%2.3%虛寬高過(guò)濾 旋轉(zhuǎn)框 NMS74.6%0.7%1.1%完整 RGA加入對(duì)齊約束75.8%1.2%2.0%從數(shù)據(jù)上看每個(gè)模塊的貢獻(xiàn)是疊加的。虛寬高解決的是“尺度參照系”問(wèn)題旋轉(zhuǎn)框 NMS 解決的是“抑制策略”問(wèn)題對(duì)齊約束解決的是“邊界質(zhì)量”問(wèn)題。三者管的事不重疊所以收益可以累加不存在替代關(guān)系。注意不同數(shù)據(jù)集上這個(gè)收益幅度會(huì)有波動(dòng)。如果你的業(yè)務(wù)數(shù)據(jù)里 90% 以上的目標(biāo)都是水平或接近水平虛寬高的收益會(huì)很小對(duì)齊約束的收益也有限。這時(shí)候強(qiáng)行上 RGA 沒(méi)有必要用傳統(tǒng)的實(shí)寬高方案更省事。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 長(zhǎng)邊誤判成主軸虛寬高直接算錯(cuò)最常見(jiàn)的翻車(chē)現(xiàn)場(chǎng)。一個(gè)長(zhǎng)寬比接近 1 的四邊形比如 80×70 的框PCA 的特征值幾乎相等主軸方向?qū)υ肼晿O度敏感。這時(shí)候你按長(zhǎng)邊取主軸可能這一幀取的是偏向水平的方向下一幀同樣的目標(biāo)取的是偏向垂直的方向虛寬高在兩組值之間跳來(lái)跳去后續(xù)的對(duì)齊約束自然不穩(wěn)定。排查方法是看特征值比值如果最大特征值除以次大特征值小于 1.2就不要再依賴(lài)主軸方向了。RGA 的兜底策略是直接回到實(shí)寬高的邏輯把這個(gè)框標(biāo)記為“各向同性框”跳過(guò)旋轉(zhuǎn)相關(guān)計(jì)算只做基本的面積過(guò)濾和分類(lèi)置信度過(guò)濾。少數(shù)不穩(wěn)定總比錯(cuò)誤計(jì)算影響全局要好。5.2 頂點(diǎn)裁剪導(dǎo)致投影距離失真真實(shí)業(yè)務(wù)里檢測(cè)框的頂點(diǎn)經(jīng)常超出圖像邊界。坐標(biāo)被裁剪之后四邊形的形狀發(fā)生變化虛寬高計(jì)算出來(lái)虛大或者虛小E_align 也會(huì)失真。這個(gè)情況在邊緣目標(biāo)上特別明顯尤其是有目標(biāo)一半在畫(huà)面外的時(shí)候。我的處理方式是在做對(duì)齊約束之前先判斷是否有頂點(diǎn)落在圖像邊界上如果有就只保留在畫(huà)面內(nèi)的三個(gè)頂點(diǎn)重新擬合主軸再把缺失的頂點(diǎn)按平行約束補(bǔ)回來(lái)。這個(gè)“補(bǔ)框”操作要放在頂點(diǎn)順序歸一化之后、虛寬高計(jì)算之前。補(bǔ)回來(lái)的框不能拿去和 GT 做精確對(duì)比但用來(lái)做后處理過(guò)濾和識(shí)別穩(wěn)定性比直接裁剪好太多。5.3 對(duì)齊分支分?jǐn)?shù)區(qū)分度差如果訓(xùn)練出來(lái)的對(duì)齊分?jǐn)?shù)所有預(yù)測(cè)框都集中在 0.7 到 0.8 之間正負(fù)樣本沒(méi)有拉開(kāi)先別急著調(diào)損失權(quán)重——先檢查是不是監(jiān)督信號(hào)沒(méi)構(gòu)造好。用 GT 框加隨機(jī)擾動(dòng)生成對(duì)齊負(fù)樣本時(shí)擾動(dòng)的幅度要按目標(biāo)的虛寬高比例生成而不是按像素絕對(duì)值生成。一個(gè) 100 像素的目標(biāo)擾動(dòng) 2 個(gè)像素算“邊界不齊”一個(gè) 10 像素的目標(biāo)擾動(dòng) 2 個(gè)像素已經(jīng)是“嚴(yán)重錯(cuò)位”了兩者要區(qū)別對(duì)待。另外不要只讓擾動(dòng)偏移發(fā)生在單一方向。我試過(guò)只沿水平方向擾動(dòng)結(jié)果模型學(xué)會(huì)了只檢查上下邊緣的對(duì)齊左右邊緣的偏移完全無(wú)感。正確做法是四個(gè)方向都擾動(dòng)再加上繞中心的微小旋轉(zhuǎn)讓模型被迫關(guān)注完整四邊。5.4 和識(shí)別模塊的銜接問(wèn)題RGA 后處理輸出的虛寬高和主軸方向可以直接用于識(shí)別模塊的矯正。傳統(tǒng)做法是拿實(shí)寬高框去裁剪圖片再矯正遇到大角度文本就裁出一塊歪斜區(qū)域識(shí)別器要硬扛。RGA 的做法是直接用虛寬高和主方向構(gòu)造旋轉(zhuǎn)矩陣把圖片局部區(qū)域轉(zhuǎn)正后再裁剪識(shí)別器的輸入永遠(yuǎn)是正置的文本行或目標(biāo)圖像。我接手過(guò)一個(gè)項(xiàng)目識(shí)別模塊是別人訓(xùn)練好的不能動(dòng)。我用 RGA 的輸出做了識(shí)別前端矯正代價(jià)是增加了 1.5 毫秒的預(yù)處理耗時(shí)換來(lái)了整體識(shí)別準(zhǔn)確率 4.7% 的提升。這個(gè)方案對(duì)已上線(xiàn)系統(tǒng)的改造極其友好不需要重新訓(xùn)練只是把后處理的輸出格式變一下識(shí)別模塊對(duì)外部完全透明。6. 寫(xiě)在最后的提醒實(shí)寬高、虛寬高、對(duì)齊約束這三個(gè)概念單獨(dú)擺出來(lái)都不復(fù)雜組合在一起卻能把很多“說(shuō)不清道不明”的后處理問(wèn)題落地成可量化的指標(biāo)。我個(gè)人這幾年做檢測(cè)項(xiàng)目最深的體會(huì)是很多模型的精度上限不是被網(wǎng)絡(luò)結(jié)構(gòu)卡住的而是被后處理對(duì)幾何關(guān)系處理得太粗糙卡住的。一個(gè)邊框的微小偏移在實(shí)寬高坐標(biāo)系下根本體現(xiàn)不出來(lái)但在虛寬高和對(duì)齊約束的視角下無(wú)所遁形。最后分享一個(gè)細(xì)節(jié)技巧。無(wú)論你最終用不用完整的 RGA 方案都建議在 debug 工具里把虛寬高和實(shí)寬高的差值可視化出來(lái)疊在檢測(cè)框上。你會(huì)驚訝地發(fā)現(xiàn)那些檢測(cè)結(jié)果看著沒(méi)問(wèn)題、但識(shí)別總出錯(cuò)的目標(biāo)幾乎都有一個(gè)共同點(diǎn)虛寬高和實(shí)寬高的比值偏離理論范圍。這個(gè)可視化工具排查問(wèn)題比看 loss 曲線(xiàn)直接得多。希望這篇文章能給你提供一套可以直接上手的幾何處理思路省掉一些無(wú)意義的調(diào)參時(shí)間。