網(wǎng)絡(luò)CNN：從原理到工程部署的實(shí)戰(zhàn)總結(jié))
1. 從一條卷積計算開始CNN到底在算什么先說個我自己的體驗(yàn)。當(dāng)年第一次接觸卷積神經(jīng)網(wǎng)絡(luò)時找了一堆資料來看結(jié)果越看越糊涂。網(wǎng)上教程大多從“圖像分類任務(wù)”講起上來就是“把圖片輸入網(wǎng)絡(luò)輸出類別概率”中間那一大段黑箱過程基本靠想象。后來我把一張圖的完整處理流程在紙上一步步畫出來才真正明白CNN不是玄學(xué)它就是在做一件很樸素的事用可學(xué)習(xí)的濾波器去像素矩陣?yán)锓磸?fù)提取有結(jié)構(gòu)的特征。那段時間我還在某項(xiàng)目里做工業(yè)質(zhì)檢拍出來的零件圖有劃痕、有臟污傳統(tǒng)圖像處理方法寫了幾百行規(guī)則換個光照就崩。后來換成CNN檢測效果一下子穩(wěn)定了很多。但真正讓我頭疼的不是網(wǎng)絡(luò)本身的準(zhǔn)確率而是怎么理解它、怎么調(diào)它、怎么讓它跑得快。這篇文章就是把我這幾年從理論到實(shí)際部署過程中關(guān)于CNN的全部心得整理出來不寫教科書式的內(nèi)容只講我驗(yàn)證過、踩過坑的東西。先從最核心的計算開始。你有一張灰度圖就是一個二維矩陣比如 256×256。卷積操作就是拿一個小矩陣——通常叫卷積核或?yàn)V波器——在這個大矩陣上按步長滑動每停一個位置就把對應(yīng)位置的元素逐項(xiàng)相乘再求和得到一個數(shù)值。所有位置滑完就生成一張新的、尺寸更小的矩陣叫特征圖。舉個例子假設(shè)輸入是一個 5×5 的矩陣卷積核是 3×3步長stride為 1沒有填充padding那么輸出尺寸是 3×3。計算公式很簡單[ \text{輸出邊長} \frac{\text{輸入邊長} - \text{核大小}}{\text{步長}} 1 (5 - 3) / 1 1 3 ]如果加padding把輸入矩陣周圍補(bǔ)一圈0那么5×5的輸入在padding1后變成7×7輸出就能保持5×5。這一點(diǎn)在搭建深層網(wǎng)絡(luò)時至關(guān)重要——一旦層數(shù)多了不加padding特征圖尺寸會迅速縮水網(wǎng)絡(luò)沒法建深。而一張彩色圖通常是三通道RGB也就是三層矩陣疊在一起。這時卷積核就不再是二維的而是和輸入通道數(shù)一致的三維核比如 3×3×3。每一層和對應(yīng)的輸入通道做卷積三個通道的結(jié)果相加再加上偏置得到輸出特征圖的一個通道。到這里你需要記住第一個要點(diǎn)卷積層的參數(shù)數(shù)量只和卷積核尺寸、輸入通道數(shù)、輸出通道數(shù)有關(guān)和輸入圖片的寬高完全無關(guān)。比如輸入是任意分辨率的RGB圖一個 3×3 卷積核從3通道變到64通道參數(shù)數(shù)就是 3×3×3×64 64 1792。不管你喂進(jìn)去的是 224×224 還是 512×512參數(shù)都一樣。這一點(diǎn)直接決定了卷積網(wǎng)絡(luò)可以處理任意尺寸輸入也為后面講部署優(yōu)化埋下伏筆。1.1 卷積核它到底在提取什么很多人問卷積核里面的數(shù)值是怎么來的是人為設(shè)計的嗎早期確實(shí)有人工設(shè)計特征提取器比如邊緣檢測里的Sobel算子[ \begin{bmatrix} -1 0 1 \ -2 0 2 \ -1 0 1 \end{bmatrix} ]這個矩陣是固定的圖片經(jīng)過它之后橫向邊緣信息就凸顯出來了。但CNN里的卷積核初始值是隨機(jī)初始化然后通過反向傳播在訓(xùn)練過程中不斷調(diào)整最終網(wǎng)絡(luò)自己學(xué)會了類似邊緣、紋理、形狀等特征。換句話說我們連“讓網(wǎng)絡(luò)提取什么特征”都不用指定只要告訴它最終任務(wù)是什么它自己組織出一整套由低層到高層的特征提取流水線。低層卷積核學(xué)到的是邊緣、顏色塊這類基礎(chǔ)紋理中層學(xué)到的是更有結(jié)構(gòu)的局部模式比如某個弧線組合、某個紋理單元高層則對應(yīng)整個物體部件甚至整體語義。這個特點(diǎn)我在實(shí)際項(xiàng)目里驗(yàn)證過很多次當(dāng)訓(xùn)練樣本不足時網(wǎng)絡(luò)往往會停在低層特征上輸出的特征圖看不出什么語義信息訓(xùn)練充分后高層特征圖對目標(biāo)位置的響應(yīng)會非常明確。1.2 步長與填充特征的“采樣粒度”步長設(shè)置也很關(guān)鍵。很多初學(xué)者習(xí)慣把步長固定為1認(rèn)為卷積就該逐像素滑動。但實(shí)際工程中步長為2的卷積經(jīng)常被用來替代池化做下采樣好處是可以在降維的同時學(xué)習(xí)采樣方式而不是用固定規(guī)則硬性丟掉信息。每個卷積層輸入尺寸、輸出尺寸、核大小、填充、步長共五個參數(shù)配置它們要滿足兩個約束一是輸出尺寸不能變成非整數(shù)即上式必須整除二是感受野覆蓋范圍要合理別讓邊緣信息在第一層就丟太多。填充的選擇也要分情況。如果你做的是圖像分類通常paddingsame保持空間尺寸不變讓深層的特征圖不至于縮得太快如果你做的是像素級任務(wù)比如語義分割更要注意padding對邊界的影響因?yàn)樘畛?會在邊緣引入無效信息可能讓模型對邊緣區(qū)域的預(yù)測噪聲更大。我曾經(jīng)在分割模型里反復(fù)調(diào)整padding策略最終在訓(xùn)練時給輸入圖做小幅隨機(jī)裁剪讓邊緣目標(biāo)不那么頻繁地出現(xiàn)在邊緣位置效果比單純換padding好很多。2. 激活函數(shù)與池化讓網(wǎng)絡(luò)具備非線性與尺度魯棒性卷積本身是線性操作——它不過是一組乘加運(yùn)算。如果沒有非線性變換你再堆多少層卷積整個網(wǎng)絡(luò)等效于一個線性變換表達(dá)能力非常有限。所以每個卷積層后面幾乎都會接一個激活函數(shù)逐元素地對特征圖做非線性映射。早期網(wǎng)絡(luò)多用sigmoid但它在深層網(wǎng)絡(luò)中會帶來一個很致命的問題梯度消失。我們公司曾經(jīng)做過一個實(shí)驗(yàn)把一個小型網(wǎng)絡(luò)用sigmoid激活函數(shù)反復(fù)加深到二十幾層結(jié)果是訓(xùn)練loss幾乎不下降。后來換成ReLU同樣結(jié)構(gòu)、同樣超參數(shù)幾十個epoch后收斂明顯。ReLU的定義太簡單了[ f(x) \max(0, x) ]正區(qū)間導(dǎo)數(shù)為1負(fù)區(qū)間直接置0。這讓梯度在正向傳播路徑上能順暢回傳緩解了梯度消失問題。但它的問題在于“死神經(jīng)元”——大量負(fù)值輸入被置0后對應(yīng)神經(jīng)元可能再也得不到有效梯度更新永遠(yuǎn)輸出0。我在實(shí)際訓(xùn)練中觀察過統(tǒng)計模型剛初始化時ReLU死神經(jīng)元比例通常在10%以下隨著訓(xùn)練推進(jìn)某些通道的響應(yīng)逐漸變成全0占比可以達(dá)到20%甚至更高使用Leaky ReLU后這個比例顯著下降但訓(xùn)練速度略有下降。所以現(xiàn)在更推薦在中等規(guī)模網(wǎng)絡(luò)里優(yōu)先試Leaky ReLU或GELU而不是一把梭用ReLU。2.1 池化解決“位置微變但類別不變”的問題池化層做的事情概括起來就是兩個字降采樣。最常用的是最大池化——取一個小窗口內(nèi)的最大值作為輸出。這么做有兩個直觀的動機(jī)一是降低特征圖分辨率減少后續(xù)計算量二是引入一定平移不變性圖像里的目標(biāo)稍微移動幾個像素池化結(jié)果仍然穩(wěn)定。但池化有個容易被人忽略的問題它會讓位置信息變得粗糙。如果你做的任務(wù)是圖像分類目標(biāo)位置偏移幾個像素本來就不影響語義粗一點(diǎn)沒關(guān)系但如果是目標(biāo)檢測或關(guān)鍵點(diǎn)定位隨隨便便下采樣四倍定位精度就會大打折扣。所以現(xiàn)代檢測模型里主干網(wǎng)絡(luò)的下采樣比例往往會被刻意限制比如輸出特征圖的步長一般控制在32或16個別對小目標(biāo)敏感的任務(wù)甚至?xí)档?。池化的具體操作不復(fù)雜但選擇哪種池化是有講究的池化類型計算方式適用場景最大池化取窗口最大值分類任務(wù)、紋理顯著目標(biāo)保留強(qiáng)響應(yīng)平均池化取窗口均值全局信息整合避免極端值干擾全局平均池化對整個特征圖取均值分類頭前最后一層直接替代全連接層自適應(yīng)池化由PyTorch按輸出尺寸反推窗口輸入尺寸不固定時統(tǒng)一特征維度在實(shí)際項(xiàng)目中我常常把分類網(wǎng)絡(luò)末尾的全連接層刪掉換成全局平均池化加一個1×1卷積輸出類別數(shù)。這樣做的理由是全連接層參數(shù)量巨大而且一旦輸入尺寸變了維度就對不上全局平均池化則對輸入尺寸完全免疫并且天然匯總了每張?zhí)卣鲌D的全局語義。這個調(diào)整對控制過擬合也有幫助——參數(shù)量小了需要擬合的空間就小了。順便說一嘴現(xiàn)在很多新網(wǎng)絡(luò)已經(jīng)不用傳統(tǒng)池化。比如用步長為2的卷積做下采樣或者用空洞卷積在保持分辨率的前提下擴(kuò)大感受野。但池化這個概念并沒有過時理解池化的本質(zhì)有助于你理解為什么特征圖尺寸會一層層縮小以及怎么控制網(wǎng)絡(luò)的空間信息流。3. 特征圖的形狀變化書寫維度勝過看十遍論文我見過很多新手從GitHub上拉了一個模型下來代碼運(yùn)行通了但一旦要改輸入尺寸或者改網(wǎng)絡(luò)深度就卡住了。問題的根子在于沒有建立對特征圖形狀變化的直覺。下面我用一個具體例子完整走一遍。假設(shè)輸入圖像是 224×224×3網(wǎng)絡(luò)結(jié)構(gòu)如下卷積層164個3×3卷積核padding1步長1。輸入224×224×3輸出224×224×64。參數(shù)量3×3×3×64641792。池化層1最大池化窗口2×2步長2。輸出112×112×64。卷積層2128個3×3卷積核padding1步長1。輸入112×112×64輸出112×112×128。參數(shù)量3×3×64×12812873856。池化層2窗口2×2步長2。輸出56×56×128。卷積層3256個3×3卷積核padding1步長1。輸出56×56×256。參數(shù)量3×3×128×256256295168。池化層3輸出28×28×256。全局平均池化輸出1×1×256。全連接層或者1×1卷積輸出類別數(shù)。這個流程中可以清晰看到空間尺寸從224→112→56→28通道數(shù)從3→64→128→256?？臻g尺寸下降意味著網(wǎng)絡(luò)在更大范圍內(nèi)匯總信息通道數(shù)上升意味著在更多維度上描述特征。這兩者總是交織在一起這也是CNN比較優(yōu)雅的地方。從計算量角度看主流框架PyTorch、TensorFlow的FLOPs計算工具都能幫你自動統(tǒng)計但你自己要能快速估算每層的計算量。單個卷積層的計算量大概是[ \text{FLOPs} \approx \text{輸出元素數(shù)} \times \text{核元素數(shù)} \times \text{輸入通道數(shù)} ]以剛才第一層為例輸出是224×224×64核元素數(shù)是9輸入通道是3所以 FLOPs ≈ 224×224×64×9×3 8.67 億次乘加接近9億?？雌饋砗艽蟮秃竺鎸颖绕饋磉@只是毛毛雨。在實(shí)際部署時模型推理時間往往不是按參數(shù)數(shù)量算的而是按計算量FLOPs和訪存量算的。這兩個指標(biāo)在CPU和GPU上的權(quán)重完全不同后面我會專門展開講。3.1 感受野每個點(diǎn)看著多大范圍的輸入感受野Receptive Field是CNN里最容易被忽視的概念它決定了最后一層特征圖上的一個點(diǎn)在原圖上對應(yīng)多大范圍。簡單記公式初始感受野為1每經(jīng)過一個卷積核尺寸為k、步長為s的層感受野按如下方式增大[ RF_{\text{out}} RF_{\text{in}} (k - 1) \times \text{stride累積} ]我舉個例子你就能秒懂。一個兩層3×3卷積堆疊中間沒有池化每層步長1。第一層輸出上每個點(diǎn)看到的是原圖3×3區(qū)域第二層輸出的每個點(diǎn)看到的是第一層特征圖上3×3區(qū)域而第一層上3×3區(qū)域?qū)?yīng)原圖5×5范圍。所以兩層3×3卷積的感受野是5×5。三層3×3卷積的感受野是7×7。這一點(diǎn)在實(shí)際工程里的意義在于感受野如果太小模型看不到足夠的上下文識別大目標(biāo)時容易漏檢太大又可能引入過多無關(guān)區(qū)域?qū)е戮植考?xì)節(jié)被淹沒。比如檢測小目標(biāo)高分辨率特征圖上的感受野本身就不大反而沒太大問題而檢測大目標(biāo)通常依賴低分辨率、大感受野的高層特征。所以有些任務(wù)會刻意用空洞卷積來快速擴(kuò)大感受野?？斩绰蕿?的3×3卷積實(shí)際覆蓋范圍相當(dāng)于5×5但參數(shù)仍然是9個。我在一個語義分割項(xiàng)目里就靠空洞卷積把感受野擴(kuò)大了一倍多又不增加什么參數(shù)量內(nèi)存占用和速度幾乎沒有損失。4. 經(jīng)典網(wǎng)絡(luò)架構(gòu)的演進(jìn)邏輯每個改動背后都有原因CNN發(fā)展到現(xiàn)在主干結(jié)構(gòu)已經(jīng)相當(dāng)成熟。但不了解來龍去脈你去讀那些新模型的代碼會非常吃力。我梳理了一下我認(rèn)為最關(guān)鍵的幾次架構(gòu)演進(jìn)它們每一個都回答了某個具體痛點(diǎn)。AlexNet2012用ReLU解決了深層網(wǎng)絡(luò)訓(xùn)練慢的問題用Dropout緩解了過擬合用重疊池化小幅提升精度。這個網(wǎng)絡(luò)第一次讓大家認(rèn)識到GPU并行訓(xùn)練深度網(wǎng)絡(luò)的威力。VGG2014核心思想就是“小核堆疊”。用三個3×3卷積堆疊替代一個7×7卷積感受野相同但參數(shù)量從49C2變成27C2還引入了更多非線性。VGG結(jié)構(gòu)極其規(guī)整是很多工程項(xiàng)目的默認(rèn)backbone選擇之一。GoogLeNet2014提出了Inception結(jié)構(gòu)每個block里并行多個尺寸的卷積核最后拼接通道。好處是在同一層內(nèi)捕捉多尺度特征但結(jié)構(gòu)復(fù)雜工程落地不太友好。ResNet2015核心是殘差連接把輸入直接加到輸出上。為什么有效因?yàn)榫W(wǎng)絡(luò)只需要學(xué)習(xí)殘差部分梯度可以從后層直接跳回前層訓(xùn)練幾十上百層不再是問題。我試過把ResNet的殘差連接去掉在CIFAR-10上同樣的深度準(zhǔn)確率掉了接近10個百分點(diǎn)。這不是玄學(xué)是優(yōu)化難度實(shí)實(shí)在在降低了。DenseNet2016每一層都跟前面所有層連接特征復(fù)用能力極強(qiáng)參數(shù)效率也很高。但其顯存占用通常較大因?yàn)橐４娲罅恐虚g特征。EfficientNet2019用復(fù)合縮放方法同時調(diào)整深度、寬度、分辨率。這個思路很實(shí)用——你不需要手動試很多組合按固定比例一起放大經(jīng)常能得到明顯更優(yōu)的效果。不同任務(wù)對主干架構(gòu)的需求差異很大。我做工業(yè)質(zhì)檢的時候小樣本場景居多輕量網(wǎng)絡(luò)反而更穩(wěn)在另一個需要高精度的識別項(xiàng)目里用了預(yù)訓(xùn)練的ResNet系列做遷移學(xué)習(xí)效果比從零訓(xùn)練好非常多。4.1 從零訓(xùn)練還是微調(diào)這是一個工程決策很多初學(xué)者以為模型總要從頭訓(xùn)練但實(shí)際上在絕大多數(shù)實(shí)際項(xiàng)目里遷移學(xué)習(xí)才是正確起點(diǎn)。預(yù)訓(xùn)練模型在ImageNet等大規(guī)模數(shù)據(jù)集上訓(xùn)練過的已經(jīng)在低中層的特征提取上非常成熟了你只需要在其基礎(chǔ)上針對自己的數(shù)據(jù)微調(diào)高層。我記得有一個直觀對比同樣只有5000張工業(yè)圖片的數(shù)據(jù)集從零訓(xùn)練的ResNet50驗(yàn)證集準(zhǔn)確率大約在87%而使用ImageNet預(yù)訓(xùn)練權(quán)重微調(diào)的版本能達(dá)到95%以上。這個差距在數(shù)據(jù)量越少時越明顯。不過要注意一個坑預(yù)訓(xùn)練權(quán)重本身是用自然圖像訓(xùn)出來的如果你的數(shù)據(jù)和自然圖像差異極大——比如是X光片、光譜圖、顯微圖像——那預(yù)訓(xùn)練對低層特征的增益就沒那么明顯了這時候可以考慮凍結(jié)前面幾層甚至全部從頭訓(xùn)練。微調(diào)時學(xué)習(xí)率要設(shè)得比從頭訓(xùn)練小很多通常建議設(shè)為主訓(xùn)練學(xué)習(xí)率的10%甚至更小。否則第一輪迭代就可能劇烈破壞原有權(quán)重。我自己常用的策略是先用1e-4的學(xué)習(xí)率微調(diào)全部層訓(xùn)練幾個epoch后再解凍所有層用小學(xué)習(xí)率繼續(xù)訓(xùn)練。數(shù)據(jù)增強(qiáng)在微調(diào)階段也不能省哪怕你的任務(wù)是工業(yè)圖我也會做隨機(jī)翻轉(zhuǎn)、平移、亮度擾動把有限數(shù)據(jù)的利用率提上去。5. 訓(xùn)練CNN你真正需要盯住的幾個信號很多人以為訓(xùn)練CNN就是把數(shù)據(jù)丟進(jìn)去、等loss下降就完事。實(shí)際上訓(xùn)練過程中的很多信號非常重要我在多個項(xiàng)目里靠這些信號救回了必失敗的訓(xùn)練。第一個信號是初始loss。分類任務(wù)如果是C類初始loss應(yīng)該在ln(C)附近。如果你的初始loss偏差很大大概率是權(quán)重初始化不對、輸入沒有歸一化或者標(biāo)簽有錯。我在一個多標(biāo)簽分類任務(wù)里初始loss一直比理論值高很多排查了一天發(fā)現(xiàn)是損失函數(shù)里標(biāo)簽平滑參數(shù)寫錯了把不該平滑的維度也消掉了。養(yǎng)成在跑訓(xùn)練前先算一遍期望初始loss的習(xí)慣能幫你省下大量排查時間。第二個信號是梯度范數(shù)。每個epoch記錄梯度的L2范數(shù)如果訓(xùn)練初期梯度范數(shù)突然爆炸到1e3以上說明要么是學(xué)習(xí)率太大要么是數(shù)據(jù)里有異常值。反之如果梯度范數(shù)一直在1e-7量級幾乎不動那大概率梯度已經(jīng)消失需要檢查激活函數(shù)和網(wǎng)絡(luò)深度。第三個信號是訓(xùn)練集和驗(yàn)證集的gap。gap小說明模型沒在過擬合還有提升空間gap大說明泛化能力不夠優(yōu)先考慮增加數(shù)據(jù)增強(qiáng)、正則化或者降低模型容量。但很多人忽略的是驗(yàn)證集loss有時會因?yàn)閿?shù)據(jù)增強(qiáng)強(qiáng)度太大而長期不降這時候不代表模型沒學(xué)好只是驗(yàn)證集和你喂給模型的數(shù)據(jù)分布不一致了。這種時候最好單獨(dú)跑一組無增強(qiáng)的驗(yàn)證數(shù)據(jù)做對照我靠這招排掉過好幾個假象。5.1 數(shù)據(jù)增強(qiáng)是治過擬合的特效藥但不是萬能藥數(shù)據(jù)增強(qiáng)在CNN訓(xùn)練里的地位非常高尤其當(dāng)數(shù)據(jù)量不夠時。常用的增強(qiáng)手段有隨機(jī)水平翻轉(zhuǎn)、小角度旋轉(zhuǎn)、隨機(jī)裁剪顏色擾動亮度、對比度、飽和度Cutout / Random Erasing隨機(jī)遮掉一個小區(qū)域Mixup / CutMix按比例混合兩張圖及標(biāo)簽這些方法各有適用場景。水平翻轉(zhuǎn)對多數(shù)目標(biāo)識別任務(wù)都安全但對文字識別、車牌識別這類有方向性的任務(wù)反而不安全。Cutout類增強(qiáng)能提升模型對遮擋的魯棒性但對小目標(biāo)檢測隨機(jī)遮掉一個區(qū)域可能恰好把目標(biāo)蓋住了造成標(biāo)簽與內(nèi)容不匹配訓(xùn)出來的模型反而變差。我在一個產(chǎn)品表面缺陷檢測項(xiàng)目里的經(jīng)驗(yàn)是增強(qiáng)強(qiáng)度需要根據(jù)數(shù)據(jù)量和任務(wù)復(fù)雜度調(diào)到一個合適的甜點(diǎn)區(qū)。增強(qiáng)太弱模型記憶數(shù)據(jù)增強(qiáng)太強(qiáng)模型學(xué)不到真實(shí)的判別細(xì)節(jié)。這里沒有萬能公式只能靠實(shí)驗(yàn)。你可以固定一個基準(zhǔn)增強(qiáng)配置然后每次只改一個維度看驗(yàn)證集變化。改動一次、驗(yàn)證一次這聽起來慢但比同時改五個變量最后不知道是哪個起作用要快得多。5.2 Batch Size、學(xué)習(xí)率與訓(xùn)練策略Batch Size 的選擇對訓(xùn)練結(jié)果影響很大。太小的 batch比如2、4梯度噪聲大訓(xùn)練不穩(wěn)定太大的 batch比如512、1024雖然梯度穩(wěn)定但容易收斂到尖銳極小值泛化能力可能變差。學(xué)術(shù)界在“大batch與小batch”上的討論很多我的工程經(jīng)驗(yàn)是中等batch32到128通常普適性最好尤其在顯存不夠時先用小batch確認(rèn)代碼邏輯能跑通再逐步往上加。學(xué)習(xí)率策略上比較推薦的做法是先用學(xué)習(xí)率熱身warmup從很小的值線性上升到目標(biāo)值避免初期劇烈震蕩訓(xùn)練中段用余弦退火或階梯下降把學(xué)習(xí)率逐步減小最后1-2個epoch可以降到極小值讓loss在底部多磨一會兒。我自己常用的是OneCycle策略學(xué)習(xí)率先升后降配合適當(dāng)?shù)淖畲髮W(xué)習(xí)率常常能在更短的epoch里達(dá)到更好的精度。但有前提——你對數(shù)據(jù)量、batch和網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)有比較充分的把握否則直接硬套OneCycle反而容易跑飛。6. 從訓(xùn)練到部署讓CNN真正跑起來的工程考量模型在GPU上驗(yàn)證準(zhǔn)確率不錯不等于就能順利上線。真正落地部署時你會遇到另一套問題推理延遲、顯存占用、精度損失、平臺兼容性。先明確一個基本事實(shí)訓(xùn)練時看重吞吐量throughput推理時看重延遲latency和資源占用memory/FLOPs。訓(xùn)練時可以隨便用大的batch、混合精度、多卡并行但推理時通常要求在單樣本或小batch下盡可能快。更關(guān)鍵的是硬件差異。GPU擅長并行稠密矩陣運(yùn)算CPU對這類運(yùn)算的支持遠(yuǎn)不如GPU但如果網(wǎng)絡(luò)里有大量小卷積、拼接、切分操作反而可能受限于訪存和調(diào)度在CPU上的表現(xiàn)差異很大。所以在實(shí)際項(xiàng)目里必須先搞清楚最終跑在什么設(shè)備上再決定優(yōu)化方向——如果跑在服務(wù)器GPU上浮點(diǎn)精度和顯存占用優(yōu)先如果跑在邊緣設(shè)備或手機(jī)上優(yōu)先考慮量化、剪枝、算子融合。6.1 通道剪枝、量化與知識蒸餾落地時最常用的三個手段是剪枝、量化、蒸餾但它們的收益和代價大相徑庭。通道剪枝是去掉網(wǎng)絡(luò)中對最終輸出貢獻(xiàn)不大的通道。常見做法是觀察每個通道的權(quán)重范數(shù)或者激活統(tǒng)計把范數(shù)小或激活接近零的通道刪掉再微調(diào)恢復(fù)精度。剪枝比例很關(guān)鍵剪太狠精度崩得快剪太少收益又低。我在一個輕量分類網(wǎng)絡(luò)里把通道數(shù)從128剪到96精度只掉0.3%FLOPs卻少了近30%這比例相當(dāng)劃算。量化是把你訓(xùn)練的32位浮點(diǎn)模型壓縮成8位整數(shù)甚至更低精度。一般有三種方式訓(xùn)練后動態(tài)量化、訓(xùn)練后靜態(tài)量化、量化感知訓(xùn)練。動態(tài)量化實(shí)現(xiàn)簡單但只對部分算子有效靜態(tài)量化需要校準(zhǔn)數(shù)據(jù)效果更好但操作更繁瑣。量化感知訓(xùn)練是在訓(xùn)練過程中模擬量化噪聲讓模型提前適應(yīng)低精度通常精度損失最小。對于CPU部署8位量化是性價比最高的優(yōu)化沒有之一。知識蒸餾是訓(xùn)練一個輕量學(xué)生模型去學(xué)大模型的行為。做法通常是讓學(xué)生模型同時去擬合真實(shí)標(biāo)簽和教師模型的軟輸出。軟輸出里包含了類別間相似度信息比如“貓”和“狗”的概率分布其實(shí)蘊(yùn)含了大量結(jié)構(gòu)知識這比單純的one-hot標(biāo)簽信息量豐富得多。我的一個落地項(xiàng)目里教師模型是ResNet50學(xué)生模型是只有原來1/4計算量的輕量網(wǎng)絡(luò)蒸餾之后學(xué)生模型準(zhǔn)確率比從零訓(xùn)練高了約4個百分點(diǎn)。實(shí)踐中這三招經(jīng)常配合使用先剪枝、再量化、必要時蒸餾輔助每一步都要在驗(yàn)證集上確認(rèn)精度變化不能盲目相信某個預(yù)設(shè)壓縮率。6.2 框架選擇與推理引擎在訓(xùn)練側(cè)PyTorch和TensorFlow是目前的主流選擇。如果項(xiàng)目以研究驗(yàn)證為主PyTorch生態(tài)更靈活在過去的幾年內(nèi)新論文模型基本都優(yōu)先提供PyTorch版本如果團(tuán)隊(duì)已有成熟的TensorFlow生產(chǎn)鏈路沿用TensorFlow也完全合理畢竟工程穩(wěn)定性和圖優(yōu)化集成更成熟。模型訓(xùn)練完成后的推理環(huán)節(jié)則可以考慮專門推理引擎比如TensorRTNVIDIA GPU、OpenVINOIntel CPU或ONNX Runtime跨平臺通用它們會把計算圖做算子融合、層間緩沖復(fù)用等優(yōu)化加速效果通常非常顯著。一個容易被忽略的點(diǎn)是推理引擎支持的算子集合和訓(xùn)練框架不完全一致。有些新算子或者自定義算子在ONNX轉(zhuǎn)換時可能直接失敗或者轉(zhuǎn)換后跑得非常慢。所以從一開始訓(xùn)練時就要考慮部署端兼容性。如果目標(biāo)平臺不支持某個算子網(wǎng)絡(luò)設(shè)計階段就換掉別等到訓(xùn)練完再折騰。我在一個項(xiàng)目里就因?yàn)樽远x池化算子無法導(dǎo)出到ONNX最后繞了一個大彎改網(wǎng)絡(luò)結(jié)構(gòu)損失了三天時間。另外輸入尺寸在部署時最好固定下來。動態(tài)輸入尺寸雖然靈活但很多推理引擎對動態(tài)shape支持不好會退化成低效的通用路徑。預(yù)先設(shè)定好幾個常用分辨率讓推理引擎把圖的shape和內(nèi)存布局都靜態(tài)化性能和穩(wěn)定性都會好很多。7. CNN的邊界與變體什么時候它是最好的選擇CNN很強(qiáng)但它不是所有問題的唯一答案。在圖像類任務(wù)里CNN至今依然是默認(rèn)選擇但在處理序列、點(diǎn)云、圖結(jié)構(gòu)數(shù)據(jù)時像Transformer、GNN這些架構(gòu)可能更合適。甚至在某些圖像任務(wù)上Vision TransformerViT已經(jīng)在大型數(shù)據(jù)集上超越CNN但ViT往往需要海量數(shù)據(jù)和更強(qiáng)的正則化才能訓(xùn)練好在小樣本場景下未必比得上有先驗(yàn)偏置的CNN。所謂“先驗(yàn)偏置”就是CNN天然具備的特性局部連接、權(quán)值共享、平移等變。你不需要告訴它“相鄰像素通常相關(guān)”網(wǎng)絡(luò)結(jié)構(gòu)本身就把這個歸納偏置內(nèi)置進(jìn)去了。在數(shù)據(jù)量中等或偏少的場景中這個偏置是巨大優(yōu)勢——模型不需要重新摸索像素間的空間關(guān)系。但這幾年有一種趨勢是用卷積注意力的混合結(jié)構(gòu)來取長補(bǔ)短。比如在淺層用卷積抓局部紋理在深層用注意力機(jī)制捕捉全局依賴。我在一個遙感影像分類項(xiàng)目里試過這種混合結(jié)構(gòu)全局檢測效果比純卷積高不少尤其在需要跨區(qū)域上下文時優(yōu)勢明顯。如果你手頭任務(wù)的特征同時有強(qiáng)局部性和強(qiáng)全局性比如大尺寸醫(yī)學(xué)影像或遙感圖值得優(yōu)先考慮混合架構(gòu)。不過需要提醒的是不要盲目追求最新架構(gòu)。對一個特定業(yè)務(wù)問題穩(wěn)定性、可復(fù)現(xiàn)性、部署易用性往往比刷那零點(diǎn)幾個百分點(diǎn)更重要。我在和不少同行交流時發(fā)現(xiàn)最穩(wěn)妥的路徑往往是先用一個成熟且更簡單的CNN基線跑通全鏈路再通過消融實(shí)驗(yàn)逐步替換模塊每一步都驗(yàn)證收益和成本。8. 我踩過的最有價值的幾個坑這部分挑三個印象最深的坑來寫可能比前面所有章節(jié)都更有實(shí)際價值。第一個坑是把輸入歸一化忘在訓(xùn)練前處理里但推理時沒有對應(yīng)處理。一個分類模型的輸入歸一化方式在訓(xùn)練和推理時必須完全一致。有一陣我部署一個模型時訓(xùn)練代碼里對圖像先做減均值除以方差但導(dǎo)出的模型沒有把這些歸一化操作包進(jìn)去推理端直接把原始像素喂進(jìn)去結(jié)果準(zhǔn)確率降了十多個百分點(diǎn)。后來我在導(dǎo)出時把歸一化作為一個預(yù)處理節(jié)點(diǎn)嵌入計算圖或者確保外部預(yù)處理和訓(xùn)練時完全相同問題才徹底解決。第二個坑是用數(shù)據(jù)增強(qiáng)后的分布去評估模型。最初做一項(xiàng)檢測任務(wù)時我沿用分類任務(wù)的模式對驗(yàn)證集也加了較強(qiáng)的增強(qiáng)結(jié)果驗(yàn)證集指標(biāo)一直在95%左右沒什么變化我就以為是訓(xùn)練飽和了。后來發(fā)現(xiàn)增強(qiáng)的隨機(jī)性掩蓋了真實(shí)困難樣本的表現(xiàn)。改成固定翻轉(zhuǎn)、固定裁剪的評估方式后模型的薄弱點(diǎn)立刻暴露出來針對性補(bǔ)了數(shù)據(jù)之后最終泛化性能大幅提升。第三個坑是推理引擎默認(rèn)選擇難以預(yù)料很慢的路徑。某個算子在某些推理引擎上需要跨步內(nèi)存拷貝性能一下子掉好幾倍。有一次我測量一個全卷積檢測網(wǎng)絡(luò)的推理延遲TensorRT下只有8毫秒改用CPU端的ONNX Runtime卻跑了近200毫秒。后來定位到是某個步長為2的轉(zhuǎn)置卷積算子沒有好的實(shí)現(xiàn)路徑。這種情況下最簡單的辦法就是改網(wǎng)絡(luò)結(jié)構(gòu)用最近鄰上采樣加普通卷積代替轉(zhuǎn)置卷積代價極小但延遲下降了非常多。這些坑說出來都特別簡單但每一個都是實(shí)際項(xiàng)目中耗費(fèi)了大量時間才換來的教訓(xùn)。如果你以后遇到類似“怎么數(shù)據(jù)越訓(xùn)越差”“怎么部署后精度和訓(xùn)練時對不上”的問題可以先按上面的清單排查一遍。對我個人來說CNN早已不是模型結(jié)構(gòu)那么簡單。它是理解深度學(xué)習(xí)中“表示學(xué)習(xí)”的最佳教材——從像素到特征、從特征到語義、從語義到?jīng)Q策每一層的變換都有清晰的幾何與統(tǒng)計含義。無論未來Transformer類架構(gòu)怎么流行這份對特征提取與空間建模的理解放到任何架構(gòu)上都不會過時。如果你正在學(xué)習(xí)和使用CNN我建議你不要只跑通現(xiàn)成代碼而是親手把每層的輸入輸出尺寸算一遍把中間特征圖可視化出來把loss曲線的每一個異常都追究到底。這個過程熬過去了你對深度學(xué)習(xí)的整體認(rèn)知會上一個臺階。 卷積神經(jīng)網(wǎng)絡(luò)CNN：從原理到工程部署的實(shí)戰(zhàn)總結(jié)
1. 從一條卷積計算開始CNN到底在算什么先說個我自己的體驗(yàn)。當(dāng)年第一次接觸卷積神經(jīng)網(wǎng)絡(luò)時找了一堆資料來看結(jié)果越看越糊涂。網(wǎng)上教程大多從“圖像分類任務(wù)”講起上來就是“把圖片輸入網(wǎng)絡(luò)輸出類別概率”中間那一大段黑箱過程基本靠想象。后來我把一張圖的完整處理流程在紙上一步步畫出來才真正明白CNN不是玄學(xué)它就是在做一件很樸素的事用可學(xué)習(xí)的濾波器去像素矩陣?yán)锓磸?fù)提取有結(jié)構(gòu)的特征。那段時間我還在某項(xiàng)目里做工業(yè)質(zhì)檢拍出來的零件圖有劃痕、有臟污傳統(tǒng)圖像處理方法寫了幾百行規(guī)則換個光照就崩。后來換成CNN檢測效果一下子穩(wěn)定了很多。但真正讓我頭疼的不是網(wǎng)絡(luò)本身的準(zhǔn)確率而是怎么理解它、怎么調(diào)它、怎么讓它跑得快。這篇文章就是把我這幾年從理論到實(shí)際部署過程中關(guān)于CNN的全部心得整理出來不寫教科書式的內(nèi)容只講我驗(yàn)證過、踩過坑的東西。先從最核心的計算開始。你有一張灰度圖就是一個二維矩陣比如 256×256。卷積操作就是拿一個小矩陣——通常叫卷積核或?yàn)V波器——在這個大矩陣上按步長滑動每停一個位置就把對應(yīng)位置的元素逐項(xiàng)相乘再求和得到一個數(shù)值。所有位置滑完就生成一張新的、尺寸更小的矩陣叫特征圖。舉個例子假設(shè)輸入是一個 5×5 的矩陣卷積核是 3×3步長stride為 1沒有填充padding那么輸出尺寸是 3×3。計算公式很簡單[ \text{輸出邊長} \frac{\text{輸入邊長} - \text{核大小}}{\text{步長}} 1 (5 - 3) / 1 1 3 ]如果加padding把輸入矩陣周圍補(bǔ)一圈0那么5×5的輸入在padding1后變成7×7輸出就能保持5×5。這一點(diǎn)在搭建深層網(wǎng)絡(luò)時至關(guān)重要——一旦層數(shù)多了不加padding特征圖尺寸會迅速縮水網(wǎng)絡(luò)沒法建深。而一張彩色圖通常是三通道RGB也就是三層矩陣疊在一起。這時卷積核就不再是二維的而是和輸入通道數(shù)一致的三維核比如 3×3×3。每一層和對應(yīng)的輸入通道做卷積三個通道的結(jié)果相加再加上偏置得到輸出特征圖的一個通道。到這里你需要記住第一個要點(diǎn)卷積層的參數(shù)數(shù)量只和卷積核尺寸、輸入通道數(shù)、輸出通道數(shù)有關(guān)和輸入圖片的寬高完全無關(guān)。比如輸入是任意分辨率的RGB圖一個 3×3 卷積核從3通道變到64通道參數(shù)數(shù)就是 3×3×3×64 64 1792。不管你喂進(jìn)去的是 224×224 還是 512×512參數(shù)都一樣。這一點(diǎn)直接決定了卷積網(wǎng)絡(luò)可以處理任意尺寸輸入也為后面講部署優(yōu)化埋下伏筆。1.1 卷積核它到底在提取什么很多人問卷積核里面的數(shù)值是怎么來的是人為設(shè)計的嗎早期確實(shí)有人工設(shè)計特征提取器比如邊緣檢測里的Sobel算子[ \begin{bmatrix} -1 0 1 \ -2 0 2 \ -1 0 1 \end{bmatrix} ]這個矩陣是固定的圖片經(jīng)過它之后橫向邊緣信息就凸顯出來了。但CNN里的卷積核初始值是隨機(jī)初始化然后通過反向傳播在訓(xùn)練過程中不斷調(diào)整最終網(wǎng)絡(luò)自己學(xué)會了類似邊緣、紋理、形狀等特征。換句話說我們連“讓網(wǎng)絡(luò)提取什么特征”都不用指定只要告訴它最終任務(wù)是什么它自己組織出一整套由低層到高層的特征提取流水線。低層卷積核學(xué)到的是邊緣、顏色塊這類基礎(chǔ)紋理中層學(xué)到的是更有結(jié)構(gòu)的局部模式比如某個弧線組合、某個紋理單元高層則對應(yīng)整個物體部件甚至整體語義。這個特點(diǎn)我在實(shí)際項(xiàng)目里驗(yàn)證過很多次當(dāng)訓(xùn)練樣本不足時網(wǎng)絡(luò)往往會停在低層特征上輸出的特征圖看不出什么語義信息訓(xùn)練充分后高層特征圖對目標(biāo)位置的響應(yīng)會非常明確。1.2 步長與填充特征的“采樣粒度”步長設(shè)置也很關(guān)鍵。很多初學(xué)者習(xí)慣把步長固定為1認(rèn)為卷積就該逐像素滑動。但實(shí)際工程中步長為2的卷積經(jīng)常被用來替代池化做下采樣好處是可以在降維的同時學(xué)習(xí)采樣方式而不是用固定規(guī)則硬性丟掉信息。每個卷積層輸入尺寸、輸出尺寸、核大小、填充、步長共五個參數(shù)配置它們要滿足兩個約束一是輸出尺寸不能變成非整數(shù)即上式必須整除二是感受野覆蓋范圍要合理別讓邊緣信息在第一層就丟太多。填充的選擇也要分情況。如果你做的是圖像分類通常paddingsame保持空間尺寸不變讓深層的特征圖不至于縮得太快如果你做的是像素級任務(wù)比如語義分割更要注意padding對邊界的影響因?yàn)樘畛?會在邊緣引入無效信息可能讓模型對邊緣區(qū)域的預(yù)測噪聲更大。我曾經(jīng)在分割模型里反復(fù)調(diào)整padding策略最終在訓(xùn)練時給輸入圖做小幅隨機(jī)裁剪讓邊緣目標(biāo)不那么頻繁地出現(xiàn)在邊緣位置效果比單純換padding好很多。2. 激活函數(shù)與池化讓網(wǎng)絡(luò)具備非線性與尺度魯棒性卷積本身是線性操作——它不過是一組乘加運(yùn)算。如果沒有非線性變換你再堆多少層卷積整個網(wǎng)絡(luò)等效于一個線性變換表達(dá)能力非常有限。所以每個卷積層后面幾乎都會接一個激活函數(shù)逐元素地對特征圖做非線性映射。早期網(wǎng)絡(luò)多用sigmoid但它在深層網(wǎng)絡(luò)中會帶來一個很致命的問題梯度消失。我們公司曾經(jīng)做過一個實(shí)驗(yàn)把一個小型網(wǎng)絡(luò)用sigmoid激活函數(shù)反復(fù)加深到二十幾層結(jié)果是訓(xùn)練loss幾乎不下降。后來換成ReLU同樣結(jié)構(gòu)、同樣超參數(shù)幾十個epoch后收斂明顯。ReLU的定義太簡單了[ f(x) \max(0, x) ]正區(qū)間導(dǎo)數(shù)為1負(fù)區(qū)間直接置0。這讓梯度在正向傳播路徑上能順暢回傳緩解了梯度消失問題。但它的問題在于“死神經(jīng)元”——大量負(fù)值輸入被置0后對應(yīng)神經(jīng)元可能再也得不到有效梯度更新永遠(yuǎn)輸出0。我在實(shí)際訓(xùn)練中觀察過統(tǒng)計模型剛初始化時ReLU死神經(jīng)元比例通常在10%以下隨著訓(xùn)練推進(jìn)某些通道的響應(yīng)逐漸變成全0占比可以達(dá)到20%甚至更高使用Leaky ReLU后這個比例顯著下降但訓(xùn)練速度略有下降。所以現(xiàn)在更推薦在中等規(guī)模網(wǎng)絡(luò)里優(yōu)先試Leaky ReLU或GELU而不是一把梭用ReLU。2.1 池化解決“位置微變但類別不變”的問題池化層做的事情概括起來就是兩個字降采樣。最常用的是最大池化——取一個小窗口內(nèi)的最大值作為輸出。這么做有兩個直觀的動機(jī)一是降低特征圖分辨率減少后續(xù)計算量二是引入一定平移不變性圖像里的目標(biāo)稍微移動幾個像素池化結(jié)果仍然穩(wěn)定。但池化有個容易被人忽略的問題它會讓位置信息變得粗糙。如果你做的任務(wù)是圖像分類目標(biāo)位置偏移幾個像素本來就不影響語義粗一點(diǎn)沒關(guān)系但如果是目標(biāo)檢測或關(guān)鍵點(diǎn)定位隨隨便便下采樣四倍定位精度就會大打折扣。所以現(xiàn)代檢測模型里主干網(wǎng)絡(luò)的下采樣比例往往會被刻意限制比如輸出特征圖的步長一般控制在32或16個別對小目標(biāo)敏感的任務(wù)甚至?xí)档?。池化的具體操作不復(fù)雜但選擇哪種池化是有講究的池化類型計算方式適用場景最大池化取窗口最大值分類任務(wù)、紋理顯著目標(biāo)保留強(qiáng)響應(yīng)平均池化取窗口均值全局信息整合避免極端值干擾全局平均池化對整個特征圖取均值分類頭前最后一層直接替代全連接層自適應(yīng)池化由PyTorch按輸出尺寸反推窗口輸入尺寸不固定時統(tǒng)一特征維度在實(shí)際項(xiàng)目中我常常把分類網(wǎng)絡(luò)末尾的全連接層刪掉換成全局平均池化加一個1×1卷積輸出類別數(shù)。這樣做的理由是全連接層參數(shù)量巨大而且一旦輸入尺寸變了維度就對不上全局平均池化則對輸入尺寸完全免疫并且天然匯總了每張?zhí)卣鲌D的全局語義。這個調(diào)整對控制過擬合也有幫助——參數(shù)量小了需要擬合的空間就小了。順便說一嘴現(xiàn)在很多新網(wǎng)絡(luò)已經(jīng)不用傳統(tǒng)池化。比如用步長為2的卷積做下采樣或者用空洞卷積在保持分辨率的前提下擴(kuò)大感受野。但池化這個概念并沒有過時理解池化的本質(zhì)有助于你理解為什么特征圖尺寸會一層層縮小以及怎么控制網(wǎng)絡(luò)的空間信息流。3. 特征圖的形狀變化書寫維度勝過看十遍論文我見過很多新手從GitHub上拉了一個模型下來代碼運(yùn)行通了但一旦要改輸入尺寸或者改網(wǎng)絡(luò)深度就卡住了。問題的根子在于沒有建立對特征圖形狀變化的直覺。下面我用一個具體例子完整走一遍。假設(shè)輸入圖像是 224×224×3網(wǎng)絡(luò)結(jié)構(gòu)如下卷積層164個3×3卷積核padding1步長1。輸入224×224×3輸出224×224×64。參數(shù)量3×3×3×64641792。池化層1最大池化窗口2×2步長2。輸出112×112×64。卷積層2128個3×3卷積核padding1步長1。輸入112×112×64輸出112×112×128。參數(shù)量3×3×64×12812873856。池化層2窗口2×2步長2。輸出56×56×128。卷積層3256個3×3卷積核padding1步長1。輸出56×56×256。參數(shù)量3×3×128×256256295168。池化層3輸出28×28×256。全局平均池化輸出1×1×256。全連接層或者1×1卷積輸出類別數(shù)。這個流程中可以清晰看到空間尺寸從224→112→56→28通道數(shù)從3→64→128→256?？臻g尺寸下降意味著網(wǎng)絡(luò)在更大范圍內(nèi)匯總信息通道數(shù)上升意味著在更多維度上描述特征。這兩者總是交織在一起這也是CNN比較優(yōu)雅的地方。從計算量角度看主流框架PyTorch、TensorFlow的FLOPs計算工具都能幫你自動統(tǒng)計但你自己要能快速估算每層的計算量。單個卷積層的計算量大概是[ \text{FLOPs} \approx \text{輸出元素數(shù)} \times \text{核元素數(shù)} \times \text{輸入通道數(shù)} ]以剛才第一層為例輸出是224×224×64核元素數(shù)是9輸入通道是3所以 FLOPs ≈ 224×224×64×9×3 8.67 億次乘加接近9億?？雌饋砗艽蟮秃竺鎸颖绕饋磉@只是毛毛雨。在實(shí)際部署時模型推理時間往往不是按參數(shù)數(shù)量算的而是按計算量FLOPs和訪存量算的。這兩個指標(biāo)在CPU和GPU上的權(quán)重完全不同后面我會專門展開講。3.1 感受野每個點(diǎn)看著多大范圍的輸入感受野Receptive Field是CNN里最容易被忽視的概念它決定了最后一層特征圖上的一個點(diǎn)在原圖上對應(yīng)多大范圍。簡單記公式初始感受野為1每經(jīng)過一個卷積核尺寸為k、步長為s的層感受野按如下方式增大[ RF_{\text{out}} RF_{\text{in}} (k - 1) \times \text{stride累積} ]我舉個例子你就能秒懂。一個兩層3×3卷積堆疊中間沒有池化每層步長1。第一層輸出上每個點(diǎn)看到的是原圖3×3區(qū)域第二層輸出的每個點(diǎn)看到的是第一層特征圖上3×3區(qū)域而第一層上3×3區(qū)域?qū)?yīng)原圖5×5范圍。所以兩層3×3卷積的感受野是5×5。三層3×3卷積的感受野是7×7。這一點(diǎn)在實(shí)際工程里的意義在于感受野如果太小模型看不到足夠的上下文識別大目標(biāo)時容易漏檢太大又可能引入過多無關(guān)區(qū)域?qū)е戮植考?xì)節(jié)被淹沒。比如檢測小目標(biāo)高分辨率特征圖上的感受野本身就不大反而沒太大問題而檢測大目標(biāo)通常依賴低分辨率、大感受野的高層特征。所以有些任務(wù)會刻意用空洞卷積來快速擴(kuò)大感受野?？斩绰蕿?的3×3卷積實(shí)際覆蓋范圍相當(dāng)于5×5但參數(shù)仍然是9個。我在一個語義分割項(xiàng)目里就靠空洞卷積把感受野擴(kuò)大了一倍多又不增加什么參數(shù)量內(nèi)存占用和速度幾乎沒有損失。4. 經(jīng)典網(wǎng)絡(luò)架構(gòu)的演進(jìn)邏輯每個改動背后都有原因CNN發(fā)展到現(xiàn)在主干結(jié)構(gòu)已經(jīng)相當(dāng)成熟。但不了解來龍去脈你去讀那些新模型的代碼會非常吃力。我梳理了一下我認(rèn)為最關(guān)鍵的幾次架構(gòu)演進(jìn)它們每一個都回答了某個具體痛點(diǎn)。AlexNet2012用ReLU解決了深層網(wǎng)絡(luò)訓(xùn)練慢的問題用Dropout緩解了過擬合用重疊池化小幅提升精度。這個網(wǎng)絡(luò)第一次讓大家認(rèn)識到GPU并行訓(xùn)練深度網(wǎng)絡(luò)的威力。VGG2014核心思想就是“小核堆疊”。用三個3×3卷積堆疊替代一個7×7卷積感受野相同但參數(shù)量從49C2變成27C2還引入了更多非線性。VGG結(jié)構(gòu)極其規(guī)整是很多工程項(xiàng)目的默認(rèn)backbone選擇之一。GoogLeNet2014提出了Inception結(jié)構(gòu)每個block里并行多個尺寸的卷積核最后拼接通道。好處是在同一層內(nèi)捕捉多尺度特征但結(jié)構(gòu)復(fù)雜工程落地不太友好。ResNet2015核心是殘差連接把輸入直接加到輸出上。為什么有效因?yàn)榫W(wǎng)絡(luò)只需要學(xué)習(xí)殘差部分梯度可以從后層直接跳回前層訓(xùn)練幾十上百層不再是問題。我試過把ResNet的殘差連接去掉在CIFAR-10上同樣的深度準(zhǔn)確率掉了接近10個百分點(diǎn)。這不是玄學(xué)是優(yōu)化難度實(shí)實(shí)在在降低了。DenseNet2016每一層都跟前面所有層連接特征復(fù)用能力極強(qiáng)參數(shù)效率也很高。但其顯存占用通常較大因?yàn)橐４娲罅恐虚g特征。EfficientNet2019用復(fù)合縮放方法同時調(diào)整深度、寬度、分辨率。這個思路很實(shí)用——你不需要手動試很多組合按固定比例一起放大經(jīng)常能得到明顯更優(yōu)的效果。不同任務(wù)對主干架構(gòu)的需求差異很大。我做工業(yè)質(zhì)檢的時候小樣本場景居多輕量網(wǎng)絡(luò)反而更穩(wěn)在另一個需要高精度的識別項(xiàng)目里用了預(yù)訓(xùn)練的ResNet系列做遷移學(xué)習(xí)效果比從零訓(xùn)練好非常多。4.1 從零訓(xùn)練還是微調(diào)這是一個工程決策很多初學(xué)者以為模型總要從頭訓(xùn)練但實(shí)際上在絕大多數(shù)實(shí)際項(xiàng)目里遷移學(xué)習(xí)才是正確起點(diǎn)。預(yù)訓(xùn)練模型在ImageNet等大規(guī)模數(shù)據(jù)集上訓(xùn)練過的已經(jīng)在低中層的特征提取上非常成熟了你只需要在其基礎(chǔ)上針對自己的數(shù)據(jù)微調(diào)高層。我記得有一個直觀對比同樣只有5000張工業(yè)圖片的數(shù)據(jù)集從零訓(xùn)練的ResNet50驗(yàn)證集準(zhǔn)確率大約在87%而使用ImageNet預(yù)訓(xùn)練權(quán)重微調(diào)的版本能達(dá)到95%以上。這個差距在數(shù)據(jù)量越少時越明顯。不過要注意一個坑預(yù)訓(xùn)練權(quán)重本身是用自然圖像訓(xùn)出來的如果你的數(shù)據(jù)和自然圖像差異極大——比如是X光片、光譜圖、顯微圖像——那預(yù)訓(xùn)練對低層特征的增益就沒那么明顯了這時候可以考慮凍結(jié)前面幾層甚至全部從頭訓(xùn)練。微調(diào)時學(xué)習(xí)率要設(shè)得比從頭訓(xùn)練小很多通常建議設(shè)為主訓(xùn)練學(xué)習(xí)率的10%甚至更小。否則第一輪迭代就可能劇烈破壞原有權(quán)重。我自己常用的策略是先用1e-4的學(xué)習(xí)率微調(diào)全部層訓(xùn)練幾個epoch后再解凍所有層用小學(xué)習(xí)率繼續(xù)訓(xùn)練。數(shù)據(jù)增強(qiáng)在微調(diào)階段也不能省哪怕你的任務(wù)是工業(yè)圖我也會做隨機(jī)翻轉(zhuǎn)、平移、亮度擾動把有限數(shù)據(jù)的利用率提上去。5. 訓(xùn)練CNN你真正需要盯住的幾個信號很多人以為訓(xùn)練CNN就是把數(shù)據(jù)丟進(jìn)去、等loss下降就完事。實(shí)際上訓(xùn)練過程中的很多信號非常重要我在多個項(xiàng)目里靠這些信號救回了必失敗的訓(xùn)練。第一個信號是初始loss。分類任務(wù)如果是C類初始loss應(yīng)該在ln(C)附近。如果你的初始loss偏差很大大概率是權(quán)重初始化不對、輸入沒有歸一化或者標(biāo)簽有錯。我在一個多標(biāo)簽分類任務(wù)里初始loss一直比理論值高很多排查了一天發(fā)現(xiàn)是損失函數(shù)里標(biāo)簽平滑參數(shù)寫錯了把不該平滑的維度也消掉了。養(yǎng)成在跑訓(xùn)練前先算一遍期望初始loss的習(xí)慣能幫你省下大量排查時間。第二個信號是梯度范數(shù)。每個epoch記錄梯度的L2范數(shù)如果訓(xùn)練初期梯度范數(shù)突然爆炸到1e3以上說明要么是學(xué)習(xí)率太大要么是數(shù)據(jù)里有異常值。反之如果梯度范數(shù)一直在1e-7量級幾乎不動那大概率梯度已經(jīng)消失需要檢查激活函數(shù)和網(wǎng)絡(luò)深度。第三個信號是訓(xùn)練集和驗(yàn)證集的gap。gap小說明模型沒在過擬合還有提升空間gap大說明泛化能力不夠優(yōu)先考慮增加數(shù)據(jù)增強(qiáng)、正則化或者降低模型容量。但很多人忽略的是驗(yàn)證集loss有時會因?yàn)閿?shù)據(jù)增強(qiáng)強(qiáng)度太大而長期不降這時候不代表模型沒學(xué)好只是驗(yàn)證集和你喂給模型的數(shù)據(jù)分布不一致了。這種時候最好單獨(dú)跑一組無增強(qiáng)的驗(yàn)證數(shù)據(jù)做對照我靠這招排掉過好幾個假象。5.1 數(shù)據(jù)增強(qiáng)是治過擬合的特效藥但不是萬能藥數(shù)據(jù)增強(qiáng)在CNN訓(xùn)練里的地位非常高尤其當(dāng)數(shù)據(jù)量不夠時。常用的增強(qiáng)手段有隨機(jī)水平翻轉(zhuǎn)、小角度旋轉(zhuǎn)、隨機(jī)裁剪顏色擾動亮度、對比度、飽和度Cutout / Random Erasing隨機(jī)遮掉一個小區(qū)域Mixup / CutMix按比例混合兩張圖及標(biāo)簽這些方法各有適用場景。水平翻轉(zhuǎn)對多數(shù)目標(biāo)識別任務(wù)都安全但對文字識別、車牌識別這類有方向性的任務(wù)反而不安全。Cutout類增強(qiáng)能提升模型對遮擋的魯棒性但對小目標(biāo)檢測隨機(jī)遮掉一個區(qū)域可能恰好把目標(biāo)蓋住了造成標(biāo)簽與內(nèi)容不匹配訓(xùn)出來的模型反而變差。我在一個產(chǎn)品表面缺陷檢測項(xiàng)目里的經(jīng)驗(yàn)是增強(qiáng)強(qiáng)度需要根據(jù)數(shù)據(jù)量和任務(wù)復(fù)雜度調(diào)到一個合適的甜點(diǎn)區(qū)。增強(qiáng)太弱模型記憶數(shù)據(jù)增強(qiáng)太強(qiáng)模型學(xué)不到真實(shí)的判別細(xì)節(jié)。這里沒有萬能公式只能靠實(shí)驗(yàn)。你可以固定一個基準(zhǔn)增強(qiáng)配置然后每次只改一個維度看驗(yàn)證集變化。改動一次、驗(yàn)證一次這聽起來慢但比同時改五個變量最后不知道是哪個起作用要快得多。5.2 Batch Size、學(xué)習(xí)率與訓(xùn)練策略Batch Size 的選擇對訓(xùn)練結(jié)果影響很大。太小的 batch比如2、4梯度噪聲大訓(xùn)練不穩(wěn)定太大的 batch比如512、1024雖然梯度穩(wěn)定但容易收斂到尖銳極小值泛化能力可能變差。學(xué)術(shù)界在“大batch與小batch”上的討論很多我的工程經(jīng)驗(yàn)是中等batch32到128通常普適性最好尤其在顯存不夠時先用小batch確認(rèn)代碼邏輯能跑通再逐步往上加。學(xué)習(xí)率策略上比較推薦的做法是先用學(xué)習(xí)率熱身warmup從很小的值線性上升到目標(biāo)值避免初期劇烈震蕩訓(xùn)練中段用余弦退火或階梯下降把學(xué)習(xí)率逐步減小最后1-2個epoch可以降到極小值讓loss在底部多磨一會兒。我自己常用的是OneCycle策略學(xué)習(xí)率先升后降配合適當(dāng)?shù)淖畲髮W(xué)習(xí)率常常能在更短的epoch里達(dá)到更好的精度。但有前提——你對數(shù)據(jù)量、batch和網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)有比較充分的把握否則直接硬套OneCycle反而容易跑飛。6. 從訓(xùn)練到部署讓CNN真正跑起來的工程考量模型在GPU上驗(yàn)證準(zhǔn)確率不錯不等于就能順利上線。真正落地部署時你會遇到另一套問題推理延遲、顯存占用、精度損失、平臺兼容性。先明確一個基本事實(shí)訓(xùn)練時看重吞吐量throughput推理時看重延遲latency和資源占用memory/FLOPs。訓(xùn)練時可以隨便用大的batch、混合精度、多卡并行但推理時通常要求在單樣本或小batch下盡可能快。更關(guān)鍵的是硬件差異。GPU擅長并行稠密矩陣運(yùn)算CPU對這類運(yùn)算的支持遠(yuǎn)不如GPU但如果網(wǎng)絡(luò)里有大量小卷積、拼接、切分操作反而可能受限于訪存和調(diào)度在CPU上的表現(xiàn)差異很大。所以在實(shí)際項(xiàng)目里必須先搞清楚最終跑在什么設(shè)備上再決定優(yōu)化方向——如果跑在服務(wù)器GPU上浮點(diǎn)精度和顯存占用優(yōu)先如果跑在邊緣設(shè)備或手機(jī)上優(yōu)先考慮量化、剪枝、算子融合。6.1 通道剪枝、量化與知識蒸餾落地時最常用的三個手段是剪枝、量化、蒸餾但它們的收益和代價大相徑庭。通道剪枝是去掉網(wǎng)絡(luò)中對最終輸出貢獻(xiàn)不大的通道。常見做法是觀察每個通道的權(quán)重范數(shù)或者激活統(tǒng)計把范數(shù)小或激活接近零的通道刪掉再微調(diào)恢復(fù)精度。剪枝比例很關(guān)鍵剪太狠精度崩得快剪太少收益又低。我在一個輕量分類網(wǎng)絡(luò)里把通道數(shù)從128剪到96精度只掉0.3%FLOPs卻少了近30%這比例相當(dāng)劃算。量化是把你訓(xùn)練的32位浮點(diǎn)模型壓縮成8位整數(shù)甚至更低精度。一般有三種方式訓(xùn)練后動態(tài)量化、訓(xùn)練后靜態(tài)量化、量化感知訓(xùn)練。動態(tài)量化實(shí)現(xiàn)簡單但只對部分算子有效靜態(tài)量化需要校準(zhǔn)數(shù)據(jù)效果更好但操作更繁瑣。量化感知訓(xùn)練是在訓(xùn)練過程中模擬量化噪聲讓模型提前適應(yīng)低精度通常精度損失最小。對于CPU部署8位量化是性價比最高的優(yōu)化沒有之一。知識蒸餾是訓(xùn)練一個輕量學(xué)生模型去學(xué)大模型的行為。做法通常是讓學(xué)生模型同時去擬合真實(shí)標(biāo)簽和教師模型的軟輸出。軟輸出里包含了類別間相似度信息比如“貓”和“狗”的概率分布其實(shí)蘊(yùn)含了大量結(jié)構(gòu)知識這比單純的one-hot標(biāo)簽信息量豐富得多。我的一個落地項(xiàng)目里教師模型是ResNet50學(xué)生模型是只有原來1/4計算量的輕量網(wǎng)絡(luò)蒸餾之后學(xué)生模型準(zhǔn)確率比從零訓(xùn)練高了約4個百分點(diǎn)。實(shí)踐中這三招經(jīng)常配合使用先剪枝、再量化、必要時蒸餾輔助每一步都要在驗(yàn)證集上確認(rèn)精度變化不能盲目相信某個預(yù)設(shè)壓縮率。6.2 框架選擇與推理引擎在訓(xùn)練側(cè)PyTorch和TensorFlow是目前的主流選擇。如果項(xiàng)目以研究驗(yàn)證為主PyTorch生態(tài)更靈活在過去的幾年內(nèi)新論文模型基本都優(yōu)先提供PyTorch版本如果團(tuán)隊(duì)已有成熟的TensorFlow生產(chǎn)鏈路沿用TensorFlow也完全合理畢竟工程穩(wěn)定性和圖優(yōu)化集成更成熟。模型訓(xùn)練完成后的推理環(huán)節(jié)則可以考慮專門推理引擎比如TensorRTNVIDIA GPU、OpenVINOIntel CPU或ONNX Runtime跨平臺通用它們會把計算圖做算子融合、層間緩沖復(fù)用等優(yōu)化加速效果通常非常顯著。一個容易被忽略的點(diǎn)是推理引擎支持的算子集合和訓(xùn)練框架不完全一致。有些新算子或者自定義算子在ONNX轉(zhuǎn)換時可能直接失敗或者轉(zhuǎn)換后跑得非常慢。所以從一開始訓(xùn)練時就要考慮部署端兼容性。如果目標(biāo)平臺不支持某個算子網(wǎng)絡(luò)設(shè)計階段就換掉別等到訓(xùn)練完再折騰。我在一個項(xiàng)目里就因?yàn)樽远x池化算子無法導(dǎo)出到ONNX最后繞了一個大彎改網(wǎng)絡(luò)結(jié)構(gòu)損失了三天時間。另外輸入尺寸在部署時最好固定下來。動態(tài)輸入尺寸雖然靈活但很多推理引擎對動態(tài)shape支持不好會退化成低效的通用路徑。預(yù)先設(shè)定好幾個常用分辨率讓推理引擎把圖的shape和內(nèi)存布局都靜態(tài)化性能和穩(wěn)定性都會好很多。7. CNN的邊界與變體什么時候它是最好的選擇CNN很強(qiáng)但它不是所有問題的唯一答案。在圖像類任務(wù)里CNN至今依然是默認(rèn)選擇但在處理序列、點(diǎn)云、圖結(jié)構(gòu)數(shù)據(jù)時像Transformer、GNN這些架構(gòu)可能更合適。甚至在某些圖像任務(wù)上Vision TransformerViT已經(jīng)在大型數(shù)據(jù)集上超越CNN但ViT往往需要海量數(shù)據(jù)和更強(qiáng)的正則化才能訓(xùn)練好在小樣本場景下未必比得上有先驗(yàn)偏置的CNN。所謂“先驗(yàn)偏置”就是CNN天然具備的特性局部連接、權(quán)值共享、平移等變。你不需要告訴它“相鄰像素通常相關(guān)”網(wǎng)絡(luò)結(jié)構(gòu)本身就把這個歸納偏置內(nèi)置進(jìn)去了。在數(shù)據(jù)量中等或偏少的場景中這個偏置是巨大優(yōu)勢——模型不需要重新摸索像素間的空間關(guān)系。但這幾年有一種趨勢是用卷積注意力的混合結(jié)構(gòu)來取長補(bǔ)短。比如在淺層用卷積抓局部紋理在深層用注意力機(jī)制捕捉全局依賴。我在一個遙感影像分類項(xiàng)目里試過這種混合結(jié)構(gòu)全局檢測效果比純卷積高不少尤其在需要跨區(qū)域上下文時優(yōu)勢明顯。如果你手頭任務(wù)的特征同時有強(qiáng)局部性和強(qiáng)全局性比如大尺寸醫(yī)學(xué)影像或遙感圖值得優(yōu)先考慮混合架構(gòu)。不過需要提醒的是不要盲目追求最新架構(gòu)。對一個特定業(yè)務(wù)問題穩(wěn)定性、可復(fù)現(xiàn)性、部署易用性往往比刷那零點(diǎn)幾個百分點(diǎn)更重要。我在和不少同行交流時發(fā)現(xiàn)最穩(wěn)妥的路徑往往是先用一個成熟且更簡單的CNN基線跑通全鏈路再通過消融實(shí)驗(yàn)逐步替換模塊每一步都驗(yàn)證收益和成本。8. 我踩過的最有價值的幾個坑這部分挑三個印象最深的坑來寫可能比前面所有章節(jié)都更有實(shí)際價值。第一個坑是把輸入歸一化忘在訓(xùn)練前處理里但推理時沒有對應(yīng)處理。一個分類模型的輸入歸一化方式在訓(xùn)練和推理時必須完全一致。有一陣我部署一個模型時訓(xùn)練代碼里對圖像先做減均值除以方差但導(dǎo)出的模型沒有把這些歸一化操作包進(jìn)去推理端直接把原始像素喂進(jìn)去結(jié)果準(zhǔn)確率降了十多個百分點(diǎn)。后來我在導(dǎo)出時把歸一化作為一個預(yù)處理節(jié)點(diǎn)嵌入計算圖或者確保外部預(yù)處理和訓(xùn)練時完全相同問題才徹底解決。第二個坑是用數(shù)據(jù)增強(qiáng)后的分布去評估模型。最初做一項(xiàng)檢測任務(wù)時我沿用分類任務(wù)的模式對驗(yàn)證集也加了較強(qiáng)的增強(qiáng)結(jié)果驗(yàn)證集指標(biāo)一直在95%左右沒什么變化我就以為是訓(xùn)練飽和了。后來發(fā)現(xiàn)增強(qiáng)的隨機(jī)性掩蓋了真實(shí)困難樣本的表現(xiàn)。改成固定翻轉(zhuǎn)、固定裁剪的評估方式后模型的薄弱點(diǎn)立刻暴露出來針對性補(bǔ)了數(shù)據(jù)之后最終泛化性能大幅提升。第三個坑是推理引擎默認(rèn)選擇難以預(yù)料很慢的路徑。某個算子在某些推理引擎上需要跨步內(nèi)存拷貝性能一下子掉好幾倍。有一次我測量一個全卷積檢測網(wǎng)絡(luò)的推理延遲TensorRT下只有8毫秒改用CPU端的ONNX Runtime卻跑了近200毫秒。后來定位到是某個步長為2的轉(zhuǎn)置卷積算子沒有好的實(shí)現(xiàn)路徑。這種情況下最簡單的辦法就是改網(wǎng)絡(luò)結(jié)構(gòu)用最近鄰上采樣加普通卷積代替轉(zhuǎn)置卷積代價極小但延遲下降了非常多。這些坑說出來都特別簡單但每一個都是實(shí)際項(xiàng)目中耗費(fèi)了大量時間才換來的教訓(xùn)。如果你以后遇到類似“怎么數(shù)據(jù)越訓(xùn)越差”“怎么部署后精度和訓(xùn)練時對不上”的問題可以先按上面的清單排查一遍。對我個人來說CNN早已不是模型結(jié)構(gòu)那么簡單。它是理解深度學(xué)習(xí)中“表示學(xué)習(xí)”的最佳教材——從像素到特征、從特征到語義、從語義到?jīng)Q策每一層的變換都有清晰的幾何與統(tǒng)計含義。無論未來Transformer類架構(gòu)怎么流行這份對特征提取與空間建模的理解放到任何架構(gòu)上都不會過時。如果你正在學(xué)習(xí)和使用CNN我建議你不要只跑通現(xiàn)成代碼而是親手把每層的輸入輸出尺寸算一遍把中間特征圖可視化出來把loss曲線的每一個異常都追究到底。這個過程熬過去了你對深度學(xué)習(xí)的整體認(rèn)知會上一個臺階。