先說(shuō)一個(gè)我自己的真實(shí)經(jīng)歷。幾年前我第一次接觸人臉識(shí)別相關(guān)的項(xiàng)目當(dāng)時(shí)被安排做一個(gè)門禁場(chǎng)景的人臉核驗(yàn)功能。我當(dāng)時(shí)的想法特別樸素拿一個(gè)分類網(wǎng)絡(luò)把員工照片按工號(hào)做分類訓(xùn)練識(shí)別時(shí)看它分到哪個(gè)類就行。真正深入進(jìn)去才發(fā)現(xiàn)人臉識(shí)別這件事難點(diǎn)根本不在“分類”而在“無(wú)論你今天化了妝、換了眼鏡、轉(zhuǎn)了角度、光線忽明忽暗系統(tǒng)都要認(rèn)出屏幕前這張臉就是你”。后來(lái)把CNN的原理真正吃透再回頭看整個(gè)流程才明白人臉識(shí)別不是某個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的炫技而是從檢測(cè)、對(duì)齊、特征提取到比對(duì)一整套流水線的配合。這篇文章就圍繞人臉識(shí)別原理和CNN展開寫給兩類人看一類是想搞懂人臉識(shí)別底層邏輯、但被各種論文術(shù)語(yǔ)勸退的初學(xué)者另一類是已經(jīng)會(huì)用現(xiàn)成接口或開源模型、卻始終沒(méi)弄明白“為什么深度學(xué)習(xí)就能認(rèn)出人臉”的開發(fā)者。我會(huì)把卷積神經(jīng)網(wǎng)絡(luò)拆開講清楚——卷積、激活、池化、全連接到底各自扮演什么角色也會(huì)說(shuō)明白為什么CNN最終輸出的不是一個(gè)“分類結(jié)果”而是一串誰(shuí)都能比對(duì)的數(shù)字向量。1. 人臉識(shí)別到底在跑哪幾步流程從圖像到“你是誰(shuí)”很多人一提人臉識(shí)別第一反應(yīng)就是一個(gè)神經(jīng)網(wǎng)絡(luò)把照片喂進(jìn)去蹦出一個(gè)人名。真實(shí)工程里完全不是這個(gè)邏輯。一套完整的人臉識(shí)別系統(tǒng)至少包含四個(gè)環(huán)節(jié)人臉檢測(cè)、人臉對(duì)齊、特征提取、特征比對(duì)。每個(gè)環(huán)節(jié)都有專門的模型和方法CNN主要扛起的是“特征提取”這一棒但前面兩步?jīng)]做好后面再?gòu)?qiáng)的網(wǎng)絡(luò)也白搭。1.1 人臉檢測(cè)和對(duì)齊先把臉從畫面里“撈”出來(lái)人臉檢測(cè)解決的是“這張圖里有沒(méi)有人臉有的話臉在哪”。業(yè)界非常經(jīng)典的做法是使用MTCNN多任務(wù)級(jí)聯(lián)卷積網(wǎng)絡(luò)這類模型它同時(shí)做兩件事框出人臉的位置并定位眼睛、鼻子、嘴角這些關(guān)鍵點(diǎn)。檢測(cè)到的關(guān)鍵點(diǎn)不是擺著好看的它要用于下一步的“對(duì)齊”。對(duì)齊是把檢測(cè)到的臉做仿射變換旋轉(zhuǎn)、縮放、平移讓兩只眼睛處在同一水平線、人臉大小歸一化。為什么非要對(duì)齊原因很簡(jiǎn)單CNN提取特征時(shí)對(duì)不同位置、不同角度的同一個(gè)物體響應(yīng)會(huì)不一樣。如果今天拍的是正臉明天拍的是側(cè)臉偏了15度網(wǎng)絡(luò)提取出來(lái)的特征就很難一致。通過(guò)對(duì)齊把所有人臉擺成統(tǒng)一的“標(biāo)準(zhǔn)姿態(tài)”后續(xù)的特征提取才能公平地比較。實(shí)際工程里這一步常見輸出是112x112或類似規(guī)格的RGB人臉圖片。1.2 特征提取與比對(duì)一張臉變成一串?dāng)?shù)字對(duì)齊之后的帶注釋人臉圖才輪到CNN接手。CNN在這里的角色是把輸入圖片映射成一個(gè)固定長(zhǎng)度的向量——比如128維、256維或者512維。這個(gè)向量就是“人臉特征”行業(yè)內(nèi)也叫人臉嵌入face embedding。特征提取做完之后剩下的問(wèn)題變成純數(shù)學(xué)題庫(kù)里存著每個(gè)人的特征向量新來(lái)一張臉也提取一個(gè)向量計(jì)算兩者之間的距離。距離小于某個(gè)閾值判定為同一個(gè)人大于閾值判定為不同的人。常用的距離度量是歐氏距離或余弦相似度。整套系統(tǒng)跑通的本質(zhì)就是把“認(rèn)人”這件事轉(zhuǎn)變成了“向量空間里的距離計(jì)算”。1.3 流程里最容易忽視的兩個(gè)坑第一有人會(huì)把“人臉檢測(cè)”和“人臉識(shí)別”混為一談。檢測(cè)只是回答“臉在哪”識(shí)別才是回答“這是誰(shuí)”中間差了十萬(wàn)八千里。第二對(duì)齊這個(gè)環(huán)節(jié)經(jīng)常被輕視但實(shí)際上它對(duì)最終準(zhǔn)確率的影響非常大。我實(shí)測(cè)過(guò)同一套特征提取模型不做對(duì)齊直接丟進(jìn)網(wǎng)絡(luò)和做了標(biāo)準(zhǔn)對(duì)齊之后再輸入在公開測(cè)試集上的準(zhǔn)確率能差兩三個(gè)百分點(diǎn)。人臉識(shí)別調(diào)優(yōu)很多時(shí)候不是換一個(gè)更花哨的backbone而是把前面這些基礎(chǔ)環(huán)節(jié)做扎實(shí)。2. 為什么傳統(tǒng)人臉識(shí)別干不過(guò)CNN從人工設(shè)計(jì)特征的困境說(shuō)起在CNN成為人臉識(shí)別標(biāo)配之前學(xué)術(shù)界和工業(yè)界做過(guò)大量嘗試這些方法可以統(tǒng)稱為“手工特征時(shí)代”。理解它們的局限才能真正理解CNN帶來(lái)的是一次認(rèn)知層面的轉(zhuǎn)變。2.1 手工特征時(shí)代的主流思路傳統(tǒng)方法的邏輯是“人先想好什么特征重要再寫代碼去提取這些特征”。比較有代表性的有這么幾類LBP局部二值模式把每個(gè)像素和周圍像素做大小比較得到一串二進(jìn)制編碼用編碼直方圖來(lái)描述紋理。HOG方向梯度直方圖統(tǒng)計(jì)圖像局部區(qū)域里梯度方向的分布擅長(zhǎng)刻畫輪廓和形狀。特征臉Eigenface用PCA主成分分析把高維人臉圖像投影到低維空間找到“最能區(qū)分不同人”的正交方向。這些方法在約束環(huán)境固定光照、固定角度、配合拍攝下表現(xiàn)尚可所以早期的考勤機(jī)、門禁機(jī)還能用。但一旦放到自然場(chǎng)景里效果立刻崩。2.2 手工特征的天花板在哪里問(wèn)題的核心在于手工特征的“表達(dá)能力”有上限。以LBP為例它對(duì)光照變化確實(shí)比原始像素魯棒但遇到大角度側(cè)臉、夸張表情、遮擋、模糊局部紋理信息發(fā)生巨大變化LBP編碼就會(huì)劇烈抖動(dòng)。更要命的是這些特征彼此之間是割裂的——LBP在描述紋理HOG在描述輪廓它們沒(méi)有一個(gè)統(tǒng)一的框架去組合和篩選哪些信息對(duì)“區(qū)分身份”真正有用。當(dāng)時(shí)還有一種思路是先做人臉?lè)謮K比如把臉切成額頭、眼睛、鼻子、嘴巴幾個(gè)區(qū)域分別提取特征再拼起來(lái)。這種做法的問(wèn)題是“切塊”這件事本身就帶著人的主觀判斷很難適應(yīng)所有人臉形狀的差異?？梢哉f(shuō)傳統(tǒng)方法是在用有限的、預(yù)先定義好的規(guī)則去匹配無(wú)限多樣的現(xiàn)實(shí)變化注定不會(huì)走遠(yuǎn)。2.3 CNN改變游戲規(guī)則的關(guān)鍵特征不是人設(shè)計(jì)的是學(xué)出來(lái)的CNN和傳統(tǒng)方法的本質(zhì)區(qū)別在于特征提取的參數(shù)不需要人手工設(shè)計(jì)。你只需要準(zhǔn)備海量標(biāo)注好身份的人臉圖片給網(wǎng)絡(luò)一個(gè)學(xué)習(xí)目標(biāo)它會(huì)自己從數(shù)百萬(wàn)張圖里總結(jié)出“哪些視覺模式對(duì)區(qū)分身份是有效的”以及“這些模式應(yīng)該怎么組合”。這就是所謂“端到端學(xué)習(xí)”的含義。更深一層CNN的多層結(jié)構(gòu)天然形成了“從局部到整體、從具體到抽象”的特征層級(jí)淺層卷積核學(xué)到的是邊緣、顏色塊、紋理點(diǎn)中層卷積核學(xué)到的是眼睛、鼻子、嘴巴這類語(yǔ)義部件深層卷積核學(xué)到的則是“整個(gè)人的面孔結(jié)構(gòu)”這類更高層的組合模式。人臉識(shí)別需要的不正是這種從細(xì)節(jié)到整體、層層整合的建模能力嗎CNN把手工特征時(shí)代那個(gè)“人怎么設(shè)計(jì)特征”的問(wèn)題變成了“怎么讓網(wǎng)絡(luò)自己學(xué)出特征”這是一次根本性的范式轉(zhuǎn)換。3. CNN核心組件拆解卷積、激活、池化、全連接在“認(rèn)臉”里各自干了什么這一節(jié)是全文的重頭戲。如果你之前看CNN相關(guān)教程覺得云里霧里我建議把自己想象成在搭一條流水線卷積負(fù)責(zé)“找線索”激活負(fù)責(zé)“決定哪些線索值得傳下去”池化負(fù)責(zé)“給信息降噪減量”全連接負(fù)責(zé)“把線索匯總成結(jié)論”。每一步都不玄乎。3.1 卷積層在圖像上滑動(dòng)“小探針”尋找特定的局部模式卷積操作本質(zhì)上是一個(gè)小矩陣卷積核在圖像上滑動(dòng)每滑到一個(gè)位置將卷積核內(nèi)的數(shù)值和圖像對(duì)應(yīng)位置的像素做逐點(diǎn)相乘再求和得到一個(gè)新的數(shù)值。一個(gè)3x3的卷積核就是在每個(gè)位置看周圍3x3范圍內(nèi)是否存在某種特定的局部模式。比如有的卷積核學(xué)出來(lái)專門響應(yīng)“水平邊緣”有的專門響應(yīng)“垂直邊緣”有的對(duì)“眼睛區(qū)域的深色弧線”特別敏感。用人話說(shuō)卷積層像是在圖像上鋪滿了很多“小探針”每個(gè)探針有自己關(guān)心的圖案。整個(gè)特征圖feature map就是探針在整個(gè)畫面上掃過(guò)之后標(biāo)記出“哪里存在我關(guān)心的圖案”。一個(gè)卷積層通常有好幾十甚至幾百個(gè)這樣的探針?biāo)砸粚泳矸e下來(lái)得到的是一個(gè)多通道的特征圖集合每一層都在用不同角度描述輸入。關(guān)鍵的一點(diǎn)是卷積核里的數(shù)值并不是人寫死的而是通過(guò)訓(xùn)練學(xué)出來(lái)的。訓(xùn)練過(guò)程可以理解為一個(gè)不斷糾錯(cuò)的過(guò)程網(wǎng)絡(luò)把結(jié)果算錯(cuò)了就反向傳播誤差微調(diào)卷積核里的參數(shù)讓“找線索”這件事越來(lái)越準(zhǔn)。這也是CNN最具魅力的地方——沒(méi)有人告訴它“眼睛應(yīng)該長(zhǎng)什么樣”它自己從數(shù)據(jù)里明白了。3.2 激活函數(shù)給網(wǎng)絡(luò)引入“判斷力”和“非線性”如果只有卷積層的線性加權(quán)求和那不管堆多少層本質(zhì)上還是一個(gè)線性變換永遠(yuǎn)無(wú)法表達(dá)復(fù)雜規(guī)律。激活函數(shù)的存在就是為了給網(wǎng)絡(luò)引入非線性通俗講就是給網(wǎng)絡(luò)“做判斷”的能力。以最常用的ReLU修正線性單元為例它的數(shù)學(xué)形式很簡(jiǎn)單輸入小于0時(shí)輸出0輸入大于0時(shí)輸出原值。這個(gè)看似簡(jiǎn)單的操作讓網(wǎng)絡(luò)可以逐步過(guò)濾掉“負(fù)向響應(yīng)”只保留那些積極相關(guān)的特征。你可以理解成經(jīng)過(guò)激活函數(shù)之后每個(gè)神經(jīng)元只會(huì)因?yàn)椤八P(guān)心的特征出現(xiàn)”而興奮不會(huì)因?yàn)椤八P(guān)心的特征沒(méi)出現(xiàn)”而出負(fù)值干擾后續(xù)判斷。這對(duì)人臉識(shí)別尤其重要——一張臉的特征應(yīng)當(dāng)是特定模式的“聚合證據(jù)”而不是一堆正負(fù)抵消的噪聲。3.3 池化層縮小數(shù)據(jù)規(guī)模同時(shí)保留關(guān)鍵響應(yīng)池化層做的事情非常物理把一個(gè)區(qū)域內(nèi)的值合并成一個(gè)代表值。最常見的是最大池化也就是取一個(gè)2x2或3x3窗口內(nèi)的最大值作為輸出。為什么池化有效因?yàn)榫矸e層檢測(cè)到特征之后我們更關(guān)心“這個(gè)區(qū)域里有沒(méi)有出現(xiàn)某個(gè)線索”而不關(guān)心它出現(xiàn)在像素級(jí)的哪個(gè)精確位置。位置稍微偏一點(diǎn)池化結(jié)果基本不受影響這就帶來(lái)了所謂的“平移魯棒性”。池化同時(shí)在幫你減負(fù)。人臉識(shí)別網(wǎng)絡(luò)的輸入是112x112圖片如果每一層都不做尺寸縮減計(jì)算量會(huì)爆炸。通過(guò)池化把特征圖尺寸一點(diǎn)點(diǎn)壓小比如112→56→28→14網(wǎng)絡(luò)在高層就能用更少的參數(shù)表達(dá)更大范圍的信息也減少了過(guò)擬合的風(fēng)險(xiǎn)。3.4 全連接層把“特征地圖”匯總成全局判斷卷積層和池化層輸出的還是具有一定空間結(jié)構(gòu)的特征圖比如7x7x512。到了網(wǎng)絡(luò)末端通常會(huì)把這個(gè)三維張量“拉平”成一維然后接一個(gè)或幾個(gè)全連接層。全連接層的每個(gè)神經(jīng)元會(huì)和上一層的所有神經(jīng)元相連它做的事是把前面提取到的局部特征做全局綜合——相當(dāng)于把所有分散的“線索”匯總到一個(gè)統(tǒng)一的表達(dá)里。在人臉識(shí)別網(wǎng)絡(luò)里全連接層有兩種存在形式。一種是用全連接層做最終分類輸出每個(gè)人的概率分布另一種是拿倒數(shù)第二層或某個(gè)特定中間層的輸出作為人臉特征向量。后面這種形式正是人臉識(shí)別區(qū)別于普通圖像分類的關(guān)鍵點(diǎn)下一節(jié)細(xì)說(shuō)。你可以把全連接層理解成“腦補(bǔ)”的過(guò)程前面的層負(fù)責(zé)看細(xì)節(jié)、找線索全連接層負(fù)責(zé)把所有線索湊在一起形成一個(gè)完整的判斷。3.5 一張圖看懂一個(gè)簡(jiǎn)化的CNN人臉特征網(wǎng)絡(luò)結(jié)構(gòu)假設(shè)輸入是一張對(duì)齊后的112x112x3人臉圖一個(gè)典型的CNN特征提取網(wǎng)絡(luò)大致長(zhǎng)這樣輸入: 112x112x3 → 卷積層(3x3, 64) ReLU → 池化(2x2) → 56x56x64 → 卷積層(3x3, 128) ReLU → 池化(2x2) → 28x28x128 → 卷積層(3x3, 256) ReLU → 池化(2x2) → 14x14x256 → 卷積層(3x3, 512) ReLU → 池化(2x2) → 7x7x512 → 拉平 → 全連接層(1024) → ReLU → 輸出層(512維特征向量)這個(gè)結(jié)構(gòu)很簡(jiǎn)化真實(shí)的人臉識(shí)別網(wǎng)絡(luò)比如基于ResNet架構(gòu)的變體會(huì)用殘差連接、更深的層數(shù)、以及更精細(xì)的通道設(shè)計(jì)但整體思路是高度一致的逐步抽象逐步壓縮最終得到一個(gè)緊湊的特征向量。如果要用PyTorch寫一個(gè)骨架大概是這樣import torch.nn as nn class FaceFeatureNet(nn.Module): def __init__(self, embedding_size512): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(128, 256, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(256, 512, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.head nn.Sequential( nn.Linear(512 * 7 * 7, 1024), nn.ReLU(inplaceTrue), nn.Linear(1024, embedding_size), ) def forward(self, x): x self.features(x) # 輸出形狀: [B, 512, 7, 7] x x.view(x.size(0), -1) # 拉平 x self.head(x) # 輸出形狀: [B, 512] return x注意最后輸出的512維向量就是這個(gè)網(wǎng)絡(luò)對(duì)一張人臉圖的“特征刻畫”。訓(xùn)練好之后這個(gè)網(wǎng)絡(luò)可以扔到任何機(jī)器上把任意人臉圖變成512個(gè)浮點(diǎn)數(shù)。4. 人臉識(shí)別真正的難點(diǎn)不是分類而是“認(rèn)出同一個(gè)你”很多初學(xué)者會(huì)困惑一個(gè)問(wèn)題CNN訓(xùn)練的時(shí)候不是用Softmax做分類嗎那為什么識(shí)別的時(shí)候不直接取最大概率的類別而要搞什么特征向量和距離計(jì)算這是一個(gè)非常關(guān)鍵的問(wèn)題值得單獨(dú)用一章講透。4.1 分類只是在幫網(wǎng)絡(luò)“學(xué)會(huì)分辨”識(shí)別卻是一場(chǎng)開放式考試在訓(xùn)練階段我們確實(shí)會(huì)用分類的思路去驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí)。比如訓(xùn)練集里有10000個(gè)人每個(gè)人有幾十張照片網(wǎng)絡(luò)的最后一層就是一個(gè)10000類的Softmax分類器目標(biāo)是把每一張照片分到對(duì)應(yīng)的人名下。這個(gè)分類訓(xùn)練的目的是什么是迫使網(wǎng)絡(luò)前面那些層提取出“足以區(qū)分10000個(gè)人”的特征。分類器只是輔助工具真正有價(jià)值的是分類器之前的那一層特征輸出——因?yàn)橐謱?duì)10000個(gè)人網(wǎng)絡(luò)就必須把人臉映射到一個(gè)足夠有判別力的特征空間。但到了真實(shí)部署時(shí)分類邏輯就失效了。原因很直接你不可能提前知道系統(tǒng)將來(lái)會(huì)錄入哪些新人。今天門禁系統(tǒng)有1000個(gè)員工明天入職一個(gè)新員工如果識(shí)別依賴的是固定類別數(shù)那就得重新訓(xùn)練整個(gè)分類網(wǎng)絡(luò)。這顯然不可接受。所以工程上普遍的做法是只拿訓(xùn)練好的CNN做特征提取新員工來(lái)了只往人臉特征庫(kù)里新增一條向量完全不需要?jiǎng)泳W(wǎng)絡(luò)本身。識(shí)別時(shí)新的臉提取出特征向量在庫(kù)里找“最像的鄰居”即可。4.2 從Softmax到度量學(xué)習(xí)讓同一個(gè)人的特征“聚成一團(tuán)”分類訓(xùn)練有個(gè)隱含問(wèn)題Softmax鼓勵(lì)的是把不同類別分開但它并不直接約束同類樣本之間要緊湊。也就是說(shuō)同一個(gè)人的不同照片在特征空間里可能分散得比較開。對(duì)人臉識(shí)別來(lái)說(shuō)我們希望的是同一個(gè)人的特征向量盡量接近類內(nèi)緊湊不同人的特征向量盡量遠(yuǎn)離類間分離。這就是“度量學(xué)習(xí)”要解決的問(wèn)題。業(yè)界演進(jìn)出了幾代代表性損失函數(shù)Softmax 交叉熵基礎(chǔ)方案能學(xué)會(huì)分辨但同類特征的緊湊度不夠。Triplet Loss三元組損失每次取三張圖——錨點(diǎn)、正樣本同一個(gè)人、負(fù)樣本不同的人約束“錨點(diǎn)與正樣本的距離”比“錨點(diǎn)與負(fù)樣本的距離”至少小一個(gè)閾值。ArcFace / CosFace加性角度間隔損失在Softmax的基礎(chǔ)上直接在角度空間里給正確類加一個(gè)“間隔約束”讓決策邊界變得更嚴(yán)格。這類方法在公開測(cè)評(píng)集上的效果非常好是目前工業(yè)界的主流標(biāo)配。我自己調(diào)試過(guò)Triplet Loss和ArcFace直觀感受是ArcFace對(duì)訓(xùn)練數(shù)據(jù)的質(zhì)量要求相對(duì)較低收斂更穩(wěn)定不像Triplet Loss那樣需要費(fèi)心思做三元組的難樣本挖掘。這也是為什么現(xiàn)在很多開源人臉識(shí)別模型都默認(rèn)用ArcFace這類損失函數(shù)。4.3 特征空間里的“一條線”怎么畫訓(xùn)練好的模型把所有臉映射到一個(gè)高維空間通常是512維。在這個(gè)空間里不同人的特征集群會(huì)自然分布在不同的區(qū)域。識(shí)別時(shí)只需要定義一個(gè)閾值——當(dāng)兩張臉的歐氏距離小于閾值時(shí)判定為同一人大于閾值時(shí)判定為不同人。這里有一個(gè)工程上的細(xì)節(jié)閾值到底怎么定不能用拍腦袋的方式。正確做法是準(zhǔn)備一批正樣本人臉對(duì)同一人不同照片和負(fù)樣本人臉對(duì)不同人的照片提取特征后遍歷候選閾值找到讓準(zhǔn)確率和誤判率平衡的最佳折中。很多剛?cè)腴T的人會(huì)忽略這一步導(dǎo)致上線后誤識(shí)別率居高不下。4.4 實(shí)際工程里的比對(duì)流程是怎么做的模型訓(xùn)練好之后落地流程大概是這樣的每個(gè)注冊(cè)用戶提供1張或者多張標(biāo)準(zhǔn)人臉照片過(guò)檢測(cè)對(duì)齊提取特征向量存入向量數(shù)據(jù)庫(kù)。每次識(shí)別時(shí)攝像頭抓拍一幀跑檢測(cè)對(duì)齊提取當(dāng)前人臉特征向量和庫(kù)里所有向量做距離計(jì)算。取距離最近的一個(gè)或距離小于閾值的所有候選輸出匹配結(jié)果。整套流程里CNN只負(fù)責(zé)一件事把任意人臉映射成向量。剩下的事情都交給向量檢索和距離計(jì)算。這也是為什么現(xiàn)代人臉識(shí)別系統(tǒng)能支持百萬(wàn)級(jí)甚至億級(jí)庫(kù)的原因——向量檢索本身已經(jīng)是很成熟的工程領(lǐng)域有大量索引和加速方案可以疊加。5. 從訓(xùn)練到落地的完整實(shí)操經(jīng)驗(yàn)這幾點(diǎn)是我踩過(guò)最深的坑最后分享一些實(shí)戰(zhàn)層面的經(jīng)驗(yàn)。免得你看完了原理真正開始訓(xùn)練時(shí)又繞遠(yuǎn)路。5.1 數(shù)據(jù)準(zhǔn)備決定了準(zhǔn)確率的天花板人臉識(shí)別模型是極度“吃數(shù)據(jù)”的模型。原理再好的網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有足夠多樣化的訓(xùn)練數(shù)據(jù)也白搭。訓(xùn)練數(shù)據(jù)需要覆蓋什么不同角度、不同光照、不同表情、不同年齡階段、不同遮擋程度眼鏡、口罩、帽子。如果訓(xùn)練集里全是光照均勻的正面照模型一到暗光或逆光場(chǎng)景就抓瞎這不是玄學(xué)是數(shù)據(jù)分布的問(wèn)題。數(shù)據(jù)清洗比數(shù)據(jù)量更重要。我見過(guò)一個(gè)項(xiàng)目訓(xùn)練集里有不少“同一個(gè)人的照片被誤標(biāo)成不同人”的情況導(dǎo)致模型怎么訓(xùn)練都收不斂。后來(lái)花了好幾天清洗標(biāo)注錯(cuò)誤率降了一個(gè)數(shù)量級(jí)。實(shí)操中建議至少做一次自動(dòng)化質(zhì)量篩選——用一個(gè)人臉檢測(cè)模型做對(duì)齊置信度檢查把模糊、姿態(tài)過(guò)偏、關(guān)鍵點(diǎn)檢測(cè)差的圖片剔除。5.2 模型選型和遷移學(xué)習(xí)的取舍backbone選擇上當(dāng)前主流是人臉?lè)较騼?yōu)化的ResNet變體或者輕量的MobileFaceNet。如果算力充裕選大網(wǎng)絡(luò)準(zhǔn)確率上限更高如果要部署到邊緣設(shè)備MobileFaceNet這種輕量網(wǎng)絡(luò)更合適。很多開源預(yù)訓(xùn)練模型已經(jīng)提供了很好的起點(diǎn)你可以在這個(gè)基礎(chǔ)上用自己場(chǎng)景的數(shù)據(jù)做微調(diào)fine-tuning。微調(diào)時(shí)我的經(jīng)驗(yàn)是先用較小的學(xué)習(xí)率比如初始學(xué)習(xí)率0.001配合余弦退火訓(xùn)練讓網(wǎng)絡(luò)在自己場(chǎng)景的數(shù)據(jù)上“適應(yīng)”幾個(gè)epoch不要一上來(lái)就用大學(xué)習(xí)率猛沖否則預(yù)訓(xùn)練學(xué)到的通用人臉表達(dá)能力會(huì)被快速破壞。如果自己的數(shù)據(jù)量不大全量微調(diào)還不如直接凍結(jié)backbone、只訓(xùn)練后面的特征映射層。5.3 訓(xùn)練超參數(shù)與損失函數(shù)的選擇建議這里給一份我實(shí)際跑下來(lái)比較穩(wěn)的基礎(chǔ)配置參考配置項(xiàng)建議取值說(shuō)明輸入分辨率112x112業(yè)界常見標(biāo)準(zhǔn)再高收益有限且耗時(shí)批量大小batch size256或以上度量學(xué)習(xí)類損失對(duì)批大小敏感越大越穩(wěn)初始學(xué)習(xí)率0.01ArcFace配合warmup和余弦退火數(shù)據(jù)增強(qiáng)隨機(jī)水平翻轉(zhuǎn)、隨機(jī)灰度、輕度光照擾動(dòng)不要做劇烈?guī)缀涡巫內(nèi)四槍?duì)齊后結(jié)構(gòu)相對(duì)固定輸出特征維度512實(shí)測(cè)比128維在復(fù)雜場(chǎng)景下更穩(wěn)Trick在于難樣本的作用。雖然ArcFace對(duì)難樣本挖掘的要求低但如果你發(fā)現(xiàn)模型在“側(cè)臉對(duì)側(cè)臉”“戴口罩對(duì)戴口罩”這類場(chǎng)景上經(jīng)常認(rèn)不出可以考慮挑出這些難題做額外epoch效果往往立竿見影。但要注意不要只拿難題訓(xùn)練過(guò)頭否則模型會(huì)對(duì)難題過(guò)擬合反而損傷一般場(chǎng)景的表現(xiàn)。5.4 用標(biāo)準(zhǔn)協(xié)議評(píng)測(cè)你的模型別只看訓(xùn)練集準(zhǔn)確率人臉識(shí)別領(lǐng)域通用的評(píng)測(cè)協(xié)議有LFW野外人臉數(shù)據(jù)集、MegaFace等。它們的核心思路是把測(cè)試組織成成對(duì)的比對(duì)任務(wù)通過(guò)固定閾值或ROC曲線計(jì)算準(zhǔn)確率。評(píng)測(cè)時(shí)一個(gè)常見的誤區(qū)是拿“訓(xùn)練集里的人”來(lái)測(cè)準(zhǔn)確率那幾乎必然膨脹。正確做法是保證測(cè)試集里的人和訓(xùn)練集完全無(wú)交集這才是跨身份泛化能力的真實(shí)體現(xiàn)。我習(xí)慣在每個(gè)訓(xùn)練階段結(jié)束時(shí)跑一次測(cè)試集觀察準(zhǔn)確率變化趨勢(shì)如果訓(xùn)練集準(zhǔn)確率一路走高而測(cè)試集準(zhǔn)確率停滯就要警惕過(guò)擬合立刻降低學(xué)習(xí)率或者加正則。5.5 部署階段容易被忽略的細(xì)節(jié)模型部署時(shí)一個(gè)很值得注意的問(wèn)題是標(biāo)準(zhǔn)化方式的一致性。訓(xùn)練時(shí)你用了某種均值/方差做圖像歸一化部署時(shí)也必須用完全相同的方式否則特征會(huì)漂移。我見過(guò)不止一次因?yàn)橛?xùn)練和推理代碼里的預(yù)處理不完全一致導(dǎo)致線上識(shí)別表現(xiàn)大幅縮水的案例。特征庫(kù)的管理同樣重要。隨著注冊(cè)用戶增多庫(kù)里會(huì)累積大量向量。定期清理長(zhǎng)期未登錄的、重復(fù)注冊(cè)的向量對(duì)檢索速度和準(zhǔn)確率都有幫助。另外檢測(cè)閾值和識(shí)別閾值建議分開設(shè)置——門禁這種安全等級(jí)高的場(chǎng)景可以把判定閾值調(diào)嚴(yán)雖然犧牲一點(diǎn)通過(guò)率但能顯著減少“陌生人被放進(jìn)來(lái)”的嚴(yán)重事故。我個(gè)人的習(xí)慣是在正式上線前專門準(zhǔn)備一批“刁鉆測(cè)試”樣本——逆光、大側(cè)臉、戴口罩、戴帽子、表情夸張每種場(chǎng)景至少100張單獨(dú)跑一遍通過(guò)率和誤識(shí)率。只有這些刁鉆樣本的表現(xiàn)達(dá)到預(yù)期我才會(huì)放手讓系統(tǒng)在真實(shí)環(huán)境里跑。人臉識(shí)別這個(gè)領(lǐng)域原理看起來(lái)簡(jiǎn)單但每個(gè)環(huán)節(jié)都有大量瑣碎而關(guān)鍵的細(xì)節(jié)多花時(shí)間做扎實(shí)測(cè)試遠(yuǎn)比追求結(jié)構(gòu)更花哨的網(wǎng)絡(luò)更有價(jià)值。