1. 從一個(gè)訓(xùn)練到一半就“躺平”的模型說起如果你親手訓(xùn)練過一個(gè)稍微有點(diǎn)深度的神經(jīng)網(wǎng)絡(luò)大概率見過這種讓人抓狂的場(chǎng)景前幾個(gè)epoch損失還降得好好的突然就卡在一個(gè)不上不下的數(shù)值準(zhǔn)確率死活上不去再往后訓(xùn)練參數(shù)幾乎紋絲不動(dòng)。你以為是學(xué)習(xí)率設(shè)大了調(diào)小以為是數(shù)據(jù)有問題換一批以為是初始化沒弄好重來。折騰一圈下來問題依舊。這時(shí)候十有八九你撞上的是深度學(xué)習(xí)里最經(jīng)典、也最容易被忽視的攔路虎——梯度消失。梯度消失不是什么玄學(xué)它背后是一套非常清晰的數(shù)學(xué)機(jī)制。簡單說就是反向傳播的時(shí)候誤差信號(hào)從輸出層往輸入層傳每經(jīng)過一層就要乘上該層激活函數(shù)的導(dǎo)數(shù)。如果這些導(dǎo)數(shù)普遍小于1那么經(jīng)過幾十層連乘之后梯度就會(huì)指數(shù)級(jí)衰減傳到前面幾層時(shí)已經(jīng)小到幾乎為零。參數(shù)更新量趨近于零前面的層就等于“躺平”了學(xué)不動(dòng)。這不是模型笨是信號(hào)在傳遞途中被“吃掉”了。這篇文章我想把梯度消失這件事從頭到尾講透。它適合誰看如果你正在自己搭網(wǎng)絡(luò)、調(diào)模型或者面試時(shí)被問到“為什么用ReLU不用Sigmoid”“殘差連接到底解決了什么”又或者你只是好奇為什么深網(wǎng)絡(luò)這么難訓(xùn)那這篇內(nèi)容應(yīng)該能給你一套完整的認(rèn)知框架。我會(huì)從數(shù)學(xué)原理講起拆解它為什么發(fā)生、在哪些結(jié)構(gòu)里最容易出現(xiàn)然后給出幾條經(jīng)過實(shí)測(cè)驗(yàn)證的解決路徑最后分享一些排查這類問題時(shí)我踩過的坑和總結(jié)出的判斷技巧。全程不堆公式嚇人該有的推導(dǎo)會(huì)給但更重要的是讓你知道每一步“為什么這么做”。2. 梯度消失的數(shù)學(xué)本質(zhì)連乘效應(yīng)與激活函數(shù)的“鍋”2.1 反向傳播里的鏈?zhǔn)椒▌t到底在乘什么要理解梯度消失得先回到反向傳播的基本邏輯。假設(shè)一個(gè)前饋網(wǎng)絡(luò)有L層第l層的輸出是a_l f(z_l)其中z_l W_l · a_{l-1} b_lf是激活函數(shù)。損失函數(shù)對(duì)第一層權(quán)重的梯度按照鏈?zhǔn)椒▌t展開會(huì)變成一長串偏導(dǎo)數(shù)的乘積?Loss/?W_1 ?Loss/?a_L · ?a_L/?z_L · ?z_L/?a_{L-1} · ... · ?a_1/?z_1 · ?z_1/?W_1這里面每一項(xiàng)?a_l/?z_l就是激活函數(shù)的導(dǎo)數(shù)f(z_l)而?z_l/?a_{l-1}就是權(quán)重矩陣W_l。所以整個(gè)梯度里包含了大量f(z)因子和權(quán)重矩陣的連乘。梯度消失的核心就藏在這個(gè)連乘結(jié)構(gòu)里。如果f(z)的值普遍小于1比如Sigmoid的導(dǎo)數(shù)最大值只有0.25那么每經(jīng)過一層梯度至少縮水到原來的四分之一。經(jīng)過10層就是0.25的10次方大約是百萬分之一。經(jīng)過20層這個(gè)數(shù)字小到在浮點(diǎn)數(shù)精度下直接變成0。這就是為什么早期用Sigmoid訓(xùn)練深層網(wǎng)絡(luò)幾乎不可能成功——不是優(yōu)化算法不行是梯度在數(shù)學(xué)上就已經(jīng)消失了。2.2 Sigmoid和Tanh為什么是“重災(zāi)區(qū)”Sigmoid函數(shù)σ(z) 1/(1e^(-z))它的導(dǎo)數(shù)σ(z) σ(z)(1-σ(z))。這個(gè)導(dǎo)數(shù)的最大值出現(xiàn)在z0處值為0.25。也就是說無論輸入是什么Sigmoid的導(dǎo)數(shù)永遠(yuǎn)不會(huì)超過0.25。當(dāng)輸入稍微大一點(diǎn)或小一點(diǎn)導(dǎo)數(shù)就迅速趨近于0這就是所謂的“飽和”現(xiàn)象。Tanh稍微好一點(diǎn)導(dǎo)數(shù)最大值是1出現(xiàn)在z0處。但它的導(dǎo)數(shù)同樣在兩端飽和而且大部分輸入落在飽和區(qū)的概率并不低。更關(guān)鍵的是即使最大值是1連乘多個(gè)接近1但略小于1的數(shù)結(jié)果依然會(huì)衰減。比如0.9的50次方約等于0.005梯度已經(jīng)損失了99.5%。我用一個(gè)具體的對(duì)比表格來說明不同激活函數(shù)在梯度傳播上的表現(xiàn)差異激活函數(shù)導(dǎo)數(shù)最大值飽和區(qū)間梯度消失風(fēng)險(xiǎn)典型適用場(chǎng)景Sigmoid0.25兩端飽和極高二分類輸出層Tanh1.0兩端飽和高淺層網(wǎng)絡(luò)隱藏層ReLU無上限正區(qū)間負(fù)區(qū)間截?cái)嘀写嬖谏窠?jīng)元死亡深層網(wǎng)絡(luò)隱藏層Leaky ReLU無上限正區(qū)間負(fù)區(qū)間小斜率低深層網(wǎng)絡(luò)隱藏層GELU無上限正區(qū)間負(fù)區(qū)間軟飽和低Transformer類結(jié)構(gòu)從表里能看出來ReLU家族之所以成為深層網(wǎng)絡(luò)的默認(rèn)選擇核心原因就是它在正區(qū)間的導(dǎo)數(shù)恒為1連乘時(shí)不會(huì)引入額外的衰減因子。當(dāng)然ReLU有自己的問題比如負(fù)區(qū)間導(dǎo)數(shù)為0導(dǎo)致神經(jīng)元死亡但那是另一個(gè)話題了。2.3 權(quán)重初始化不當(dāng)會(huì)放大這個(gè)問題除了激活函數(shù)權(quán)重矩陣的尺度也直接影響梯度大小。如果權(quán)重初始化得太小每一層的輸出z_l W_l · a_{l-1} b_l就會(huì)很小導(dǎo)致激活函數(shù)工作在接近線性的區(qū)域?qū)?shù)雖然不至于太小但信號(hào)本身在逐層縮小。如果權(quán)重初始化得太大激活函數(shù)又會(huì)進(jìn)入飽和區(qū)導(dǎo)數(shù)趨近于0。早期常用的初始化方式是均值為0、標(biāo)準(zhǔn)差為0.01的高斯分布。這個(gè)標(biāo)準(zhǔn)差在淺層網(wǎng)絡(luò)里勉強(qiáng)能用但在深層網(wǎng)絡(luò)里前向傳播時(shí)每層的方差會(huì)逐層縮小反向傳播時(shí)梯度也會(huì)逐層衰減。后來出現(xiàn)的Xavier初始化和He初始化就是專門針對(duì)這個(gè)問題設(shè)計(jì)的。Xavier初始化讓每層的輸入輸出方差保持一致適用于Tanh類激活函數(shù)He初始化則在Xavier基礎(chǔ)上乘以sqrt(2)適配ReLU類激活函數(shù)。這里給一個(gè)He初始化的PyTorch實(shí)現(xiàn)示例方便你直接對(duì)照使用import torch import torch.nn as nn def he_init(module): if isinstance(module, nn.Linear): nn.init.kaiming_normal_(module.weight, modefan_in, nonlinearityrelu) if module.bias is not None: nn.init.zeros_(module.bias) # 應(yīng)用到整個(gè)網(wǎng)絡(luò) model nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, 10) ) model.apply(he_init)這段代碼的關(guān)鍵在于modefan_in和nonlinearityrelu兩個(gè)參數(shù)。fan_in表示用輸入維度來計(jì)算方差縮放因子nonlinearityrelu則告訴初始化函數(shù)這是配合ReLU使用的會(huì)自動(dòng)乘以sqrt(2)。實(shí)測(cè)下來正確初始化能讓深層網(wǎng)絡(luò)的訓(xùn)練穩(wěn)定性提升一個(gè)檔次收斂速度也明顯更快。3. 哪些網(wǎng)絡(luò)結(jié)構(gòu)最容易“中招”從全連接到循環(huán)網(wǎng)絡(luò)的排查清單3.1 深層全連接網(wǎng)絡(luò)層數(shù)一多就原形畢露全連接網(wǎng)絡(luò)是梯度消失最經(jīng)典的試驗(yàn)場(chǎng)。假設(shè)你用Sigmoid激活函數(shù)搭一個(gè)10層的全連接網(wǎng)絡(luò)每層256個(gè)神經(jīng)元在MNIST上訓(xùn)練。前幾層幾乎學(xué)不到任何有用的特征梯度范數(shù)會(huì)隨著層數(shù)增加呈指數(shù)下降。我做過一個(gè)簡單的實(shí)驗(yàn)在反向傳播時(shí)打印每一層權(quán)重的梯度范數(shù)結(jié)果是從輸出層到輸入層梯度范數(shù)從1e-2量級(jí)一路降到1e-8量級(jí)差了六個(gè)數(shù)量級(jí)。這個(gè)現(xiàn)象在層數(shù)超過5層之后就開始明顯超過10層基本就不可用了。所以如果你在用全連接網(wǎng)絡(luò)處理表格數(shù)據(jù)層數(shù)控制在3到5層是比較穩(wěn)妥的再深就需要引入后面要講的技巧。3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)時(shí)間維度上的梯度消失更隱蔽RNN的梯度消失發(fā)生在時(shí)間維度上比空間維度更隱蔽。RNN的隱藏狀態(tài)h_t f(W_h · h_{t-1} W_x · x_t b)反向傳播時(shí)梯度要沿著時(shí)間步展開同樣是一連串的連乘。如果序列長度是100梯度要乘100次衰減程度可想而知。這導(dǎo)致RNN在處理長序列時(shí)很難捕捉到遠(yuǎn)距離的依賴關(guān)系。比如一句話有50個(gè)詞第50個(gè)詞的信息很難影響到第1個(gè)詞的隱藏狀態(tài)更新。LSTM和GRU通過門控機(jī)制緩解了這個(gè)問題——遺忘門可以選擇性地保留或丟棄歷史信息梯度在門控路徑上的傳播更接近加法而非乘法衰減速度大大降低。但LSTM并沒有完全解決梯度消失只是把它推到了更長的序列尺度上。3.3 排查梯度消失的實(shí)操方法當(dāng)你懷疑模型遇到了梯度消失不要靠猜用數(shù)據(jù)說話。最直接的方法是在訓(xùn)練循環(huán)里記錄每一層的梯度范數(shù)def log_gradient_norms(model, step): for name, param in model.named_parameters(): if param.grad is not None: grad_norm param.grad.norm().item() print(fStep {step} | {name} | grad_norm: {grad_norm:.2e})如果看到靠近輸入的層梯度范數(shù)比靠近輸出的層小好幾個(gè)數(shù)量級(jí)基本可以確認(rèn)是梯度消失。另一個(gè)輔助判斷是觀察權(quán)重更新量如果前幾層的權(quán)重在多個(gè)step之后幾乎沒變化而后面幾層變化明顯也是同樣的信號(hào)。還有一個(gè)更簡單的判斷把激活函數(shù)從Sigmoid換成ReLU如果訓(xùn)練立刻變得正常那之前的問題就是激活函數(shù)導(dǎo)致的梯度消失。這個(gè)方法雖然粗暴但在快速定位問題時(shí)非常有效。注意梯度范數(shù)并不是越小越好也不是越大越好。健康的訓(xùn)練過程中各層的梯度范數(shù)應(yīng)該在同一量級(jí)附近波動(dòng)而不是呈現(xiàn)明顯的遞減趨勢(shì)。4. 從ReLU到殘差連接幾條經(jīng)過驗(yàn)證的解決路徑4.1 換激活函數(shù)是最低成本的嘗試解決梯度消失第一件事就是把Sigmoid或Tanh換成ReLU家族。ReLU在正區(qū)間的導(dǎo)數(shù)為1連乘時(shí)不會(huì)引入衰減。這個(gè)改動(dòng)成本極低通常只需要改一行代碼但效果立竿見影。我試過在一個(gè)8層全連接網(wǎng)絡(luò)上做對(duì)比Sigmoid版本訓(xùn)練到第20個(gè)epoch準(zhǔn)確率還在60%左右徘徊換成ReLU后第5個(gè)epoch就突破了90%。但ReLU不是萬能的。它的負(fù)區(qū)間導(dǎo)數(shù)為0如果某個(gè)神經(jīng)元的輸入長期為負(fù)這個(gè)神經(jīng)元就會(huì)“死亡”梯度永遠(yuǎn)為0參數(shù)再也不更新。Leaky ReLU給負(fù)區(qū)間一個(gè)很小的斜率通常0.01讓梯度不至于完全斷掉。ELU在負(fù)區(qū)間用指數(shù)函數(shù)平滑過渡效果也不錯(cuò)。選擇哪個(gè)取決于你的具體任務(wù)和數(shù)據(jù)分布。一般來說先試ReLU如果發(fā)現(xiàn)死亡神經(jīng)元比例過高可以通過統(tǒng)計(jì)激活值為0的神經(jīng)元比例來判斷再換Leaky ReLU或ELU。4.2 批歸一化把每層的輸入拉回“敏感區(qū)”批歸一化Batch Normalization的思路很巧妙在每一層的線性變換之后、激活函數(shù)之前對(duì)輸出做標(biāo)準(zhǔn)化讓均值接近0、方差接近1。這樣激活函數(shù)的輸入就落在導(dǎo)數(shù)較大的區(qū)域不會(huì)輕易飽和。BN的另一個(gè)作用是它讓每層的輸入分布保持穩(wěn)定減少了內(nèi)部協(xié)變量偏移。這意味著即使前面的層參數(shù)更新了后面層收到的輸入分布不會(huì)劇烈變化梯度傳播更穩(wěn)定。實(shí)測(cè)中加了BN之后網(wǎng)絡(luò)對(duì)學(xué)習(xí)率的敏感度降低可以用更大的學(xué)習(xí)率加速訓(xùn)練收斂也更快。不過BN也有自己的坑。在batch size很小的時(shí)候比如小于8BN的統(tǒng)計(jì)量估計(jì)不準(zhǔn)反而會(huì)引入噪聲。這時(shí)候可以考慮Layer Normalization或Group Normalization它們?cè)谛蛄心Ｐ秃托atch場(chǎng)景下表現(xiàn)更穩(wěn)。4.3 殘差連接給梯度開一條“高速公路”殘差連接是解決超深網(wǎng)絡(luò)梯度消失的殺手锏。它的核心思想是讓某一層的輸出變成F(x) x而不是單純的F(x)。反向傳播時(shí)梯度可以通過恒等映射路徑直接傳回前面的層不需要經(jīng)過中間那些可能衰減的連乘。用數(shù)學(xué)表達(dá)就是如果某一層的輸出是y F(x) x那么?y/?x ?F(x)/?x 1。這個(gè)“1”保證了梯度至少能以1的比例傳回去不會(huì)完全消失。這就是為什么ResNet能訓(xùn)練到上百層甚至上千層而傳統(tǒng)網(wǎng)絡(luò)超過20層就崩了。殘差連接在實(shí)現(xiàn)上也很簡單PyTorch里幾行代碼就能搞定class ResidualBlock(nn.Module): def __init__(self, dim): super().__init__() self.fc1 nn.Linear(dim, dim) self.bn1 nn.BatchNorm1d(dim) self.fc2 nn.Linear(dim, dim) self.bn2 nn.BatchNorm1d(dim) self.relu nn.ReLU() def forward(self, x): identity x out self.relu(self.bn1(self.fc1(x))) out self.bn2(self.fc2(out)) out out identity # 殘差連接 return self.relu(out)需要注意的是殘差連接要求輸入輸出維度一致。如果維度不同需要用1x1卷積或線性投影把identity映射到相同維度。另外殘差連接通常和BN一起用效果更好。4.4 梯度裁剪防止梯度爆炸的配套措施梯度消失和梯度爆炸往往是一體兩面。在RNN里梯度既可能消失也可能爆炸。梯度裁剪Gradient Clipping通過限制梯度的最大范數(shù)防止梯度爆炸導(dǎo)致訓(xùn)練不穩(wěn)定。雖然它不直接解決梯度消失但在訓(xùn)練深層網(wǎng)絡(luò)或RNN時(shí)通常和上述方法配合使用。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)這行代碼放在反向傳播之后、優(yōu)化器更新之前。max_norm的選擇需要根據(jù)具體任務(wù)調(diào)整一般從1.0開始試觀察梯度范數(shù)的分布再微調(diào)。5. 實(shí)戰(zhàn)中的判斷技巧與幾個(gè)容易踩的坑5.1 不要把所有訓(xùn)練不動(dòng)都?xì)w咎于梯度消失梯度消失確實(shí)常見但訓(xùn)練不動(dòng)的原因還有很多。學(xué)習(xí)率太大導(dǎo)致震蕩、學(xué)習(xí)率太小導(dǎo)致更新緩慢、數(shù)據(jù)標(biāo)簽噪聲太大、模型容量不足、正則化過強(qiáng)都會(huì)表現(xiàn)為“訓(xùn)練不動(dòng)”。我的經(jīng)驗(yàn)是先看梯度范數(shù)如果各層梯度范數(shù)正常但損失不降那問題不在梯度消失而在別處。如果梯度范數(shù)確實(shí)逐層遞減再往梯度消失的方向排查。另一個(gè)容易混淆的是“梯度消失”和“神經(jīng)元死亡”。前者是梯度在傳播過程中衰減后者是ReLU神經(jīng)元在負(fù)區(qū)間導(dǎo)數(shù)為0導(dǎo)致參數(shù)不更新。兩者的表現(xiàn)都是前面層學(xué)不動(dòng)但原因不同。判斷方法很簡單統(tǒng)計(jì)激活值為0的神經(jīng)元比例如果超過50%可能是神經(jīng)元死亡如果激活值分布正常但梯度范數(shù)遞減才是梯度消失。5.2 殘差連接不是萬能藥用錯(cuò)了反而添亂殘差連接雖然強(qiáng)大但也不是隨便加就有效。我見過有人在淺層網(wǎng)絡(luò)3到5層上加殘差連接結(jié)果訓(xùn)練反而變慢了。原因是淺層網(wǎng)絡(luò)本身梯度衰減不嚴(yán)重殘差連接帶來的額外計(jì)算和參數(shù)反而增加了優(yōu)化難度。殘差連接在層數(shù)超過10層之后才開始顯現(xiàn)優(yōu)勢(shì)層數(shù)越多收益越明顯。另外殘差連接的位置也有講究。放在激活函數(shù)之前還是之后效果可能不同。原版ResNet是BN-ReLU-Conv的順序后來有研究提出Pre-activation結(jié)構(gòu)BN-ReLU放在卷積之前在超深網(wǎng)絡(luò)里表現(xiàn)更好。這些細(xì)節(jié)需要根據(jù)具體任務(wù)做實(shí)驗(yàn)對(duì)比沒有一刀切的最優(yōu)解。5.3 學(xué)習(xí)率預(yù)熱深層網(wǎng)絡(luò)訓(xùn)練的“緩沖期”在訓(xùn)練非常深的網(wǎng)絡(luò)時(shí)一開始就用較大的學(xué)習(xí)率可能導(dǎo)致梯度不穩(wěn)定。學(xué)習(xí)率預(yù)熱Learning Rate Warmup的思路是前幾個(gè)epoch用很小的學(xué)習(xí)率讓網(wǎng)絡(luò)先“熱身”等梯度穩(wěn)定后再逐步增大到目標(biāo)學(xué)習(xí)率。這個(gè)技巧在Transformer類模型里幾乎是標(biāo)配在深層CNN和RNN里也同樣有效。def warmup_lr(step, warmup_steps, base_lr): if step warmup_steps: return base_lr * step / warmup_steps return base_lr預(yù)熱步數(shù)一般設(shè)為總訓(xùn)練步數(shù)的5%到10%。實(shí)測(cè)下來加了預(yù)熱之后深層網(wǎng)絡(luò)的初期訓(xùn)練穩(wěn)定性明顯提升梯度消失的概率也降低了。原因可能是預(yù)熱階段讓權(quán)重慢慢調(diào)整到一個(gè)更合理的區(qū)域避免了初期梯度劇烈波動(dòng)導(dǎo)致的飽和。5.4 監(jiān)控梯度是長期習(xí)慣不是出問題才做的事最后分享一個(gè)我養(yǎng)成的習(xí)慣無論訓(xùn)練什么網(wǎng)絡(luò)都在TensorBoard或WandB里記錄每一層的梯度范數(shù)。這個(gè)習(xí)慣幫我提前發(fā)現(xiàn)了很多潛在問題。有時(shí)候損失還在降但梯度范數(shù)已經(jīng)開始異常這時(shí)候介入調(diào)整比等到訓(xùn)練完全卡住再排查要省事得多。監(jiān)控的指標(biāo)不需要太多每層的梯度范數(shù)、權(quán)重范數(shù)、激活值均值就夠了。如果發(fā)現(xiàn)某一層的梯度范數(shù)持續(xù)下降或者激活值大量集中在飽和區(qū)那就是預(yù)警信號(hào)。提前換激活函數(shù)、調(diào)初始化、加BN或殘差連接都比事后補(bǔ)救成本低。梯度消失這個(gè)問題說到底是一個(gè)信號(hào)衰減問題。理解了連乘效應(yīng)這個(gè)核心機(jī)制剩下的就是根據(jù)具體場(chǎng)景選擇合適的工具組合。沒有哪種方法能包治百病ReLU、BN、殘差連接、梯度裁剪、學(xué)習(xí)率預(yù)熱這些工具各有適用場(chǎng)景需要根據(jù)網(wǎng)絡(luò)深度、數(shù)據(jù)類型、任務(wù)復(fù)雜度來搭配使用。我在實(shí)際項(xiàng)目里的體會(huì)是先把激活函數(shù)和初始化做對(duì)再考慮加BN和殘差連接最后用學(xué)習(xí)率預(yù)熱和梯度裁剪兜底。這個(gè)順序走下來絕大多數(shù)梯度消失問題都能被控制住。