習(xí)調(diào)參實(shí)戰(zhàn)：超參數(shù)調(diào)試、BatchNorm與程序框架)
1. 從“煉丹”到“調(diào)參”為什么這一周的內(nèi)容是深度學(xué)習(xí)的分水嶺很多人學(xué)深度學(xué)習(xí)前面幾周還能跟得上到了第三周就開(kāi)始發(fā)懵。原因很簡(jiǎn)單前兩周講的是“網(wǎng)絡(luò)怎么搭”這一周講的是“網(wǎng)絡(luò)怎么才能跑得好”。搭網(wǎng)絡(luò)像搭積木照著圖拼就行調(diào)參像炒菜火候、調(diào)料、下鍋?lái)樞虿钜稽c(diǎn)味道就完全不對(duì)。而這一周要解決的恰恰是深度學(xué)習(xí)里最“玄學(xué)”也最考驗(yàn)功力的部分——超參數(shù)調(diào)試、Batch正則化和程序框架。我自己剛開(kāi)始做項(xiàng)目的時(shí)候最怕的就是訓(xùn)練不收斂。模型結(jié)構(gòu)明明沒(méi)問(wèn)題數(shù)據(jù)也清洗過(guò)了但loss就是下不去或者訓(xùn)練集準(zhǔn)確率很高、驗(yàn)證集一塌糊涂。后來(lái)才明白問(wèn)題往往不在模型本身而在那些“訓(xùn)練之前就要定好”的參數(shù)上——學(xué)習(xí)率、batch size、動(dòng)量系數(shù)、網(wǎng)絡(luò)層數(shù)、每層神經(jīng)元個(gè)數(shù)還有正則化項(xiàng)的系數(shù)。這些東西統(tǒng)稱(chēng)為超參數(shù)它們不是通過(guò)訓(xùn)練學(xué)出來(lái)的而是靠人在訓(xùn)練之前設(shè)定、訓(xùn)練之中調(diào)整的。這一周的內(nèi)容之所以關(guān)鍵是因?yàn)樗选澳芘芡ā焙汀芭艿煤谩敝g的那道墻給拆了。你會(huì)學(xué)到怎么系統(tǒng)地搜索超參數(shù)而不是靠瞎猜會(huì)學(xué)到Batch Normalization批歸一化為什么能讓網(wǎng)絡(luò)更穩(wěn)、更快、對(duì)初始化不那么敏感還會(huì)接觸到TensorFlow這類(lèi)程序框架知道怎么把前面手寫(xiě)的那些公式變成幾行工程代碼。對(duì)于已經(jīng)寫(xiě)過(guò)一點(diǎn)神經(jīng)網(wǎng)絡(luò)、但訓(xùn)練效果總是不理想的人來(lái)說(shuō)這一周就是分水嶺。學(xué)明白了你調(diào)模型的速度會(huì)快一個(gè)量級(jí)學(xué)不明白就只能繼續(xù)在“改一個(gè)參數(shù)跑一次”的循環(huán)里耗時(shí)間。我寫(xiě)這篇筆記不是照搬課程PPT而是把我自己踩過(guò)的坑、試過(guò)的參數(shù)組合、以及那些文檔里不會(huì)寫(xiě)的經(jīng)驗(yàn)按“為什么這么選、怎么操作、出問(wèn)題怎么查”的邏輯重新整理一遍。你如果正在被超參數(shù)折磨或者對(duì)Batch Normalization只知道概念不會(huì)用那這篇內(nèi)容應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。2. 超參數(shù)調(diào)試別再用網(wǎng)格瞎搜了先搞清楚誰(shuí)最重要2.1 超參數(shù)不是平等的先分優(yōu)先級(jí)再談搜索策略很多人一上來(lái)就列一張大表把學(xué)習(xí)率、batch size、層數(shù)、每層單元數(shù)、正則化系數(shù)、動(dòng)量、學(xué)習(xí)率衰減率全列上然后開(kāi)始網(wǎng)格搜索。結(jié)果跑了幾十組發(fā)現(xiàn)效果提升微乎其微。問(wèn)題出在超參數(shù)的重要性差異極大把低優(yōu)先級(jí)的參數(shù)和高優(yōu)先級(jí)的參數(shù)放在同一維度搜索純屬浪費(fèi)算力。我的經(jīng)驗(yàn)是按下面這個(gè)優(yōu)先級(jí)來(lái)分優(yōu)先級(jí)超參數(shù)影響程度調(diào)試建議最高學(xué)習(xí)率 α直接決定是否收斂、收斂快慢先粗調(diào)再精調(diào)優(yōu)先于其他所有參數(shù)高動(dòng)量 β通常0.9、學(xué)習(xí)率衰減策略影響收斂穩(wěn)定性和最終精度學(xué)習(xí)率定好后調(diào)中隱藏層數(shù)、每層神經(jīng)元數(shù)影響模型容量根據(jù)數(shù)據(jù)復(fù)雜度選不宜頻繁調(diào)中Batch size影響訓(xùn)練速度和泛化受顯存限制通常取2的冪低正則化系數(shù) λ、dropout率影響過(guò)擬合程度最后微調(diào)為什么學(xué)習(xí)率排第一因?yàn)閷W(xué)習(xí)率錯(cuò)了其他參數(shù)再對(duì)也沒(méi)用。學(xué)習(xí)率太大loss會(huì)震蕩甚至發(fā)散學(xué)習(xí)率太小訓(xùn)練慢到你想砸鍵盤(pán)。我試過(guò)一個(gè)圖像分類(lèi)任務(wù)其他參數(shù)完全一樣學(xué)習(xí)率從0.01改成0.001驗(yàn)證集準(zhǔn)確率差了將近8個(gè)百分點(diǎn)。所以我的習(xí)慣是先把學(xué)習(xí)率調(diào)到一個(gè)能讓loss穩(wěn)定下降的值再動(dòng)其他參數(shù)。2.2 隨機(jī)搜索為什么比網(wǎng)格搜索更劃算網(wǎng)格搜索聽(tīng)起來(lái)很規(guī)整但在高維空間里效率極低。假設(shè)你有5個(gè)超參數(shù)每個(gè)取10個(gè)候選值網(wǎng)格搜索要跑10^5100000組。而實(shí)際上很多超參數(shù)對(duì)結(jié)果的影響很小你花大量算力去遍歷它們的組合不如把算力集中在少數(shù)關(guān)鍵參數(shù)上。隨機(jī)搜索的邏輯是從每個(gè)超參數(shù)的分布中隨機(jī)采樣而不是遍歷所有組合。有研究表明在同樣的計(jì)算預(yù)算下隨機(jī)搜索找到好參數(shù)的概率比網(wǎng)格搜索高得多。原因很簡(jiǎn)單當(dāng)你不知道哪個(gè)參數(shù)更重要時(shí)隨機(jī)采樣能讓每個(gè)參數(shù)都有機(jī)會(huì)被充分探索而網(wǎng)格搜索在低重要性參數(shù)上浪費(fèi)了太多組合。我自己的做法是先對(duì)學(xué)習(xí)率做隨機(jī)搜索范圍取[0.0001, 1]按對(duì)數(shù)尺度采樣因?yàn)閷W(xué)習(xí)率跨數(shù)量級(jí)變化。比如從10^-4到10^0之間隨機(jī)取而不是均勻取。對(duì)數(shù)尺度很重要因?yàn)?.001和0.01之間的差異遠(yuǎn)比0.5和0.51之間的差異有意義。# 學(xué)習(xí)率的對(duì)數(shù)隨機(jī)采樣示例 import numpy as np def sample_learning_rate(): exponent np.random.uniform(-4, 0) # 10^-4 到 10^0 return 10 ** exponent for i in range(5): print(f第{i1}次采樣學(xué)習(xí)率: {sample_learning_rate():.6f})跑幾次你會(huì)看到采樣值在0.0001到1之間分布但更偏向小值區(qū)域這符合實(shí)際調(diào)參的經(jīng)驗(yàn)——好的學(xué)習(xí)率往往在0.001到0.01之間。2.3 為超參數(shù)選擇合適的尺度不是所有參數(shù)都適合均勻分布除了學(xué)習(xí)率其他超參數(shù)也有尺度問(wèn)題。比如動(dòng)量β通常取值在0.9附近0.9和0.9001的差異可能不大但0.9和0.99的差異就很大。所以對(duì)β應(yīng)該用1-β來(lái)做采樣尺度。也就是說(shuō)不直接采樣β而是采樣1-β范圍取[0.001, 0.1]然后β1-(1-β)。這樣采樣出來(lái)的β會(huì)集中在0.9、0.99、0.999這些有意義的區(qū)域。再比如隱藏層單元數(shù)通常取2的冪像64、128、256、512。這種離散參數(shù)用隨機(jī)搜索時(shí)直接從候選集合里隨機(jī)選就行不用做連續(xù)采樣。注意超參數(shù)搜索不是一次性的而是“粗調(diào)-精調(diào)”的循環(huán)。先在大范圍內(nèi)隨機(jī)搜找到表現(xiàn)好的區(qū)域后再在這個(gè)區(qū)域附近縮小范圍精調(diào)。我一般會(huì)做兩到三輪第一輪跑20組左右第二輪在最好的3組附近再跑10組。3. Batch Normalization讓深層網(wǎng)絡(luò)不再“脾氣古怪”3.1 為什么需要Batch Normalization內(nèi)部協(xié)變量偏移的直觀(guān)解釋訓(xùn)練深層網(wǎng)絡(luò)時(shí)一個(gè)很頭疼的問(wèn)題是前面層的參數(shù)一變后面層的輸入分布就跟著變。后面層得不斷適應(yīng)這種變化訓(xùn)練效率自然低。這個(gè)問(wèn)題叫內(nèi)部協(xié)變量偏移Internal Covariate Shift。你可以把它想象成你在教一個(gè)人打球但每次他抬手的時(shí)候籃筐的高度都在變他根本沒(méi)法形成穩(wěn)定的肌肉記憶。Batch NormalizationBN的思路很直接在每一層激活函數(shù)之前把該層的輸入強(qiáng)行拉回均值為0、方差為1的分布。這樣后面層收到的輸入就穩(wěn)定了不用再“追著”前面層的變化跑。具體來(lái)說(shuō)對(duì)一個(gè)mini-batch的數(shù)據(jù)BN做四步計(jì)算這個(gè)batch的均值 μ計(jì)算這個(gè)batch的方差 σ2歸一化x_norm (x - μ) / sqrt(σ2 ε)縮放和平移y γ * x_norm β其中γ和β是可學(xué)習(xí)的參數(shù)讓網(wǎng)絡(luò)自己決定要不要恢復(fù)原來(lái)的分布。ε是個(gè)很小的數(shù)比如1e-8防止除零。我一開(kāi)始不理解為什么還要γ和β直接歸一化不就行了嗎后來(lái)想明白了如果每層都強(qiáng)行歸一化網(wǎng)絡(luò)的表達(dá)能力會(huì)受限。比如sigmoid激活函數(shù)在0附近近似線(xiàn)性歸一化后所有值都擠在0附近非線(xiàn)性能力就丟了。加上γ和β網(wǎng)絡(luò)可以學(xué)到“我需要多大的方差、什么樣的均值”既穩(wěn)定了訓(xùn)練又保留了表達(dá)能力。3.2 BN在訓(xùn)練和測(cè)試時(shí)的差異別在測(cè)試時(shí)用batch統(tǒng)計(jì)量BN在訓(xùn)練時(shí)用當(dāng)前batch的均值和方差但測(cè)試時(shí)怎么辦測(cè)試時(shí)可能只有一個(gè)樣本沒(méi)法算batch統(tǒng)計(jì)量。所以BN在訓(xùn)練時(shí)會(huì)維護(hù)一個(gè)移動(dòng)平均的均值和方差測(cè)試時(shí)直接用這個(gè)移動(dòng)平均。具體操作是訓(xùn)練時(shí)每跑一個(gè)batch就更新一次移動(dòng)平均# 移動(dòng)平均更新示例 running_mean momentum * running_mean (1 - momentum) * batch_mean running_var momentum * running_var (1 - momentum) * batch_var這里的momentum通常取0.9或0.99。測(cè)試時(shí)直接用running_mean和running_var做歸一化不再計(jì)算當(dāng)前batch的統(tǒng)計(jì)量。注意如果你在測(cè)試時(shí)忘了切換模式還用batch統(tǒng)計(jì)量結(jié)果會(huì)非常不穩(wěn)定。尤其是batch size很小時(shí)測(cè)試結(jié)果會(huì)劇烈波動(dòng)。我踩過(guò)這個(gè)坑當(dāng)時(shí)測(cè)試準(zhǔn)確率忽高忽低查了半天才發(fā)現(xiàn)是BN模式?jīng)]切對(duì)。3.3 BN為什么能加速訓(xùn)練允許更大的學(xué)習(xí)率BN最直接的好處是允許使用更大的學(xué)習(xí)率。沒(méi)有BN時(shí)學(xué)習(xí)率稍大一點(diǎn)梯度就會(huì)爆炸或消失有了BN每層的輸入分布穩(wěn)定梯度也更穩(wěn)定學(xué)習(xí)率可以調(diào)大幾倍甚至十倍。這意味著訓(xùn)練輪數(shù)可以大幅減少。另外BN還有輕微的正則化效果。因?yàn)槊總€(gè)batch的均值和方差都有噪聲相當(dāng)于給網(wǎng)絡(luò)加了噪聲能減少過(guò)擬合。所以用了BN之后有時(shí)可以適當(dāng)降低dropout率甚至不用dropout。我實(shí)測(cè)過(guò)一個(gè)5層全連接網(wǎng)絡(luò)在MNIST上訓(xùn)練。不用BN時(shí)學(xué)習(xí)率0.01就震蕩訓(xùn)練到收斂要30個(gè)epoch用了BN后學(xué)習(xí)率0.1也能穩(wěn)定下降15個(gè)epoch就收斂了驗(yàn)證集準(zhǔn)確率還高了0.5個(gè)百分點(diǎn)。這個(gè)差距在深層網(wǎng)絡(luò)上會(huì)更明顯。3.4 BN的實(shí)現(xiàn)細(xì)節(jié)放在激活函數(shù)之前還是之后關(guān)于BN放在激活函數(shù)之前還是之后課程里講的是放在激活函數(shù)之前即先BN再ReLU。但實(shí)際工程中兩種做法都有。我自己的習(xí)慣是放在激活函數(shù)之前因?yàn)檫@樣歸一化的是線(xiàn)性變換的輸出更符合“穩(wěn)定輸入分布”的初衷。另外BN層通常不接在輸入層而是從第一個(gè)隱藏層開(kāi)始。輸入層的數(shù)據(jù)一般會(huì)做標(biāo)準(zhǔn)化預(yù)處理不需要再用BN。# PyTorch中BN的使用示例 import torch.nn as nn model nn.Sequential( nn.Linear(784, 256), nn.BatchNorm1d(256), # BN放在線(xiàn)性層之后激活函數(shù)之前 nn.ReLU(), nn.Linear(256, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Linear(128, 10) )注意BatchNorm1d用于全連接層BatchNorm2d用于卷積層。參數(shù)是上一層的輸出通道數(shù)或特征數(shù)。4. 程序框架從手寫(xiě)公式到工程化實(shí)現(xiàn)4.1 為什么需要程序框架手寫(xiě)反向傳播的痛前幾周我們手寫(xiě)了前向傳播和反向傳播雖然能跑但有幾個(gè)致命問(wèn)題一是代碼量大改一個(gè)結(jié)構(gòu)就要重寫(xiě)很多地方二是容易出錯(cuò)尤其是鏈?zhǔn)椒▌t求導(dǎo)符號(hào)一多就亂三是沒(méi)法利用GPU加速訓(xùn)練大模型時(shí)慢得無(wú)法接受。程序框架如TensorFlow、PyTorch解決了這些問(wèn)題。你只需要定義前向傳播框架會(huì)自動(dòng)做反向傳播你只需要把數(shù)據(jù)放到GPU上框架會(huì)自動(dòng)并行計(jì)算。這就像從手寫(xiě)匯編變成用高級(jí)語(yǔ)言效率提升不是一點(diǎn)半點(diǎn)。課程里主要講了TensorFlow但我想說(shuō)現(xiàn)在PyTorch在研究和工程中更流行兩者思路相通。我下面會(huì)以TensorFlow為主同時(shí)補(bǔ)充PyTorch的對(duì)應(yīng)寫(xiě)法方便你對(duì)照。4.2 TensorFlow的核心概念計(jì)算圖、會(huì)話(huà)、占位符TensorFlow 1.x的核心是計(jì)算圖。你先定義好所有的計(jì)算節(jié)點(diǎn)變量、操作但此時(shí)并不執(zhí)行然后創(chuàng)建一個(gè)會(huì)話(huà)Session在會(huì)話(huà)里運(yùn)行圖才會(huì)真正計(jì)算。這種“先定義、后執(zhí)行”的模式叫聲明式編程。import tensorflow as tf # 定義計(jì)算圖 X tf.placeholder(tf.float32, [None, 784]) # 占位符運(yùn)行時(shí)喂數(shù)據(jù) W tf.Variable(tf.zeros([784, 10])) # 變量訓(xùn)練中更新 b tf.Variable(tf.zeros([10])) y tf.nn.softmax(tf.matmul(X, W) b) # 定義損失和優(yōu)化器 y_ tf.placeholder(tf.float32, [None, 10]) cross_entropy tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices[1])) train_step tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) # 在會(huì)話(huà)中執(zhí)行 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for i in range(1000): batch_xs, batch_ys mnist.train.next_batch(100) sess.run(train_step, feed_dict{X: batch_xs, y_: batch_ys})這段代碼里tf.placeholder是占位符相當(dāng)于函數(shù)的參數(shù)運(yùn)行時(shí)才傳入tf.Variable是變量訓(xùn)練過(guò)程中會(huì)更新tf.Session是會(huì)話(huà)負(fù)責(zé)執(zhí)行計(jì)算圖。注意TensorFlow 2.x已經(jīng)默認(rèn)啟用Eager Execution不再需要手動(dòng)建會(huì)話(huà)寫(xiě)法更接近PyTorch。如果你用的是2.x上面的tf.Session寫(xiě)法會(huì)報(bào)錯(cuò)。我建議新手直接學(xué)2.x或PyTorch1.x的圖模式雖然理解原理有幫助但實(shí)際項(xiàng)目里已經(jīng)很少用了。4.3 用框架實(shí)現(xiàn)一個(gè)完整模型從數(shù)據(jù)到訓(xùn)練下面我用TensorFlow 2.x的Keras接口寫(xiě)一個(gè)完整的MNIST分類(lèi)模型包含BN層和dropout你可以直接復(fù)制運(yùn)行。import tensorflow as tf from tensorflow.keras import layers, models # 1. 加載和預(yù)處理數(shù)據(jù) (x_train, y_train), (x_test, y_test) tf.keras.datasets.mnist.load_data() x_train x_train.reshape(-1, 784).astype(float32) / 255.0 x_test x_test.reshape(-1, 784).astype(float32) / 255.0 y_train tf.keras.utils.to_categorical(y_train, 10) y_test tf.keras.utils.to_categorical(y_test, 10) # 2. 定義模型 model models.Sequential([ layers.Dense(256, input_shape(784,)), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.3), layers.Dense(128), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.3), layers.Dense(10, activationsoftmax) ]) # 3. 編譯模型 model.compile( optimizertf.keras.optimizers.Adam(learning_rate0.001), losscategorical_crossentropy, metrics[accuracy] ) # 4. 訓(xùn)練 history model.fit( x_train, y_train, batch_size128, epochs20, validation_split0.1, verbose1 ) # 5. 評(píng)估 test_loss, test_acc model.evaluate(x_test, y_test) print(f測(cè)試集準(zhǔn)確率: {test_acc:.4f})這個(gè)模型里BN層放在Dense之后、激活函數(shù)之前Dropout放在激活函數(shù)之后。學(xué)習(xí)率用Adam的默認(rèn)值0.001batch size取128。跑20個(gè)epoch測(cè)試集準(zhǔn)確率通常能到98%以上。4.4 框架選型TensorFlow還是PyTorch這個(gè)問(wèn)題沒(méi)有標(biāo)準(zhǔn)答案但我可以給你一些實(shí)際對(duì)比對(duì)比維度TensorFlowPyTorch學(xué)習(xí)曲線(xiàn)1.x較陡2.x平緩平緩接近Python原生調(diào)試體驗(yàn)圖模式難調(diào)試Eager模式改善動(dòng)態(tài)圖調(diào)試直觀(guān)部署生態(tài)TensorFlow Serving、TFLite成熟TorchServe、ONNX支持完善研究社區(qū)工業(yè)界用得多學(xué)術(shù)界用得多代碼風(fēng)格聲明式為主命令式為主我自己的選擇是做研究用PyTorch做部署用TensorFlow。但如果你剛開(kāi)始學(xué)選哪個(gè)都行核心概念是相通的。把其中一個(gè)用熟另一個(gè)半天就能上手。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂先查學(xué)習(xí)率再查數(shù)據(jù)訓(xùn)練不收斂是最常見(jiàn)的問(wèn)題表現(xiàn)是loss不下降、震蕩或變成NaN。我的排查順序是學(xué)習(xí)率太大這是最常見(jiàn)的原因。把學(xué)習(xí)率縮小10倍試試如果loss開(kāi)始下降說(shuō)明之前太大了。數(shù)據(jù)沒(méi)歸一化輸入數(shù)據(jù)范圍差異大會(huì)導(dǎo)致梯度不穩(wěn)定。把輸入縮放到[0,1]或標(biāo)準(zhǔn)化到均值0、方差1。標(biāo)簽有問(wèn)題檢查標(biāo)簽是否和輸入對(duì)應(yīng)有沒(méi)有錯(cuò)位。網(wǎng)絡(luò)太深沒(méi)有BN的深層網(wǎng)絡(luò)容易梯度消失加BN或換ReLU激活。我踩過(guò)的坑有一次loss一直是NaN查了半天發(fā)現(xiàn)是學(xué)習(xí)率設(shè)成了1.0而數(shù)據(jù)沒(méi)歸一化。改成0.001并歸一化后立刻正常了。5.2 BN層報(bào)錯(cuò)batch size太小或模式不對(duì)BN在batch size很小時(shí)比如1或2會(huì)報(bào)錯(cuò)或效果很差因?yàn)樗愠鰜?lái)的均值和方差噪聲太大。如果顯存不夠只能用很小的batch可以考慮用Group Normalization或Layer Normalization替代。另一個(gè)常見(jiàn)錯(cuò)誤是測(cè)試時(shí)忘了切換模式。在PyTorch里測(cè)試前要調(diào)用model.eval()訓(xùn)練前調(diào)用model.train()。在TensorFlow的Keras里model.fit和model.evaluate會(huì)自動(dòng)切換不用手動(dòng)管。5.3 超參數(shù)搜索太慢用并行和早停超參數(shù)搜索很耗算力我一般用兩個(gè)技巧加速并行搜索同時(shí)跑多組參數(shù)用不同的GPU或不同的進(jìn)程。TensorFlow和PyTorch都支持多GPU訓(xùn)練。早停如果一組參數(shù)在幾個(gè)epoch后loss明顯比之前差直接停掉不用跑完。我通常設(shè)patience3連續(xù)3個(gè)epoch驗(yàn)證集loss不下降就停。5.4 常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決方法loss震蕩不下降學(xué)習(xí)率太大縮小學(xué)習(xí)率10倍loss變成NaN學(xué)習(xí)率太大或數(shù)據(jù)未歸一化縮小學(xué)習(xí)率歸一化數(shù)據(jù)訓(xùn)練集準(zhǔn)確率高、驗(yàn)證集低過(guò)擬合加dropout、加正則化、加數(shù)據(jù)訓(xùn)練集準(zhǔn)確率也低欠擬合增加網(wǎng)絡(luò)容量、減小正則化BN層效果差batch size太小增大batch size或換歸一化方法測(cè)試結(jié)果不穩(wěn)定BN模式未切換測(cè)試時(shí)用eval模式訓(xùn)練速度慢未用GPU或batch size太小檢查GPU適當(dāng)增大batch size5.5 獨(dú)家避坑技巧學(xué)習(xí)率預(yù)熱和余弦退火這兩個(gè)技巧課程里沒(méi)細(xì)講但實(shí)際項(xiàng)目里非常有用。學(xué)習(xí)率預(yù)熱是指在訓(xùn)練最開(kāi)始幾個(gè)epoch把學(xué)習(xí)率從很小的值逐漸增加到設(shè)定值。這樣可以避免訓(xùn)練初期因參數(shù)隨機(jī)初始化導(dǎo)致的梯度爆炸。余弦退火是指訓(xùn)練后期把學(xué)習(xí)率按余弦曲線(xiàn)降到接近0讓模型更精細(xì)地收斂。# 余弦退火學(xué)習(xí)率調(diào)度示例 import tensorflow as tf initial_learning_rate 0.001 decay_steps 1000 alpha 0.0 lr_schedule tf.keras.optimizers.schedules.CosineDecay( initial_learning_rate, decay_steps, alpha ) optimizer tf.keras.optimizers.Adam(learning_ratelr_schedule)我實(shí)測(cè)下來(lái)加了余弦退火后驗(yàn)證集準(zhǔn)確率能再提升0.3到0.5個(gè)百分點(diǎn)而且訓(xùn)練后期loss更平滑。6. 我個(gè)人的調(diào)參流程與經(jīng)驗(yàn)總結(jié)說(shuō)了這么多原理和技巧最后分享一下我自己的調(diào)參流程。每次拿到一個(gè)新任務(wù)我會(huì)按這個(gè)順序走數(shù)據(jù)預(yù)處理歸一化、劃分訓(xùn)練驗(yàn)證測(cè)試集。這一步不做后面全白搭。搭一個(gè)簡(jiǎn)單模型先不加BN、不加dropout用默認(rèn)參數(shù)跑通確認(rèn)數(shù)據(jù)管道沒(méi)問(wèn)題。調(diào)學(xué)習(xí)率用隨機(jī)搜索找學(xué)習(xí)率范圍[1e-4, 1e-1]對(duì)數(shù)采樣。找到能讓loss穩(wěn)定下降的值。加BN和dropout在每層加BN在全連接層后加dropout0.2到0.5。觀(guān)察驗(yàn)證集準(zhǔn)確率變化。調(diào)網(wǎng)絡(luò)結(jié)構(gòu)增加層數(shù)或每層單元數(shù)直到驗(yàn)證集準(zhǔn)確率不再提升。微調(diào)正則化調(diào)整dropout率和L2正則化系數(shù)控制過(guò)擬合。學(xué)習(xí)率調(diào)度加余弦退火或階梯衰減做最后精調(diào)。這個(gè)流程走下來(lái)通常兩三天能調(diào)出一個(gè)不錯(cuò)的模型。最忌諱的是一上來(lái)就搞復(fù)雜結(jié)構(gòu)結(jié)果連baseline都跑不過(guò)。另外我強(qiáng)烈建議你養(yǎng)成記錄實(shí)驗(yàn)的習(xí)慣。每次調(diào)參改了哪些參數(shù)、結(jié)果如何都記下來(lái)。我用的是一個(gè)簡(jiǎn)單的表格列包括實(shí)驗(yàn)編號(hào)、學(xué)習(xí)率、batch size、網(wǎng)絡(luò)結(jié)構(gòu)、BN有無(wú)、dropout率、驗(yàn)證集準(zhǔn)確率、備注。跑了幾十組之后你會(huì)慢慢對(duì)哪些參數(shù)敏感、哪些不敏感形成直覺(jué)。這種直覺(jué)比任何教程都值錢(qián)。最后說(shuō)一個(gè)心態(tài)問(wèn)題調(diào)參確實(shí)有“玄學(xué)”成分但絕不是純運(yùn)氣。理解每個(gè)參數(shù)背后的原理知道它為什么影響訓(xùn)練你就能從“瞎試”變成“有方向地試”。這一周的內(nèi)容本質(zhì)上就是給你一張調(diào)參的地圖。地圖不能保證你一次走到終點(diǎn)但至少能讓你不迷路。 深度學(xué)習(xí)調(diào)參實(shí)戰(zhàn)：超參數(shù)調(diào)試、BatchNorm與程序框架
1. 從“煉丹”到“調(diào)參”為什么這一周的內(nèi)容是深度學(xué)習(xí)的分水嶺很多人學(xué)深度學(xué)習(xí)前面幾周還能跟得上到了第三周就開(kāi)始發(fā)懵。原因很簡(jiǎn)單前兩周講的是“網(wǎng)絡(luò)怎么搭”這一周講的是“網(wǎng)絡(luò)怎么才能跑得好”。搭網(wǎng)絡(luò)像搭積木照著圖拼就行調(diào)參像炒菜火候、調(diào)料、下鍋?lái)樞虿钜稽c(diǎn)味道就完全不對(duì)。而這一周要解決的恰恰是深度學(xué)習(xí)里最“玄學(xué)”也最考驗(yàn)功力的部分——超參數(shù)調(diào)試、Batch正則化和程序框架。我自己剛開(kāi)始做項(xiàng)目的時(shí)候最怕的就是訓(xùn)練不收斂。模型結(jié)構(gòu)明明沒(méi)問(wèn)題數(shù)據(jù)也清洗過(guò)了但loss就是下不去或者訓(xùn)練集準(zhǔn)確率很高、驗(yàn)證集一塌糊涂。后來(lái)才明白問(wèn)題往往不在模型本身而在那些“訓(xùn)練之前就要定好”的參數(shù)上——學(xué)習(xí)率、batch size、動(dòng)量系數(shù)、網(wǎng)絡(luò)層數(shù)、每層神經(jīng)元個(gè)數(shù)還有正則化項(xiàng)的系數(shù)。這些東西統(tǒng)稱(chēng)為超參數(shù)它們不是通過(guò)訓(xùn)練學(xué)出來(lái)的而是靠人在訓(xùn)練之前設(shè)定、訓(xùn)練之中調(diào)整的。這一周的內(nèi)容之所以關(guān)鍵是因?yàn)樗选澳芘芡ā焙汀芭艿煤谩敝g的那道墻給拆了。你會(huì)學(xué)到怎么系統(tǒng)地搜索超參數(shù)而不是靠瞎猜會(huì)學(xué)到Batch Normalization批歸一化為什么能讓網(wǎng)絡(luò)更穩(wěn)、更快、對(duì)初始化不那么敏感還會(huì)接觸到TensorFlow這類(lèi)程序框架知道怎么把前面手寫(xiě)的那些公式變成幾行工程代碼。對(duì)于已經(jīng)寫(xiě)過(guò)一點(diǎn)神經(jīng)網(wǎng)絡(luò)、但訓(xùn)練效果總是不理想的人來(lái)說(shuō)這一周就是分水嶺。學(xué)明白了你調(diào)模型的速度會(huì)快一個(gè)量級(jí)學(xué)不明白就只能繼續(xù)在“改一個(gè)參數(shù)跑一次”的循環(huán)里耗時(shí)間。我寫(xiě)這篇筆記不是照搬課程PPT而是把我自己踩過(guò)的坑、試過(guò)的參數(shù)組合、以及那些文檔里不會(huì)寫(xiě)的經(jīng)驗(yàn)按“為什么這么選、怎么操作、出問(wèn)題怎么查”的邏輯重新整理一遍。你如果正在被超參數(shù)折磨或者對(duì)Batch Normalization只知道概念不會(huì)用那這篇內(nèi)容應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。2. 超參數(shù)調(diào)試別再用網(wǎng)格瞎搜了先搞清楚誰(shuí)最重要2.1 超參數(shù)不是平等的先分優(yōu)先級(jí)再談搜索策略很多人一上來(lái)就列一張大表把學(xué)習(xí)率、batch size、層數(shù)、每層單元數(shù)、正則化系數(shù)、動(dòng)量、學(xué)習(xí)率衰減率全列上然后開(kāi)始網(wǎng)格搜索。結(jié)果跑了幾十組發(fā)現(xiàn)效果提升微乎其微。問(wèn)題出在超參數(shù)的重要性差異極大把低優(yōu)先級(jí)的參數(shù)和高優(yōu)先級(jí)的參數(shù)放在同一維度搜索純屬浪費(fèi)算力。我的經(jīng)驗(yàn)是按下面這個(gè)優(yōu)先級(jí)來(lái)分優(yōu)先級(jí)超參數(shù)影響程度調(diào)試建議最高學(xué)習(xí)率 α直接決定是否收斂、收斂快慢先粗調(diào)再精調(diào)優(yōu)先于其他所有參數(shù)高動(dòng)量 β通常0.9、學(xué)習(xí)率衰減策略影響收斂穩(wěn)定性和最終精度學(xué)習(xí)率定好后調(diào)中隱藏層數(shù)、每層神經(jīng)元數(shù)影響模型容量根據(jù)數(shù)據(jù)復(fù)雜度選不宜頻繁調(diào)中Batch size影響訓(xùn)練速度和泛化受顯存限制通常取2的冪低正則化系數(shù) λ、dropout率影響過(guò)擬合程度最后微調(diào)為什么學(xué)習(xí)率排第一因?yàn)閷W(xué)習(xí)率錯(cuò)了其他參數(shù)再對(duì)也沒(méi)用。學(xué)習(xí)率太大loss會(huì)震蕩甚至發(fā)散學(xué)習(xí)率太小訓(xùn)練慢到你想砸鍵盤(pán)。我試過(guò)一個(gè)圖像分類(lèi)任務(wù)其他參數(shù)完全一樣學(xué)習(xí)率從0.01改成0.001驗(yàn)證集準(zhǔn)確率差了將近8個(gè)百分點(diǎn)。所以我的習(xí)慣是先把學(xué)習(xí)率調(diào)到一個(gè)能讓loss穩(wěn)定下降的值再動(dòng)其他參數(shù)。2.2 隨機(jī)搜索為什么比網(wǎng)格搜索更劃算網(wǎng)格搜索聽(tīng)起來(lái)很規(guī)整但在高維空間里效率極低。假設(shè)你有5個(gè)超參數(shù)每個(gè)取10個(gè)候選值網(wǎng)格搜索要跑10^5100000組。而實(shí)際上很多超參數(shù)對(duì)結(jié)果的影響很小你花大量算力去遍歷它們的組合不如把算力集中在少數(shù)關(guān)鍵參數(shù)上。隨機(jī)搜索的邏輯是從每個(gè)超參數(shù)的分布中隨機(jī)采樣而不是遍歷所有組合。有研究表明在同樣的計(jì)算預(yù)算下隨機(jī)搜索找到好參數(shù)的概率比網(wǎng)格搜索高得多。原因很簡(jiǎn)單當(dāng)你不知道哪個(gè)參數(shù)更重要時(shí)隨機(jī)采樣能讓每個(gè)參數(shù)都有機(jī)會(huì)被充分探索而網(wǎng)格搜索在低重要性參數(shù)上浪費(fèi)了太多組合。我自己的做法是先對(duì)學(xué)習(xí)率做隨機(jī)搜索范圍取[0.0001, 1]按對(duì)數(shù)尺度采樣因?yàn)閷W(xué)習(xí)率跨數(shù)量級(jí)變化。比如從10^-4到10^0之間隨機(jī)取而不是均勻取。對(duì)數(shù)尺度很重要因?yàn)?.001和0.01之間的差異遠(yuǎn)比0.5和0.51之間的差異有意義。# 學(xué)習(xí)率的對(duì)數(shù)隨機(jī)采樣示例 import numpy as np def sample_learning_rate(): exponent np.random.uniform(-4, 0) # 10^-4 到 10^0 return 10 ** exponent for i in range(5): print(f第{i1}次采樣學(xué)習(xí)率: {sample_learning_rate():.6f})跑幾次你會(huì)看到采樣值在0.0001到1之間分布但更偏向小值區(qū)域這符合實(shí)際調(diào)參的經(jīng)驗(yàn)——好的學(xué)習(xí)率往往在0.001到0.01之間。2.3 為超參數(shù)選擇合適的尺度不是所有參數(shù)都適合均勻分布除了學(xué)習(xí)率其他超參數(shù)也有尺度問(wèn)題。比如動(dòng)量β通常取值在0.9附近0.9和0.9001的差異可能不大但0.9和0.99的差異就很大。所以對(duì)β應(yīng)該用1-β來(lái)做采樣尺度。也就是說(shuō)不直接采樣β而是采樣1-β范圍取[0.001, 0.1]然后β1-(1-β)。這樣采樣出來(lái)的β會(huì)集中在0.9、0.99、0.999這些有意義的區(qū)域。再比如隱藏層單元數(shù)通常取2的冪像64、128、256、512。這種離散參數(shù)用隨機(jī)搜索時(shí)直接從候選集合里隨機(jī)選就行不用做連續(xù)采樣。注意超參數(shù)搜索不是一次性的而是“粗調(diào)-精調(diào)”的循環(huán)。先在大范圍內(nèi)隨機(jī)搜找到表現(xiàn)好的區(qū)域后再在這個(gè)區(qū)域附近縮小范圍精調(diào)。我一般會(huì)做兩到三輪第一輪跑20組左右第二輪在最好的3組附近再跑10組。3. Batch Normalization讓深層網(wǎng)絡(luò)不再“脾氣古怪”3.1 為什么需要Batch Normalization內(nèi)部協(xié)變量偏移的直觀(guān)解釋訓(xùn)練深層網(wǎng)絡(luò)時(shí)一個(gè)很頭疼的問(wèn)題是前面層的參數(shù)一變后面層的輸入分布就跟著變。后面層得不斷適應(yīng)這種變化訓(xùn)練效率自然低。這個(gè)問(wèn)題叫內(nèi)部協(xié)變量偏移Internal Covariate Shift。你可以把它想象成你在教一個(gè)人打球但每次他抬手的時(shí)候籃筐的高度都在變他根本沒(méi)法形成穩(wěn)定的肌肉記憶。Batch NormalizationBN的思路很直接在每一層激活函數(shù)之前把該層的輸入強(qiáng)行拉回均值為0、方差為1的分布。這樣后面層收到的輸入就穩(wěn)定了不用再“追著”前面層的變化跑。具體來(lái)說(shuō)對(duì)一個(gè)mini-batch的數(shù)據(jù)BN做四步計(jì)算這個(gè)batch的均值 μ計(jì)算這個(gè)batch的方差 σ2歸一化x_norm (x - μ) / sqrt(σ2 ε)縮放和平移y γ * x_norm β其中γ和β是可學(xué)習(xí)的參數(shù)讓網(wǎng)絡(luò)自己決定要不要恢復(fù)原來(lái)的分布。ε是個(gè)很小的數(shù)比如1e-8防止除零。我一開(kāi)始不理解為什么還要γ和β直接歸一化不就行了嗎后來(lái)想明白了如果每層都強(qiáng)行歸一化網(wǎng)絡(luò)的表達(dá)能力會(huì)受限。比如sigmoid激活函數(shù)在0附近近似線(xiàn)性歸一化后所有值都擠在0附近非線(xiàn)性能力就丟了。加上γ和β網(wǎng)絡(luò)可以學(xué)到“我需要多大的方差、什么樣的均值”既穩(wěn)定了訓(xùn)練又保留了表達(dá)能力。3.2 BN在訓(xùn)練和測(cè)試時(shí)的差異別在測(cè)試時(shí)用batch統(tǒng)計(jì)量BN在訓(xùn)練時(shí)用當(dāng)前batch的均值和方差但測(cè)試時(shí)怎么辦測(cè)試時(shí)可能只有一個(gè)樣本沒(méi)法算batch統(tǒng)計(jì)量。所以BN在訓(xùn)練時(shí)會(huì)維護(hù)一個(gè)移動(dòng)平均的均值和方差測(cè)試時(shí)直接用這個(gè)移動(dòng)平均。具體操作是訓(xùn)練時(shí)每跑一個(gè)batch就更新一次移動(dòng)平均# 移動(dòng)平均更新示例 running_mean momentum * running_mean (1 - momentum) * batch_mean running_var momentum * running_var (1 - momentum) * batch_var這里的momentum通常取0.9或0.99。測(cè)試時(shí)直接用running_mean和running_var做歸一化不再計(jì)算當(dāng)前batch的統(tǒng)計(jì)量。注意如果你在測(cè)試時(shí)忘了切換模式還用batch統(tǒng)計(jì)量結(jié)果會(huì)非常不穩(wěn)定。尤其是batch size很小時(shí)測(cè)試結(jié)果會(huì)劇烈波動(dòng)。我踩過(guò)這個(gè)坑當(dāng)時(shí)測(cè)試準(zhǔn)確率忽高忽低查了半天才發(fā)現(xiàn)是BN模式?jīng)]切對(duì)。3.3 BN為什么能加速訓(xùn)練允許更大的學(xué)習(xí)率BN最直接的好處是允許使用更大的學(xué)習(xí)率。沒(méi)有BN時(shí)學(xué)習(xí)率稍大一點(diǎn)梯度就會(huì)爆炸或消失有了BN每層的輸入分布穩(wěn)定梯度也更穩(wěn)定學(xué)習(xí)率可以調(diào)大幾倍甚至十倍。這意味著訓(xùn)練輪數(shù)可以大幅減少。另外BN還有輕微的正則化效果。因?yàn)槊總€(gè)batch的均值和方差都有噪聲相當(dāng)于給網(wǎng)絡(luò)加了噪聲能減少過(guò)擬合。所以用了BN之后有時(shí)可以適當(dāng)降低dropout率甚至不用dropout。我實(shí)測(cè)過(guò)一個(gè)5層全連接網(wǎng)絡(luò)在MNIST上訓(xùn)練。不用BN時(shí)學(xué)習(xí)率0.01就震蕩訓(xùn)練到收斂要30個(gè)epoch用了BN后學(xué)習(xí)率0.1也能穩(wěn)定下降15個(gè)epoch就收斂了驗(yàn)證集準(zhǔn)確率還高了0.5個(gè)百分點(diǎn)。這個(gè)差距在深層網(wǎng)絡(luò)上會(huì)更明顯。3.4 BN的實(shí)現(xiàn)細(xì)節(jié)放在激活函數(shù)之前還是之后關(guān)于BN放在激活函數(shù)之前還是之后課程里講的是放在激活函數(shù)之前即先BN再ReLU。但實(shí)際工程中兩種做法都有。我自己的習(xí)慣是放在激活函數(shù)之前因?yàn)檫@樣歸一化的是線(xiàn)性變換的輸出更符合“穩(wěn)定輸入分布”的初衷。另外BN層通常不接在輸入層而是從第一個(gè)隱藏層開(kāi)始。輸入層的數(shù)據(jù)一般會(huì)做標(biāo)準(zhǔn)化預(yù)處理不需要再用BN。# PyTorch中BN的使用示例 import torch.nn as nn model nn.Sequential( nn.Linear(784, 256), nn.BatchNorm1d(256), # BN放在線(xiàn)性層之后激活函數(shù)之前 nn.ReLU(), nn.Linear(256, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Linear(128, 10) )注意BatchNorm1d用于全連接層BatchNorm2d用于卷積層。參數(shù)是上一層的輸出通道數(shù)或特征數(shù)。4. 程序框架從手寫(xiě)公式到工程化實(shí)現(xiàn)4.1 為什么需要程序框架手寫(xiě)反向傳播的痛前幾周我們手寫(xiě)了前向傳播和反向傳播雖然能跑但有幾個(gè)致命問(wèn)題一是代碼量大改一個(gè)結(jié)構(gòu)就要重寫(xiě)很多地方二是容易出錯(cuò)尤其是鏈?zhǔn)椒▌t求導(dǎo)符號(hào)一多就亂三是沒(méi)法利用GPU加速訓(xùn)練大模型時(shí)慢得無(wú)法接受。程序框架如TensorFlow、PyTorch解決了這些問(wèn)題。你只需要定義前向傳播框架會(huì)自動(dòng)做反向傳播你只需要把數(shù)據(jù)放到GPU上框架會(huì)自動(dòng)并行計(jì)算。這就像從手寫(xiě)匯編變成用高級(jí)語(yǔ)言效率提升不是一點(diǎn)半點(diǎn)。課程里主要講了TensorFlow但我想說(shuō)現(xiàn)在PyTorch在研究和工程中更流行兩者思路相通。我下面會(huì)以TensorFlow為主同時(shí)補(bǔ)充PyTorch的對(duì)應(yīng)寫(xiě)法方便你對(duì)照。4.2 TensorFlow的核心概念計(jì)算圖、會(huì)話(huà)、占位符TensorFlow 1.x的核心是計(jì)算圖。你先定義好所有的計(jì)算節(jié)點(diǎn)變量、操作但此時(shí)并不執(zhí)行然后創(chuàng)建一個(gè)會(huì)話(huà)Session在會(huì)話(huà)里運(yùn)行圖才會(huì)真正計(jì)算。這種“先定義、后執(zhí)行”的模式叫聲明式編程。import tensorflow as tf # 定義計(jì)算圖 X tf.placeholder(tf.float32, [None, 784]) # 占位符運(yùn)行時(shí)喂數(shù)據(jù) W tf.Variable(tf.zeros([784, 10])) # 變量訓(xùn)練中更新 b tf.Variable(tf.zeros([10])) y tf.nn.softmax(tf.matmul(X, W) b) # 定義損失和優(yōu)化器 y_ tf.placeholder(tf.float32, [None, 10]) cross_entropy tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices[1])) train_step tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) # 在會(huì)話(huà)中執(zhí)行 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for i in range(1000): batch_xs, batch_ys mnist.train.next_batch(100) sess.run(train_step, feed_dict{X: batch_xs, y_: batch_ys})這段代碼里tf.placeholder是占位符相當(dāng)于函數(shù)的參數(shù)運(yùn)行時(shí)才傳入tf.Variable是變量訓(xùn)練過(guò)程中會(huì)更新tf.Session是會(huì)話(huà)負(fù)責(zé)執(zhí)行計(jì)算圖。注意TensorFlow 2.x已經(jīng)默認(rèn)啟用Eager Execution不再需要手動(dòng)建會(huì)話(huà)寫(xiě)法更接近PyTorch。如果你用的是2.x上面的tf.Session寫(xiě)法會(huì)報(bào)錯(cuò)。我建議新手直接學(xué)2.x或PyTorch1.x的圖模式雖然理解原理有幫助但實(shí)際項(xiàng)目里已經(jīng)很少用了。4.3 用框架實(shí)現(xiàn)一個(gè)完整模型從數(shù)據(jù)到訓(xùn)練下面我用TensorFlow 2.x的Keras接口寫(xiě)一個(gè)完整的MNIST分類(lèi)模型包含BN層和dropout你可以直接復(fù)制運(yùn)行。import tensorflow as tf from tensorflow.keras import layers, models # 1. 加載和預(yù)處理數(shù)據(jù) (x_train, y_train), (x_test, y_test) tf.keras.datasets.mnist.load_data() x_train x_train.reshape(-1, 784).astype(float32) / 255.0 x_test x_test.reshape(-1, 784).astype(float32) / 255.0 y_train tf.keras.utils.to_categorical(y_train, 10) y_test tf.keras.utils.to_categorical(y_test, 10) # 2. 定義模型 model models.Sequential([ layers.Dense(256, input_shape(784,)), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.3), layers.Dense(128), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.3), layers.Dense(10, activationsoftmax) ]) # 3. 編譯模型 model.compile( optimizertf.keras.optimizers.Adam(learning_rate0.001), losscategorical_crossentropy, metrics[accuracy] ) # 4. 訓(xùn)練 history model.fit( x_train, y_train, batch_size128, epochs20, validation_split0.1, verbose1 ) # 5. 評(píng)估 test_loss, test_acc model.evaluate(x_test, y_test) print(f測(cè)試集準(zhǔn)確率: {test_acc:.4f})這個(gè)模型里BN層放在Dense之后、激活函數(shù)之前Dropout放在激活函數(shù)之后。學(xué)習(xí)率用Adam的默認(rèn)值0.001batch size取128。跑20個(gè)epoch測(cè)試集準(zhǔn)確率通常能到98%以上。4.4 框架選型TensorFlow還是PyTorch這個(gè)問(wèn)題沒(méi)有標(biāo)準(zhǔn)答案但我可以給你一些實(shí)際對(duì)比對(duì)比維度TensorFlowPyTorch學(xué)習(xí)曲線(xiàn)1.x較陡2.x平緩平緩接近Python原生調(diào)試體驗(yàn)圖模式難調(diào)試Eager模式改善動(dòng)態(tài)圖調(diào)試直觀(guān)部署生態(tài)TensorFlow Serving、TFLite成熟TorchServe、ONNX支持完善研究社區(qū)工業(yè)界用得多學(xué)術(shù)界用得多代碼風(fēng)格聲明式為主命令式為主我自己的選擇是做研究用PyTorch做部署用TensorFlow。但如果你剛開(kāi)始學(xué)選哪個(gè)都行核心概念是相通的。把其中一個(gè)用熟另一個(gè)半天就能上手。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 訓(xùn)練不收斂先查學(xué)習(xí)率再查數(shù)據(jù)訓(xùn)練不收斂是最常見(jiàn)的問(wèn)題表現(xiàn)是loss不下降、震蕩或變成NaN。我的排查順序是學(xué)習(xí)率太大這是最常見(jiàn)的原因。把學(xué)習(xí)率縮小10倍試試如果loss開(kāi)始下降說(shuō)明之前太大了。數(shù)據(jù)沒(méi)歸一化輸入數(shù)據(jù)范圍差異大會(huì)導(dǎo)致梯度不穩(wěn)定。把輸入縮放到[0,1]或標(biāo)準(zhǔn)化到均值0、方差1。標(biāo)簽有問(wèn)題檢查標(biāo)簽是否和輸入對(duì)應(yīng)有沒(méi)有錯(cuò)位。網(wǎng)絡(luò)太深沒(méi)有BN的深層網(wǎng)絡(luò)容易梯度消失加BN或換ReLU激活。我踩過(guò)的坑有一次loss一直是NaN查了半天發(fā)現(xiàn)是學(xué)習(xí)率設(shè)成了1.0而數(shù)據(jù)沒(méi)歸一化。改成0.001并歸一化后立刻正常了。5.2 BN層報(bào)錯(cuò)batch size太小或模式不對(duì)BN在batch size很小時(shí)比如1或2會(huì)報(bào)錯(cuò)或效果很差因?yàn)樗愠鰜?lái)的均值和方差噪聲太大。如果顯存不夠只能用很小的batch可以考慮用Group Normalization或Layer Normalization替代。另一個(gè)常見(jiàn)錯(cuò)誤是測(cè)試時(shí)忘了切換模式。在PyTorch里測(cè)試前要調(diào)用model.eval()訓(xùn)練前調(diào)用model.train()。在TensorFlow的Keras里model.fit和model.evaluate會(huì)自動(dòng)切換不用手動(dòng)管。5.3 超參數(shù)搜索太慢用并行和早停超參數(shù)搜索很耗算力我一般用兩個(gè)技巧加速并行搜索同時(shí)跑多組參數(shù)用不同的GPU或不同的進(jìn)程。TensorFlow和PyTorch都支持多GPU訓(xùn)練。早停如果一組參數(shù)在幾個(gè)epoch后loss明顯比之前差直接停掉不用跑完。我通常設(shè)patience3連續(xù)3個(gè)epoch驗(yàn)證集loss不下降就停。5.4 常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決方法loss震蕩不下降學(xué)習(xí)率太大縮小學(xué)習(xí)率10倍loss變成NaN學(xué)習(xí)率太大或數(shù)據(jù)未歸一化縮小學(xué)習(xí)率歸一化數(shù)據(jù)訓(xùn)練集準(zhǔn)確率高、驗(yàn)證集低過(guò)擬合加dropout、加正則化、加數(shù)據(jù)訓(xùn)練集準(zhǔn)確率也低欠擬合增加網(wǎng)絡(luò)容量、減小正則化BN層效果差batch size太小增大batch size或換歸一化方法測(cè)試結(jié)果不穩(wěn)定BN模式未切換測(cè)試時(shí)用eval模式訓(xùn)練速度慢未用GPU或batch size太小檢查GPU適當(dāng)增大batch size5.5 獨(dú)家避坑技巧學(xué)習(xí)率預(yù)熱和余弦退火這兩個(gè)技巧課程里沒(méi)細(xì)講但實(shí)際項(xiàng)目里非常有用。學(xué)習(xí)率預(yù)熱是指在訓(xùn)練最開(kāi)始幾個(gè)epoch把學(xué)習(xí)率從很小的值逐漸增加到設(shè)定值。這樣可以避免訓(xùn)練初期因參數(shù)隨機(jī)初始化導(dǎo)致的梯度爆炸。余弦退火是指訓(xùn)練后期把學(xué)習(xí)率按余弦曲線(xiàn)降到接近0讓模型更精細(xì)地收斂。# 余弦退火學(xué)習(xí)率調(diào)度示例 import tensorflow as tf initial_learning_rate 0.001 decay_steps 1000 alpha 0.0 lr_schedule tf.keras.optimizers.schedules.CosineDecay( initial_learning_rate, decay_steps, alpha ) optimizer tf.keras.optimizers.Adam(learning_ratelr_schedule)我實(shí)測(cè)下來(lái)加了余弦退火后驗(yàn)證集準(zhǔn)確率能再提升0.3到0.5個(gè)百分點(diǎn)而且訓(xùn)練后期loss更平滑。6. 我個(gè)人的調(diào)參流程與經(jīng)驗(yàn)總結(jié)說(shuō)了這么多原理和技巧最后分享一下我自己的調(diào)參流程。每次拿到一個(gè)新任務(wù)我會(huì)按這個(gè)順序走數(shù)據(jù)預(yù)處理歸一化、劃分訓(xùn)練驗(yàn)證測(cè)試集。這一步不做后面全白搭。搭一個(gè)簡(jiǎn)單模型先不加BN、不加dropout用默認(rèn)參數(shù)跑通確認(rèn)數(shù)據(jù)管道沒(méi)問(wèn)題。調(diào)學(xué)習(xí)率用隨機(jī)搜索找學(xué)習(xí)率范圍[1e-4, 1e-1]對(duì)數(shù)采樣。找到能讓loss穩(wěn)定下降的值。加BN和dropout在每層加BN在全連接層后加dropout0.2到0.5。觀(guān)察驗(yàn)證集準(zhǔn)確率變化。調(diào)網(wǎng)絡(luò)結(jié)構(gòu)增加層數(shù)或每層單元數(shù)直到驗(yàn)證集準(zhǔn)確率不再提升。微調(diào)正則化調(diào)整dropout率和L2正則化系數(shù)控制過(guò)擬合。學(xué)習(xí)率調(diào)度加余弦退火或階梯衰減做最后精調(diào)。這個(gè)流程走下來(lái)通常兩三天能調(diào)出一個(gè)不錯(cuò)的模型。最忌諱的是一上來(lái)就搞復(fù)雜結(jié)構(gòu)結(jié)果連baseline都跑不過(guò)。另外我強(qiáng)烈建議你養(yǎng)成記錄實(shí)驗(yàn)的習(xí)慣。每次調(diào)參改了哪些參數(shù)、結(jié)果如何都記下來(lái)。我用的是一個(gè)簡(jiǎn)單的表格列包括實(shí)驗(yàn)編號(hào)、學(xué)習(xí)率、batch size、網(wǎng)絡(luò)結(jié)構(gòu)、BN有無(wú)、dropout率、驗(yàn)證集準(zhǔn)確率、備注。跑了幾十組之后你會(huì)慢慢對(duì)哪些參數(shù)敏感、哪些不敏感形成直覺(jué)。這種直覺(jué)比任何教程都值錢(qián)。最后說(shuō)一個(gè)心態(tài)問(wèn)題調(diào)參確實(shí)有“玄學(xué)”成分但絕不是純運(yùn)氣。理解每個(gè)參數(shù)背后的原理知道它為什么影響訓(xùn)練你就能從“瞎試”變成“有方向地試”。這一周的內(nèi)容本質(zhì)上就是給你一張調(diào)參的地圖。地圖不能保證你一次走到終點(diǎn)但至少能讓你不迷路。