量到自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動(dòng)微分實(shí)戰(zhàn))
示例工程【免費(fèi)下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項(xiàng)目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點(diǎn)擊查看免費(fèi)下載本周課程是 NYU-DLSP20NYU Deep Learning Spring 2020對(duì)應(yīng)本倉(cāng)庫(kù)優(yōu)化與卷積主題的核心章節(jié)橫跨三大部分Lecture A講解梯度下降GD、隨機(jī)梯度下降SGD與動(dòng)量Momentum三類基礎(chǔ)優(yōu)化技術(shù)Lecture B講解 RMSprop、ADAM 等自適應(yīng)方法、歸一化層Normalization Layers以及深度學(xué)習(xí)加速 MRI 重建的工業(yè)級(jí)案例Practicum則回到動(dòng)手環(huán)節(jié)手推 1D 卷積、用 PyTorch 驗(yàn)證 kernel 與輸出維度、理解自動(dòng)微分引擎并編寫自定義梯度模塊。讀完本文你將掌握優(yōu)化器的數(shù)學(xué)原理、調(diào)參經(jīng)驗(yàn)、歸一化層的選型依據(jù)并能用 PyTorch 獨(dú)立復(fù)現(xiàn)卷積尺寸計(jì)算與autograd自定義梯度。一、Lecture A從梯度下降到帶動(dòng)量的 SGD1.1 梯度下降Gradient Descent最基礎(chǔ)也最差的方法我們研究?jī)?yōu)化方法通常從最基礎(chǔ)也最樸素的方法開始——梯度下降。其目標(biāo)是最小化一個(gè)連續(xù)可微函數(shù)問題$$ \min_w f(w) $$迭代解法$$ w_{k1} w_k - \gamma_k \nabla f(w_k) $$其中各符號(hào)含義為$w_{k1}$第 $k$ 次迭代后更新得到的值$w_k$第 $k$ 次迭代前的初始值$\gamma_k$步長(zhǎng)step size即學(xué)習(xí)率$\nabla f(w_k)$函數(shù) $f$ 在 $w_k$ 處的梯度。這里的基本假設(shè)是函數(shù) $f$ 連續(xù)且可微。我們的目標(biāo)是找到優(yōu)化函數(shù)的谷底但通往谷底的真實(shí)方向未知只能做局部觀察——因此負(fù)梯度方向是我們掌握的最好信息。沿該方向邁出一小步就能更接近最小值走完一步后重新計(jì)算梯度再沿新方向移動(dòng)如此反復(fù)直至抵達(dá)谷底。本質(zhì)上梯度下降就是在沿著**最陡下降方向負(fù)梯度方向**前進(jìn)。$\gamma$ 被稱為步長(zhǎng)學(xué)習(xí)率。通常我們并不知道最優(yōu)步長(zhǎng)的取值因此必須嘗試不同數(shù)值標(biāo)準(zhǔn)做法是在對(duì)數(shù)尺度log-scale上試一批值再選用效果最好的一個(gè)。以 1D 二次函數(shù)為例存在幾種典型場(chǎng)景見下圖學(xué)習(xí)率過低向最小值穩(wěn)步前進(jìn)但耗時(shí)遠(yuǎn)超理想情況學(xué)習(xí)率略高于最優(yōu)實(shí)際上收斂最快是最理想的選擇學(xué)習(xí)率過大迭代點(diǎn)離最小值越來越遠(yuǎn)導(dǎo)致發(fā)散。實(shí)踐中我們通常希望學(xué)習(xí)率比發(fā)散閾值略小一點(diǎn)。圖片出處本倉(cāng)庫(kù) docs/images/week05/05-1/step-size.png對(duì)應(yīng)英文原筆記 docs/en/week05/05-1.md。1.2 隨機(jī)梯度下降SGD無偏、帶噪、更便宜在隨機(jī)梯度下降中我們用梯度的隨機(jī)估計(jì)替代真實(shí)梯度向量。對(duì)神經(jīng)網(wǎng)絡(luò)而言隨機(jī)估計(jì)即單個(gè)數(shù)據(jù)點(diǎn)單個(gè)樣本損失的梯度。設(shè) $f_i$ 為網(wǎng)絡(luò)在第 $i$ 個(gè)樣本上的損失$$ f_i l(x_i, y_i, w) $$我們希望最小化的是所有樣本的總損失 $f$$$ f \frac{1}{n}\sum_i^n f_i $$SGD 按 $f_i$ 的梯度而非總損失 $f$ 的梯度更新權(quán)重$$ \begin{aligned} w_{k1} w_k - \gamma_k \nabla f_i(w_k) \quad\text{i 均勻隨機(jī)選取} \end{aligned} $$若 $i$ 隨機(jī)選取則 $f_i$ 是 $f$ 的一個(gè)帶噪聲但無偏的估計(jì)數(shù)學(xué)上寫作$$ \mathbb{E}[\nabla f_i(w_k)] \nabla f(w_k) $$因此 SGD 第 $k$ 步的期望與全批量梯度下降第 $k$ 步相同$$ \mathbb{E}[w_{k1}] w_k - \gamma_k \mathbb{E}[\nabla f_i(w_k)] w_k - \gamma_k \nabla f(w_k) $$也就是說任何一次 SGD 更新在期望意義下都等價(jià)于全批量更新。但 SGD 并不僅僅是更快的帶噪梯度下降——它還能帶來更好的結(jié)果SGD 的噪聲可以幫助我們跳過較淺的局部最小值找到更深的、更優(yōu)的最小值。這一現(xiàn)象稱為退火annealing。總結(jié) SGD 的優(yōu)勢(shì)各樣本之間存在大量冗余信息SGD 避免了大量冗余計(jì)算訓(xùn)練初期噪聲相對(duì)梯度中的信息量很小因此一步 SGD幾乎與一步 GD 同樣有效退火效應(yīng)——SGD 更新中的噪聲可以避免收斂到糟糕淺層的局部最小值SGD 的計(jì)算成本大幅降低無需遍歷所有數(shù)據(jù)點(diǎn)。1.3 Mini-batching小批量Mini-batching 不是在單個(gè)樣本上計(jì)算損失而是在多個(gè)隨機(jī)選取的樣本上計(jì)算損失從而降低每一步更新的噪聲$$ w_{k1} w_k - \gamma_k \frac{1}{|B_i|} \sum_{j \in B_i}\nabla f_j(w_k) $$使用 mini-batch 而非單樣本往往能更充分地利用硬件例如單樣本訓(xùn)練時(shí) GPU 利用率很差。分布式訓(xùn)練技術(shù)會(huì)把一個(gè)大的 mini-batch 拆分到集群的各臺(tái)機(jī)器上再聚合各自算出的梯度英文原筆記中提到 Facebook 曾用分布式訓(xùn)練在一小時(shí)內(nèi)完成 ImageNet 上的網(wǎng)絡(luò)訓(xùn)練此為課程講述的行業(yè)案例非本倉(cāng)庫(kù)實(shí)測(cè)數(shù)據(jù)。一個(gè)重要的實(shí)操提醒梯度下降不應(yīng)配合全量大小的 batch 使用。如果確實(shí)想在全量 batch 上訓(xùn)練應(yīng)使用 LBFGS 這類優(yōu)化技術(shù)——PyTorch 與 SciPy 都提供了 LBFGS 的實(shí)現(xiàn)。1.4 動(dòng)量Momentum兩種更新規(guī)則動(dòng)量方法維護(hù)兩個(gè)迭代量$p$ 和 $w$而不是只維護(hù)一個(gè)$$ \begin{aligned} p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_kp_{k1} \ \end{aligned} $$其中 $p$ 被稱為SGD 動(dòng)量。每一步更新時(shí)先把舊動(dòng)量按因子 $\beta$取值在 0 到 1 之間衰減再加上當(dāng)前隨機(jī)梯度因此 $p$ 可以理解為梯度的運(yùn)行平均running average。最后讓 $w$ 沿新動(dòng)量 $p$ 的方向移動(dòng)。等價(jià)形式隨機(jī)重球法Stochastic Heavy Ball Method$$ \begin{aligned} w_{k1} w_k - \gamma_k\nabla f_i(w_k) \beta_k(w_k - w_{k-1}) 0 \leq \beta 1 \end{aligned} $$該形式與上一形式數(shù)學(xué)等價(jià)下一步 上一步的方向$w_k - w_{k-1}$與新的負(fù)梯度的組合。直覺物理中的動(dòng)量SGD 動(dòng)量與物理學(xué)中的動(dòng)量概念類似優(yōu)化過程就像一顆重球滾下坡動(dòng)量讓球保持原有的運(yùn)動(dòng)方向而梯度可以看作把球推向其他方向的力。與劇烈改變行進(jìn)方向相比動(dòng)量只做溫和的修正能有效抑制純 SGD 中常見的來回震蕩。$\beta$ 參數(shù)被稱為阻尼因子Dampening Factor$\beta$ 必須大于 0——若等于 0就退化為普通梯度下降$\beta$ 必須小于 1——否則一切都會(huì)爆炸$\beta$ 越小轉(zhuǎn)向越快$\beta$ 越大轉(zhuǎn)向越慢。實(shí)踐指南動(dòng)量幾乎總是應(yīng)與 SGD 配合使用$\beta 0.9$ 或 $0.99$ 幾乎總是表現(xiàn)良好增大動(dòng)量參數(shù)時(shí)通常需要減小步長(zhǎng)以維持收斂當(dāng) $\beta$ 從 0.9 變?yōu)?0.99 時(shí)學(xué)習(xí)率大約需要縮小 10 倍。為什么動(dòng)量有效1加速AccelerationNesterov 動(dòng)量的更新規(guī)則如下$$ p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_k(\nabla f_i(w_k) \hat{\beta_k}p_{k1}) $$只要常數(shù)選取得當(dāng)Nesterov 動(dòng)量可以獲得加速收斂。但這只適用于凸問題不適用于神經(jīng)網(wǎng)絡(luò)。很多人聲稱普通動(dòng)量也是加速方法但事實(shí)上它只對(duì)二次函數(shù)加速而且加速與噪聲不兼容SGD 本身帶噪因此加速并不能很好解釋 Momentum SGD 的高性能。2噪聲平滑Noise Smoothing更實(shí)際、更可能的解釋是噪聲平滑動(dòng)量對(duì)梯度取平均每次步進(jìn)使用的是梯度的運(yùn)行平均。理論上 SGD 要正常工作應(yīng)當(dāng)對(duì)所有步進(jìn)取平均$$ \bar w_k \frac{1}{K} \sum_{k1}^K w_k $$SGD 加動(dòng)量的好處在于不再需要這種顯式平均動(dòng)量給優(yōu)化過程引入了平滑使每一步更新都成為對(duì)解的良好近似。純 SGD 則往往需要平均一大批更新之后才朝該方向邁步。加速與噪聲平滑共同貢獻(xiàn)了動(dòng)量的高性能。從 docs/images/week05/05-1/sgd-vs-momentum.png 可以看出純 SGD 初期朝解的方向進(jìn)展良好但到達(dá)谷底碗底后會(huì)在底部來回彈跳調(diào)整學(xué)習(xí)率只是讓彈跳變慢而加上動(dòng)量后步長(zhǎng)被平滑幾乎不再?gòu)椞?。二、Lecture B自適應(yīng)優(yōu)化、歸一化層與優(yōu)化的終結(jié)2.1 為什么需要自適應(yīng)方法Adaptive Methods帶動(dòng)量的 SGD 目前仍是許多機(jī)器學(xué)習(xí)問題的先進(jìn)優(yōu)化方法但還有一類自適應(yīng)方法對(duì)**病態(tài)條件poorly conditioned**的問題尤其有用即 SGD 失效的場(chǎng)景。在 SGD 公式中網(wǎng)絡(luò)中每一個(gè)權(quán)重都用同一個(gè)全局學(xué)習(xí)率 $\gamma$ 更新。自適應(yīng)方法則為每個(gè)權(quán)重單獨(dú)適配學(xué)習(xí)率依據(jù)是每個(gè)權(quán)重各自的梯度信息。實(shí)際使用的網(wǎng)絡(luò)在不同部分結(jié)構(gòu)差異很大例如 CNN 早期可能是在大圖上做很淺的卷積后期則是在小圖上做大量通道的卷積兩者性質(zhì)迥異適合網(wǎng)絡(luò)前期的學(xué)習(xí)率未必適合后期——這說明按層自適應(yīng)的學(xué)習(xí)率是有價(jià)值的。網(wǎng)絡(luò)后部的權(quán)重例如 VGG16 中 4096 維的全連接層見 docs/images/week05/05-2/5_2_vgg.png直接決定輸出對(duì)輸出影響極強(qiáng)需要更小的學(xué)習(xí)率而前期權(quán)重尤其隨機(jī)初始化時(shí)對(duì)輸出的個(gè)體影響更小。2.2 RMSprop用梯度均方根做歸一化Root Mean Square Propagation均方根傳播的核心思想是用梯度的均方根對(duì)梯度做歸一化。下式中梯度平方表示對(duì)向量每個(gè)元素分別平方$$ \begin{aligned} v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {\nabla f_i(w_t)}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中$\gamma$ 是全局學(xué)習(xí)率$\epsilon$ 是接近機(jī)器精度 $\epsilon$ 的小量量級(jí)為 $10^{-7}$ 或 $10^{-8}$用于避免除零錯(cuò)誤$v_{t1}$ 是二階矩second moment估計(jì)。我們用指數(shù)移動(dòng)平均exponential moving average更新 $v$ 來估計(jì)這個(gè)帶噪量——這是維護(hù)可能隨時(shí)間變化之量的平均的標(biāo)準(zhǔn)方式新值攜帶更多信息應(yīng)給予更大權(quán)重于是用常數(shù) $\alpha$0 到 1 之間對(duì)舊值逐級(jí)指數(shù)降權(quán)直到舊值不再重要。原始 RMSprop 維護(hù)的是非中心二階矩的指數(shù)移動(dòng)平均因此這里不減均值二階矩被用來逐元素歸一化梯度即每個(gè)梯度元素除以二階矩估計(jì)的平方根。當(dāng)梯度期望值很小時(shí)這個(gè)過程近似于用標(biāo)準(zhǔn)差去除梯度。分母使用很小的 $\epsilon$ 并不會(huì)導(dǎo)致發(fā)散因?yàn)楫?dāng) $v$ 很小時(shí)動(dòng)量梯度本身也很小。2.3 ADAMRMSprop 動(dòng)量ADAMAdaptive Moment Estimation自適應(yīng)矩估計(jì)可以理解為 RMSprop 加上動(dòng)量是目前更常用的方法。動(dòng)量更新被改造成指數(shù)移動(dòng)平均且處理 $\beta$ 時(shí)無需改變學(xué)習(xí)率與 RMSprop 一樣這里也對(duì)梯度平方取指數(shù)移動(dòng)平均$$ \begin{aligned} m_{t1} {\beta}m_t (1 - \beta) \nabla f_i(w_t) \ v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {m_{t}}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中 $m_{t1}$ 是動(dòng)量的指數(shù)移動(dòng)平均。上式中省略了偏差修正bias correction——該修正用于在早期迭代中保持移動(dòng)平均無偏。實(shí)踐對(duì)比訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)SGD 在訓(xùn)練初期常常朝錯(cuò)誤方向走而 RMSprop 能較快瞄準(zhǔn)正確方向但 RMSprop 與普通 SGD 一樣受噪聲困擾接近局部最小值后會(huì)在最優(yōu)點(diǎn)附近顯著彈跳。就像給 SGD 加動(dòng)量一樣ADAM 帶來了同樣的改進(jìn)它是解的一個(gè)良好、無噪的估計(jì)因此通常推薦使用 ADAM 而非 RMSprop對(duì)比圖見 docs/images/week05/05-2/5_2_comparison.png。ADAM 對(duì)訓(xùn)練某些語言模型網(wǎng)絡(luò)是必需的優(yōu)化神經(jīng)網(wǎng)絡(luò)時(shí)一般優(yōu)先選擇帶動(dòng)量的 SGD 或 ADAM。但 ADAM 的論文理論尚不完善且存在若干缺點(diǎn)可以在非常簡(jiǎn)單的測(cè)試問題上證明該方法不收斂已知會(huì)帶來泛化誤差網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上損失為零未必能在未見數(shù)據(jù)上保持零損失尤其在圖像問題上其泛化誤差往往比 SGD 更差可能因素包括找到的是最近的局部最小值、ADAM 噪聲更小、或其自身結(jié)構(gòu)等ADAM 需要維護(hù)3 個(gè)緩沖區(qū)而 SGD 只需 2 個(gè)。除非模型大到數(shù) GB 量級(jí)、可能放不進(jìn)內(nèi)存否則這影響不大需要調(diào)2 個(gè)動(dòng)量參數(shù)而不是 1 個(gè)。2.4 歸一化層Normalization Layers與前文改進(jìn)優(yōu)化算法不同歸一化層改進(jìn)的是網(wǎng)絡(luò)結(jié)構(gòu)本身它們作為額外層插入已有層之間目標(biāo)是提升優(yōu)化與泛化性能。神經(jīng)網(wǎng)絡(luò)通常在線性運(yùn)算與非線性運(yùn)算激活函數(shù)如 ReLU之間交替歸一化層可以放在線性層之前或激活函數(shù)之后最常見的做法是放在線性層與激活函數(shù)之間在 CNN 中典型形態(tài)為卷積 → 批量歸一化 → ReLU見圖 docs/images/week05/05-2/5_2_norm_layer_c.png。需要注意歸一化層改變流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)但并不改變網(wǎng)絡(luò)的表達(dá)能力——只要權(quán)重配置得當(dāng)未歸一化的網(wǎng)絡(luò)仍可產(chǎn)生與歸一化網(wǎng)絡(luò)相同的輸出。歸一化的通用記號(hào)$$ y \frac{a}{\sigma}(x - \mu) b $$其中$x$ 為輸入向量$y$ 為輸出向量$\mu$ 為 $x$ 均值的估計(jì)$\sigma$ 為 $x$ 標(biāo)準(zhǔn)差std的估計(jì)$a$ 為可學(xué)習(xí)的縮放因子$b$ 為可學(xué)習(xí)的偏置項(xiàng)。如果沒有可學(xué)習(xí)參數(shù) $a$ 和 $b$輸出向量 $y$ 的分布將固定為均值 0、標(biāo)準(zhǔn)差 1。$a$ 與 $b$ 的作用是保持網(wǎng)絡(luò)的表示能力——輸出值仍可落在任意特定范圍。注意 $a$、$b$ 并不會(huì)抵消歸一化因?yàn)樗鼈兪强蓪W(xué)習(xí)參數(shù)比 $\mu$、$\sigma$ 穩(wěn)定得多。四種歸一化方式對(duì)于包含 $N$ 張高 $H$ 寬 $W$、共 $C$ 個(gè)通道的 mini-batch 圖像示意圖見 docs/images/week05/05-2/5_2_norm_operations.png按選取的歸一化樣本范圍不同有 4 種典型做法方法歸一化范圍適用場(chǎng)景Batch Norm批量歸一化只對(duì)輸入的一個(gè)通道做歸一化首個(gè)被提出、最廣為人知的方法視覺任務(wù)效果好Layer Norm層歸一化單張圖像內(nèi)跨全部通道語言任務(wù)中大量使用Instance Norm實(shí)例歸一化單張圖像、單個(gè)通道語言/風(fēng)格類任務(wù)中大量使用Group Norm分組歸一化單張圖像、跨部分通道如 0~9 一組、10~19 一組視覺任務(wù)效果好且與 SGD 不沖突關(guān)于 Group Norm 的補(bǔ)充實(shí)踐中分組大小幾乎總是32這也是課程講師 Aaron Defazio 推薦的做法——實(shí)際性能好且不與 SGD 沖突。為什么歸一化有幫助雖然歸一化在實(shí)踐中效果很好但其有效的原因仍有爭(zhēng)議。最初它被提出用于減小內(nèi)部協(xié)變量偏移internal covariate shift但已有學(xué)者通過實(shí)驗(yàn)證偽了這一解釋。可以確認(rèn)的是歸一化帶來了以下多種因素的綜合效果優(yōu)化效果帶歸一化層的網(wǎng)絡(luò)更易優(yōu)化允許使用更大的學(xué)習(xí)率從而加速訓(xùn)練正則化效果由于批次內(nèi)樣本隨機(jī)均值/標(biāo)準(zhǔn)差估計(jì)帶有噪聲這種額外噪聲在某些情況下帶來更好的泛化降低對(duì)權(quán)重初始化的敏感性。因此歸一化讓你可以更隨意幾乎可以把任意網(wǎng)絡(luò)構(gòu)件組合在一起而無需過多擔(dān)心網(wǎng)絡(luò)病態(tài)程度仍有機(jī)會(huì)成功訓(xùn)練。實(shí)踐注意事項(xiàng)與 PyTorch 用法反向傳播必須經(jīng)過均值/標(biāo)準(zhǔn)差的計(jì)算以及歸一化的應(yīng)用否則網(wǎng)絡(luò)訓(xùn)練會(huì)發(fā)散。這一反向傳播計(jì)算相當(dāng)繁瑣且易錯(cuò)而 PyTorch 能自動(dòng)完成非常省力。PyTorch 中對(duì)應(yīng)的兩個(gè)歸一化層類torch.nn.BatchNorm2d(num_features, ...) torch.nn.GroupNorm(num_groups, num_channels, ...)Batch Norm 是最早提出、最廣為人知的方法但Aaron Defazio 推薦改用 Group Norm它更穩(wěn)定、理論上更簡(jiǎn)單通常效果更好分組大小 32 是不錯(cuò)的默認(rèn)值。另外注意Batch Norm 與 Instance Norm 在訓(xùn)練結(jié)束后使用固定的均值/標(biāo)準(zhǔn)差不再每次評(píng)估時(shí)重算因?yàn)闅w一化需要多個(gè)訓(xùn)練樣本而 Group Norm 與 Layer Norm 只需單個(gè)訓(xùn)練樣本即可歸一化因此無此問題。2.5 優(yōu)化的終結(jié)深度學(xué)習(xí)加速 MRI 重建有時(shí)外行闖入一個(gè)陌生領(lǐng)域反而能改善現(xiàn)狀深度學(xué)習(xí)用于 MRI 圖像重建加速便是典型例子。傳統(tǒng) MRI 重建傳統(tǒng) MRI 重建中原始數(shù)據(jù)來自 MRI 機(jī)器用簡(jiǎn)單管線/算法重建圖像。MRI 機(jī)器在二維傅里葉域逐行或逐列每幾毫秒一次采集數(shù)據(jù)原始輸入由頻率與相位兩個(gè)通道組成數(shù)值代表特定頻率和相位的正弦波幅度——可簡(jiǎn)單理解為一張含實(shí)部、虛部通道的復(fù)值圖像。對(duì)其做逆傅里葉變換把這些正弦波按數(shù)值加權(quán)求和即可得到原始解剖圖像見 docs/images/week05/05-2/5_2_mri.png。目前從傅里葉域到圖像域存在一個(gè)非常高效的線性映射無論圖像多大都只需毫秒級(jí)完成。問題在于能不能更快加速 MRIAccelerated MRI加速的關(guān)鍵思路迄今最成功是不全采所有列可以隨機(jī)跳過部分列但實(shí)踐中最好保留中間列它們橫跨整幅圖像、信息量大外圍則隨機(jī)采樣。問題隨之而來——此時(shí)線性映射不再適用對(duì)下采樣后的傅里葉空間直接做線性映射得到的結(jié)果毫無用處見 docs/images/week05/05-2/5_2_acc_mri.png顯然需要更聰明的做法。壓縮感知Compressed Sensing壓縮感知是理論數(shù)學(xué)的重大突破之一Candes 等人的論文證明從下采樣的傅里葉域圖像出發(fā)在理論上可以獲得完美重建——當(dāng)目標(biāo)信號(hào)稀疏或具有稀疏結(jié)構(gòu)時(shí)用更少的測(cè)量即可完美重建。但實(shí)際應(yīng)用有若干前提不需要隨機(jī)采樣而需要非相干采樣incoherent sampling——不過實(shí)踐中人們通常就是隨機(jī)采樣采一列或半列耗時(shí)相同因此實(shí)踐中整列采樣圖像需要具備稀疏性大量零值/黑色像素。原始輸入經(jīng)波長(zhǎng)分解后可稀疏表示但只是近似稀疏而非嚴(yán)格稀疏所以壓縮感知能得到相當(dāng)好但不完美的重建見 docs/images/week05/05-2/5_2_comp_sensing.png若輸入在波長(zhǎng)域非常稀疏則能獲得完美圖像。壓縮感知基于優(yōu)化理論其重建方式是求解一個(gè)帶額外正則項(xiàng)的小型優(yōu)化問題$$ \hat{x} \arg\min_x \frac{1}{2} \Vert M (\mathcal{F}(x)) - y \Vert^2 \lambda TV(x) $$其中 $M$ 是掩碼函數(shù)把未采樣位置置零$\mathcal{F}$ 是傅里葉變換$y$ 是觀測(cè)到的傅里葉域數(shù)據(jù)$\lambda$ 是正則化懲罰強(qiáng)度$V$ 是正則化函數(shù)。這個(gè)優(yōu)化問題必須對(duì) MRI 掃描的每個(gè)時(shí)間步/每個(gè)切片求解一次耗時(shí)常常超過掃描本身——這讓我們有理由尋找更好的方案。誰還需要優(yōu)化——用深度網(wǎng)絡(luò)一步求解與其每個(gè)時(shí)間步都解一個(gè)小優(yōu)化問題不如用一個(gè)大型神經(jīng)網(wǎng)絡(luò)直接產(chǎn)出所需解。希望在于訓(xùn)練一個(gè)足夠復(fù)雜的網(wǎng)絡(luò)讓它一步基本解決優(yōu)化問題輸出質(zhì)量堪比逐時(shí)間步求解優(yōu)化問題的結(jié)果$$ \hat{x} B(y) $$其中 $B$ 是深度學(xué)習(xí)模型$y$ 是觀測(cè)到的傅里葉域數(shù)據(jù)。15 年前這條路很難走如今實(shí)現(xiàn)起來容易得多結(jié)果對(duì)比見 docs/images/week05/05-2/5_2_dl_approach.png。課程指出用于生成該重建的模型采用ADAM 優(yōu)化器 Group Norm 歸一化層 基于 U-Net 的卷積神經(jīng)網(wǎng)絡(luò)這一方案已非常接近實(shí)際應(yīng)用。三、Practicum手推卷積、PyTorch 尺寸驗(yàn)證與自動(dòng)微分3.1 理解 1D 卷積堆疊與平移 kernel這一部分探討卷積是因?yàn)槲覀兿Ｍ脭?shù)據(jù)的稀疏性sparsity、平穩(wěn)性stationarity與組合性compositionality。與上一周使用的矩陣 $A$見 上一周筆記不同這里把矩陣寬度改為 kernel 大小 $k$于是矩陣的每一行就是一個(gè) kernel。通過堆疊stacking與平移shiftingkernel見 docs/images/week05/05-3/Illustration_1D_Conv.png可以得到 $m$ 層高度為 $n-k1$ 的輸出即 $m$厚度個(gè)大小為 $n-k1$ 的向量見 docs/images/week05/05-3/Result_1D_Conv.png。單個(gè)輸入向量可以看作單聲道m(xù)onophonic信號(hào)見 docs/images/week05/05-3/Monophonic_Signal.png。此時(shí)輸入 $x$ 是一個(gè)映射$$ x:\Omega\rightarrow\mathbb{R}^{c} $$其中 $\Omega \lbrace 1, 2, 3, \cdots \rbrace \subset \mathbb{N}^1$因?yàn)檫@是 1 維信號(hào)/擁有 1 維定義域此時(shí)通道數(shù) $c1$當(dāng) $c2$ 時(shí)即為立體聲stereophonic信號(hào)。對(duì) 1D 卷積只需逐 kernel 計(jì)算標(biāo)量積見 docs/images/week05/05-3/Layer_by_layer_scalar_product.png。3.2 PyTorch 中 kernel 與輸出寬度的維度驗(yàn)證技巧在 IPython 中可以使用問號(hào)查看函數(shù)文檔例如輸入nn.Conv1d?得到簽名Init signature: nn.Conv1d( in_channels, # 輸入圖像中的通道數(shù) out_channels, # 卷積產(chǎn)生的通道數(shù) kernel_size, # 卷積核的大小 stride1, # 卷積的步幅 padding0, # 在輸入兩側(cè)添加的零填充 dilation1, # 卷積核元素之間的間距 groups1, # 從輸入到輸出的阻塞連接數(shù) biasTrue, # 若為 True則為輸出添加可學(xué)習(xí)的偏置 padding_modezeros, # 填充模式接受 zeros 與 circular )1D 卷積示例假設(shè)做 1 維卷積從 2 個(gè)通道立體聲信號(hào)到 16 個(gè)通道16 個(gè) kernelkernel 大小為 3、stride 為 1。于是共有 16 個(gè)厚度 2、長(zhǎng)度 3 的 kernel。設(shè)輸入信號(hào) batch 大小為 1一個(gè)信號(hào)、2 個(gè)通道、64 個(gè)采樣點(diǎn)。輸出層為 1 個(gè)信號(hào)、16 個(gè)通道信號(hào)長(zhǎng)度 $62 64-31$。每個(gè)輸出通道一個(gè)偏置因此 bias 大小為 16。conv nn.Conv1d(2, 16, 3) # 2 通道立體聲16 個(gè)大小為 3 的 kernel conv.weight.size() # 輸出: torch.Size([16, 2, 3]) conv.bias.size() # 輸出: torch.Size([16]) x torch.rand(1, 2, 64) # batch 為 12 通道64 個(gè)采樣點(diǎn) conv(x).size() # 輸出: torch.Size([1, 16, 62]) conv nn.Conv1d(2, 16, 5) # 2 通道16 個(gè)大小為 5 的 kernel conv(x).size() # 輸出: torch.Size([1, 16, 60])2D 卷積示例輸入為 1 個(gè)樣本、20 個(gè)通道例如高光譜圖像高 64、寬 128。2D 卷積輸入 20 通道、16 個(gè)大小為 $3\times5$ 的 kernel。卷積后輸出為 1 個(gè)樣本、16 個(gè)通道高 $6264-31$寬 $124128-51$。執(zhí)行 2D 卷積所需存儲(chǔ)的 kernel 張量是4 維的。x torch.rand(1, 20, 64, 128) # 1 個(gè)樣本20 通道高 64寬 128 conv nn.Conv2d(20, 16, (3, 5)) # 20 通道16 個(gè) kernelkernel 大小為 3 x 5 conv.weight.size() # 輸出: torch.Size([16, 20, 3, 5]) conv(x).size() # 輸出: torch.Size([1, 16, 62, 124])若想保持輸入輸出維度一致可以加 padding。延續(xù)上面代碼設(shè)置stride1、padding(1, 2)即在 $y$ 方向填充 1頂部、底部各 1在 $x$ 方向填充 2。此時(shí)輸出與輸入尺寸相同# 20 通道16 個(gè)大小為 3 x 5 的 kernelstride 為 1padding 為 (1, 2) conv nn.Conv2d(20, 16, (3, 5), 1, (1, 2)) conv(x).size() # 輸出: torch.Size([1, 16, 64, 128])3.3 自動(dòng)梯度Autograd是如何工作的本節(jié)讓 torch 追蹤張量上的所有計(jì)算從而計(jì)算偏導(dǎo)數(shù)創(chuàng)建帶梯度累積能力的 $2\times2$ 張量 $\boldsymbol{x}$對(duì) $\boldsymbol{x}$ 的所有元素減 2 得到 $\boldsymbol{y}$。打印y.grad_fn會(huì)得到SubBackward0 object ...說明 $y$ 由減法模塊$\boldsymbol{x}-2$生成也可用y.grad_fn.next_functions[0][0].variable反推原始張量繼續(xù)運(yùn)算$\boldsymbol{z} 3\boldsymbol{y}^2$計(jì)算 $\boldsymbol{z}$ 的均值。反向傳播用于計(jì)算梯度。在本例中反向傳播過程可看作計(jì)算 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$。手工驗(yàn)證 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$ 后可以發(fā)現(xiàn)執(zhí)行a.backward()得到的x.grad與我們手算結(jié)果一致。手算過程如下$$ \begin{aligned} a \frac{1}{4} (z_1 z_2 z_3 z_4) \ z_i 3y_i^2 3(x_i-2)^2 \ \frac{da}{dx_i} \frac{1}{4}\times3\times2(x_i-2) \frac{3}{2}x_i-3 \ x \begin{pmatrix} 12\34\end{pmatrix} \ \left(\frac{da}{dx_i}\right)^\top \begin{pmatrix} 1.5-33-3\[2mm]4.5-36-3\end{pmatrix}\begin{pmatrix} -1.50\[2mm]1.53\end{pmatrix} \end{aligned} $$在 PyTorch 中使用偏導(dǎo)時(shí)得到的梯度與原始數(shù)據(jù)形狀相同但從嚴(yán)格的 Jacobian 角度看正確形式應(yīng)是轉(zhuǎn)置。從基礎(chǔ)到更瘋狂循環(huán)中的梯度設(shè) $x$ 為 $1\times3$ 向量令 $y$ 為 $x$ 的兩倍并不斷把 $y$ 翻倍直到其范數(shù)小于 1000。由于 $x$ 是隨機(jī)的無法直接預(yù)知循環(huán)終止的迭代次數(shù)x torch.randn(3, requires_gradTrue) y x * 2 i 0 while y.data.norm() 1000: y y * 2 i 1但借助梯度可以輕易推斷gradients torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) tensor([1.0240e02, 1.0240e03, 1.0240e-01]) print(i) 9requires_grad 與 no_grad 的邊界用requires_gradTrue標(biāo)記希望追蹤梯度累積。若在 $x$ 或 $w$ 的聲明中省略requires_gradTrue再對(duì) $z$ 調(diào)用backward()將因缺少梯度累積而報(bào)運(yùn)行時(shí)錯(cuò)誤# x 與 w 都允許梯度累積 x torch.arange(1., n 1, requires_gradTrue) w torch.ones(n, requires_gradTrue) z w x z.backward() print(x.grad, w.grad, sep\n)反向地可用with torch.no_grad()關(guān)閉梯度累積x torch.arange(1., n 1) w torch.ones(n, requires_gradTrue) # 其中的所有 torch 張量都不會(huì)累積梯度 with torch.no_grad(): z w x try: z.backward() # PyTorch 會(huì)在此拋錯(cuò)因?yàn)?z 沒有梯度累積 except RuntimeError as e: print(RuntimeError!!! :[) print(e)3.4 自定義梯度Custom Gradients除了基礎(chǔ)數(shù)值運(yùn)算我們還可以生成自定義模塊/函數(shù)并將其插入神經(jīng)網(wǎng)絡(luò)計(jì)算圖。配套 Jupyter Notebook 位于倉(cāng)庫(kù) extra/b-custom_grads.ipynb。做法是繼承torch.autograd.Function并重寫forward()與backward()。例如訓(xùn)練網(wǎng)絡(luò)時(shí)需要前向傳播、并知道輸入對(duì)輸出的偏導(dǎo)數(shù)才能把該模塊用在代碼的任何位置只要掌握了輸入對(duì)輸出的偏導(dǎo)數(shù)就可以通過反向傳播鏈?zhǔn)椒▌t把它插入運(yùn)算鏈的任意位置。Notebook 中有三個(gè)自定義模塊示例add、split與max。例如自定義加法模塊# 自定義加法模塊 class MyAdd(torch.autograd.Function): staticmethod def forward(ctx, x1, x2): # ctx 是一個(gè)上下文可以在其中保存 # backward 所需的中間計(jì)算。 ctx.save_for_backward(x1, x2) return x1 x2 staticmethod def backward(ctx, grad_output): x1, x2 ctx.saved_tensors grad_x1 grad_output * torch.ones_like(x1) grad_x2 grad_output * torch.ones_like(x2) # 需要按 forward 輸入順序返回梯度不含 ctx return grad_x1, grad_x2兩個(gè)輸入相加得到輸出前向按上式重寫反向傳播時(shí)梯度會(huì)復(fù)制到兩側(cè)所以 backward 用復(fù)制實(shí)現(xiàn)。對(duì)于split若多個(gè)分支來自同一張量反向傳播時(shí)應(yīng)當(dāng)把這些梯度相加/求和對(duì)于argmax它選出最大值的索引因此最大值索引處梯度為 1、其余為 0。需要牢記不同自定義模塊要各自重寫自己的 forward 與 backward 梯度邏輯。四、在倉(cāng)庫(kù)中繼續(xù)深入配套代碼與資源本倉(cāng)庫(kù)為 NYU-DLSP20 課程的配套開源實(shí)現(xiàn)圍繞第五周主題提供了大量可直接運(yùn)行的資源優(yōu)化器可視化實(shí)驗(yàn)extra/utils/optim.py 定義了一個(gè)繼承torch.optim.Optimizer的Optim基類其中step()遍歷param_groups并在每個(gè)參數(shù)上調(diào)用my_step()子類只需實(shí)現(xiàn)my_step即可定制更新規(guī)則。文件底部還包含一個(gè)病態(tài)二次目標(biāo) $f(x,y)\frac{1}{2}xy^\top A xy b^\top xy$$A\mathrm{diag}(1,5)$條件數(shù)高達(dá) 5的等高線圖繪制函數(shù)output(opt, nsteps, noise, fname)可用于直觀對(duì)比不同優(yōu)化器在病態(tài)問題上的收斂軌跡并支持通過noise參數(shù)模擬隨機(jī)梯度噪聲詳見extra/optimization.ipynb。優(yōu)化實(shí)驗(yàn) Notebookextra/optimization.ipynb 基于上述工具演示 GD/SGD/Momentum 等的收斂行為。自定義梯度 Notebookextra/b-custom_grads.ipynb 完整實(shí)現(xiàn)add、split、max等自定義 autograd 模塊對(duì)應(yīng)上文 3.4 節(jié)。英文原版筆記docs/en/week05/05-1.mdOptimisation Techniques I、docs/en/week05/05-2.mdOptimisation Techniques II、docs/en/week05/05-3.mdConvolutions 與自動(dòng)微分中文讀者可對(duì)照閱讀 docs/pt/week05/05-1.md、docs/pt/week05/05-2.md、docs/pt/week05/05-3.md。本講幻燈slides/01 - Spiral classification.pdf、slides/04 - RNN.pdf 之外倉(cāng)庫(kù)根目錄的 04-spiral_classification.ipynb、05-regression.ipynb、06-convnet.ipynb、07-listening_to_kernels.ipynb 等 Notebook 均會(huì)實(shí)際用到本章的優(yōu)化器與卷積知識(shí)。小結(jié)第五周的內(nèi)容構(gòu)成了深度學(xué)習(xí)優(yōu)化與卷積原理的完整閉環(huán)GD → SGD → Momentum → RMSprop/ADAM的進(jìn)化脈絡(luò)清晰呈現(xiàn)了如何讓更新更穩(wěn)、更快、更自適應(yīng)歸一化層從結(jié)構(gòu)上改善優(yōu)化與泛化加速 MRI案例則展示了用深度網(wǎng)絡(luò)一步替代逐時(shí)間步優(yōu)化的工程范式最后的1D/2D 卷積手推與 PyTorch 尺寸驗(yàn)證、autograd 與自定義梯度把理論落到可復(fù)現(xiàn)的代碼上。若要在實(shí)際項(xiàng)目中應(yīng)用可遵循課程給出的經(jīng)驗(yàn)法則默認(rèn)使用帶動(dòng)量 SGD$\beta0.9/0.99$或 ADAM歸一化層優(yōu)先考慮 Group Norm分組 32卷積輸出尺寸按 $n-k1$加 padding 后相應(yīng)調(diào)整快速心算校驗(yàn)。贊分享示例工程【免費(fèi)下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項(xiàng)目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點(diǎn)擊查看免費(fèi)下載相關(guān)推薦5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南 第一次按下側(cè)鍵、光標(biāo)毫無反應(yīng)的那一刻我就知道這只十幾塊的鼠標(biāo)在 mac示例工程N(yùn)YU-DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動(dòng)微分實(shí)戰(zhàn)NYU DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動(dòng)微分實(shí)戰(zhàn) 本文基于開源課程倉(cāng)庫(kù) pytorch Deep L示例工程N(yùn)YU-DLSP20 第 5 周深度筆記梯度下降、SGD 與動(dòng)量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動(dòng)微分NYU DLSP20 第 5 周深度筆記梯度下降、SGD 與動(dòng)量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動(dòng)微分 本文是 NYU Deep Learn示例工程上一篇Bokeh 自定義 TickFormatter 實(shí)戰(zhàn)為坐標(biāo)軸實(shí)現(xiàn)“偏移量刻度”顯示下一篇RSS-Bridge 主機(jī)部署指南堅(jiān)持不用私有 API的設(shè)計(jì)哲學(xué)與實(shí)例配置實(shí)戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 NYU-DLSP20 第五周全解析：從梯度下降、動(dòng)量到自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動(dòng)微分實(shí)戰(zhàn)
示例工程【免費(fèi)下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項(xiàng)目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點(diǎn)擊查看免費(fèi)下載本周課程是 NYU-DLSP20NYU Deep Learning Spring 2020對(duì)應(yīng)本倉(cāng)庫(kù)優(yōu)化與卷積主題的核心章節(jié)橫跨三大部分Lecture A講解梯度下降GD、隨機(jī)梯度下降SGD與動(dòng)量Momentum三類基礎(chǔ)優(yōu)化技術(shù)Lecture B講解 RMSprop、ADAM 等自適應(yīng)方法、歸一化層Normalization Layers以及深度學(xué)習(xí)加速 MRI 重建的工業(yè)級(jí)案例Practicum則回到動(dòng)手環(huán)節(jié)手推 1D 卷積、用 PyTorch 驗(yàn)證 kernel 與輸出維度、理解自動(dòng)微分引擎并編寫自定義梯度模塊。讀完本文你將掌握優(yōu)化器的數(shù)學(xué)原理、調(diào)參經(jīng)驗(yàn)、歸一化層的選型依據(jù)并能用 PyTorch 獨(dú)立復(fù)現(xiàn)卷積尺寸計(jì)算與autograd自定義梯度。一、Lecture A從梯度下降到帶動(dòng)量的 SGD1.1 梯度下降Gradient Descent最基礎(chǔ)也最差的方法我們研究?jī)?yōu)化方法通常從最基礎(chǔ)也最樸素的方法開始——梯度下降。其目標(biāo)是最小化一個(gè)連續(xù)可微函數(shù)問題$$ \min_w f(w) $$迭代解法$$ w_{k1} w_k - \gamma_k \nabla f(w_k) $$其中各符號(hào)含義為$w_{k1}$第 $k$ 次迭代后更新得到的值$w_k$第 $k$ 次迭代前的初始值$\gamma_k$步長(zhǎng)step size即學(xué)習(xí)率$\nabla f(w_k)$函數(shù) $f$ 在 $w_k$ 處的梯度。這里的基本假設(shè)是函數(shù) $f$ 連續(xù)且可微。我們的目標(biāo)是找到優(yōu)化函數(shù)的谷底但通往谷底的真實(shí)方向未知只能做局部觀察——因此負(fù)梯度方向是我們掌握的最好信息。沿該方向邁出一小步就能更接近最小值走完一步后重新計(jì)算梯度再沿新方向移動(dòng)如此反復(fù)直至抵達(dá)谷底。本質(zhì)上梯度下降就是在沿著**最陡下降方向負(fù)梯度方向**前進(jìn)。$\gamma$ 被稱為步長(zhǎng)學(xué)習(xí)率。通常我們并不知道最優(yōu)步長(zhǎng)的取值因此必須嘗試不同數(shù)值標(biāo)準(zhǔn)做法是在對(duì)數(shù)尺度log-scale上試一批值再選用效果最好的一個(gè)。以 1D 二次函數(shù)為例存在幾種典型場(chǎng)景見下圖學(xué)習(xí)率過低向最小值穩(wěn)步前進(jìn)但耗時(shí)遠(yuǎn)超理想情況學(xué)習(xí)率略高于最優(yōu)實(shí)際上收斂最快是最理想的選擇學(xué)習(xí)率過大迭代點(diǎn)離最小值越來越遠(yuǎn)導(dǎo)致發(fā)散。實(shí)踐中我們通常希望學(xué)習(xí)率比發(fā)散閾值略小一點(diǎn)。圖片出處本倉(cāng)庫(kù) docs/images/week05/05-1/step-size.png對(duì)應(yīng)英文原筆記 docs/en/week05/05-1.md。1.2 隨機(jī)梯度下降SGD無偏、帶噪、更便宜在隨機(jī)梯度下降中我們用梯度的隨機(jī)估計(jì)替代真實(shí)梯度向量。對(duì)神經(jīng)網(wǎng)絡(luò)而言隨機(jī)估計(jì)即單個(gè)數(shù)據(jù)點(diǎn)單個(gè)樣本損失的梯度。設(shè) $f_i$ 為網(wǎng)絡(luò)在第 $i$ 個(gè)樣本上的損失$$ f_i l(x_i, y_i, w) $$我們希望最小化的是所有樣本的總損失 $f$$$ f \frac{1}{n}\sum_i^n f_i $$SGD 按 $f_i$ 的梯度而非總損失 $f$ 的梯度更新權(quán)重$$ \begin{aligned} w_{k1} w_k - \gamma_k \nabla f_i(w_k) \quad\text{i 均勻隨機(jī)選取} \end{aligned} $$若 $i$ 隨機(jī)選取則 $f_i$ 是 $f$ 的一個(gè)帶噪聲但無偏的估計(jì)數(shù)學(xué)上寫作$$ \mathbb{E}[\nabla f_i(w_k)] \nabla f(w_k) $$因此 SGD 第 $k$ 步的期望與全批量梯度下降第 $k$ 步相同$$ \mathbb{E}[w_{k1}] w_k - \gamma_k \mathbb{E}[\nabla f_i(w_k)] w_k - \gamma_k \nabla f(w_k) $$也就是說任何一次 SGD 更新在期望意義下都等價(jià)于全批量更新。但 SGD 并不僅僅是更快的帶噪梯度下降——它還能帶來更好的結(jié)果SGD 的噪聲可以幫助我們跳過較淺的局部最小值找到更深的、更優(yōu)的最小值。這一現(xiàn)象稱為退火annealing。總結(jié) SGD 的優(yōu)勢(shì)各樣本之間存在大量冗余信息SGD 避免了大量冗余計(jì)算訓(xùn)練初期噪聲相對(duì)梯度中的信息量很小因此一步 SGD幾乎與一步 GD 同樣有效退火效應(yīng)——SGD 更新中的噪聲可以避免收斂到糟糕淺層的局部最小值SGD 的計(jì)算成本大幅降低無需遍歷所有數(shù)據(jù)點(diǎn)。1.3 Mini-batching小批量Mini-batching 不是在單個(gè)樣本上計(jì)算損失而是在多個(gè)隨機(jī)選取的樣本上計(jì)算損失從而降低每一步更新的噪聲$$ w_{k1} w_k - \gamma_k \frac{1}{|B_i|} \sum_{j \in B_i}\nabla f_j(w_k) $$使用 mini-batch 而非單樣本往往能更充分地利用硬件例如單樣本訓(xùn)練時(shí) GPU 利用率很差。分布式訓(xùn)練技術(shù)會(huì)把一個(gè)大的 mini-batch 拆分到集群的各臺(tái)機(jī)器上再聚合各自算出的梯度英文原筆記中提到 Facebook 曾用分布式訓(xùn)練在一小時(shí)內(nèi)完成 ImageNet 上的網(wǎng)絡(luò)訓(xùn)練此為課程講述的行業(yè)案例非本倉(cāng)庫(kù)實(shí)測(cè)數(shù)據(jù)。一個(gè)重要的實(shí)操提醒梯度下降不應(yīng)配合全量大小的 batch 使用。如果確實(shí)想在全量 batch 上訓(xùn)練應(yīng)使用 LBFGS 這類優(yōu)化技術(shù)——PyTorch 與 SciPy 都提供了 LBFGS 的實(shí)現(xiàn)。1.4 動(dòng)量Momentum兩種更新規(guī)則動(dòng)量方法維護(hù)兩個(gè)迭代量$p$ 和 $w$而不是只維護(hù)一個(gè)$$ \begin{aligned} p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_kp_{k1} \ \end{aligned} $$其中 $p$ 被稱為SGD 動(dòng)量。每一步更新時(shí)先把舊動(dòng)量按因子 $\beta$取值在 0 到 1 之間衰減再加上當(dāng)前隨機(jī)梯度因此 $p$ 可以理解為梯度的運(yùn)行平均running average。最后讓 $w$ 沿新動(dòng)量 $p$ 的方向移動(dòng)。等價(jià)形式隨機(jī)重球法Stochastic Heavy Ball Method$$ \begin{aligned} w_{k1} w_k - \gamma_k\nabla f_i(w_k) \beta_k(w_k - w_{k-1}) 0 \leq \beta 1 \end{aligned} $$該形式與上一形式數(shù)學(xué)等價(jià)下一步 上一步的方向$w_k - w_{k-1}$與新的負(fù)梯度的組合。直覺物理中的動(dòng)量SGD 動(dòng)量與物理學(xué)中的動(dòng)量概念類似優(yōu)化過程就像一顆重球滾下坡動(dòng)量讓球保持原有的運(yùn)動(dòng)方向而梯度可以看作把球推向其他方向的力。與劇烈改變行進(jìn)方向相比動(dòng)量只做溫和的修正能有效抑制純 SGD 中常見的來回震蕩。$\beta$ 參數(shù)被稱為阻尼因子Dampening Factor$\beta$ 必須大于 0——若等于 0就退化為普通梯度下降$\beta$ 必須小于 1——否則一切都會(huì)爆炸$\beta$ 越小轉(zhuǎn)向越快$\beta$ 越大轉(zhuǎn)向越慢。實(shí)踐指南動(dòng)量幾乎總是應(yīng)與 SGD 配合使用$\beta 0.9$ 或 $0.99$ 幾乎總是表現(xiàn)良好增大動(dòng)量參數(shù)時(shí)通常需要減小步長(zhǎng)以維持收斂當(dāng) $\beta$ 從 0.9 變?yōu)?0.99 時(shí)學(xué)習(xí)率大約需要縮小 10 倍。為什么動(dòng)量有效1加速AccelerationNesterov 動(dòng)量的更新規(guī)則如下$$ p_{k1} \hat{\beta_k}p_k \nabla f_i(w_k) \ w_{k1} w_k - \gamma_k(\nabla f_i(w_k) \hat{\beta_k}p_{k1}) $$只要常數(shù)選取得當(dāng)Nesterov 動(dòng)量可以獲得加速收斂。但這只適用于凸問題不適用于神經(jīng)網(wǎng)絡(luò)。很多人聲稱普通動(dòng)量也是加速方法但事實(shí)上它只對(duì)二次函數(shù)加速而且加速與噪聲不兼容SGD 本身帶噪因此加速并不能很好解釋 Momentum SGD 的高性能。2噪聲平滑Noise Smoothing更實(shí)際、更可能的解釋是噪聲平滑動(dòng)量對(duì)梯度取平均每次步進(jìn)使用的是梯度的運(yùn)行平均。理論上 SGD 要正常工作應(yīng)當(dāng)對(duì)所有步進(jìn)取平均$$ \bar w_k \frac{1}{K} \sum_{k1}^K w_k $$SGD 加動(dòng)量的好處在于不再需要這種顯式平均動(dòng)量給優(yōu)化過程引入了平滑使每一步更新都成為對(duì)解的良好近似。純 SGD 則往往需要平均一大批更新之后才朝該方向邁步。加速與噪聲平滑共同貢獻(xiàn)了動(dòng)量的高性能。從 docs/images/week05/05-1/sgd-vs-momentum.png 可以看出純 SGD 初期朝解的方向進(jìn)展良好但到達(dá)谷底碗底后會(huì)在底部來回彈跳調(diào)整學(xué)習(xí)率只是讓彈跳變慢而加上動(dòng)量后步長(zhǎng)被平滑幾乎不再?gòu)椞?。二、Lecture B自適應(yīng)優(yōu)化、歸一化層與優(yōu)化的終結(jié)2.1 為什么需要自適應(yīng)方法Adaptive Methods帶動(dòng)量的 SGD 目前仍是許多機(jī)器學(xué)習(xí)問題的先進(jìn)優(yōu)化方法但還有一類自適應(yīng)方法對(duì)**病態(tài)條件poorly conditioned**的問題尤其有用即 SGD 失效的場(chǎng)景。在 SGD 公式中網(wǎng)絡(luò)中每一個(gè)權(quán)重都用同一個(gè)全局學(xué)習(xí)率 $\gamma$ 更新。自適應(yīng)方法則為每個(gè)權(quán)重單獨(dú)適配學(xué)習(xí)率依據(jù)是每個(gè)權(quán)重各自的梯度信息。實(shí)際使用的網(wǎng)絡(luò)在不同部分結(jié)構(gòu)差異很大例如 CNN 早期可能是在大圖上做很淺的卷積后期則是在小圖上做大量通道的卷積兩者性質(zhì)迥異適合網(wǎng)絡(luò)前期的學(xué)習(xí)率未必適合后期——這說明按層自適應(yīng)的學(xué)習(xí)率是有價(jià)值的。網(wǎng)絡(luò)后部的權(quán)重例如 VGG16 中 4096 維的全連接層見 docs/images/week05/05-2/5_2_vgg.png直接決定輸出對(duì)輸出影響極強(qiáng)需要更小的學(xué)習(xí)率而前期權(quán)重尤其隨機(jī)初始化時(shí)對(duì)輸出的個(gè)體影響更小。2.2 RMSprop用梯度均方根做歸一化Root Mean Square Propagation均方根傳播的核心思想是用梯度的均方根對(duì)梯度做歸一化。下式中梯度平方表示對(duì)向量每個(gè)元素分別平方$$ \begin{aligned} v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {\nabla f_i(w_t)}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中$\gamma$ 是全局學(xué)習(xí)率$\epsilon$ 是接近機(jī)器精度 $\epsilon$ 的小量量級(jí)為 $10^{-7}$ 或 $10^{-8}$用于避免除零錯(cuò)誤$v_{t1}$ 是二階矩second moment估計(jì)。我們用指數(shù)移動(dòng)平均exponential moving average更新 $v$ 來估計(jì)這個(gè)帶噪量——這是維護(hù)可能隨時(shí)間變化之量的平均的標(biāo)準(zhǔn)方式新值攜帶更多信息應(yīng)給予更大權(quán)重于是用常數(shù) $\alpha$0 到 1 之間對(duì)舊值逐級(jí)指數(shù)降權(quán)直到舊值不再重要。原始 RMSprop 維護(hù)的是非中心二階矩的指數(shù)移動(dòng)平均因此這里不減均值二階矩被用來逐元素歸一化梯度即每個(gè)梯度元素除以二階矩估計(jì)的平方根。當(dāng)梯度期望值很小時(shí)這個(gè)過程近似于用標(biāo)準(zhǔn)差去除梯度。分母使用很小的 $\epsilon$ 并不會(huì)導(dǎo)致發(fā)散因?yàn)楫?dāng) $v$ 很小時(shí)動(dòng)量梯度本身也很小。2.3 ADAMRMSprop 動(dòng)量ADAMAdaptive Moment Estimation自適應(yīng)矩估計(jì)可以理解為 RMSprop 加上動(dòng)量是目前更常用的方法。動(dòng)量更新被改造成指數(shù)移動(dòng)平均且處理 $\beta$ 時(shí)無需改變學(xué)習(xí)率與 RMSprop 一樣這里也對(duì)梯度平方取指數(shù)移動(dòng)平均$$ \begin{aligned} m_{t1} {\beta}m_t (1 - \beta) \nabla f_i(w_t) \ v_{t1} {\alpha}v_t (1 - \alpha) \nabla f_i(w_t)^2 \ w_{t1} w_t - \gamma \frac {m_{t}}{ \sqrt{v_{t1}} \epsilon} \end{aligned} $$其中 $m_{t1}$ 是動(dòng)量的指數(shù)移動(dòng)平均。上式中省略了偏差修正bias correction——該修正用于在早期迭代中保持移動(dòng)平均無偏。實(shí)踐對(duì)比訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)SGD 在訓(xùn)練初期常常朝錯(cuò)誤方向走而 RMSprop 能較快瞄準(zhǔn)正確方向但 RMSprop 與普通 SGD 一樣受噪聲困擾接近局部最小值后會(huì)在最優(yōu)點(diǎn)附近顯著彈跳。就像給 SGD 加動(dòng)量一樣ADAM 帶來了同樣的改進(jìn)它是解的一個(gè)良好、無噪的估計(jì)因此通常推薦使用 ADAM 而非 RMSprop對(duì)比圖見 docs/images/week05/05-2/5_2_comparison.png。ADAM 對(duì)訓(xùn)練某些語言模型網(wǎng)絡(luò)是必需的優(yōu)化神經(jīng)網(wǎng)絡(luò)時(shí)一般優(yōu)先選擇帶動(dòng)量的 SGD 或 ADAM。但 ADAM 的論文理論尚不完善且存在若干缺點(diǎn)可以在非常簡(jiǎn)單的測(cè)試問題上證明該方法不收斂已知會(huì)帶來泛化誤差網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上損失為零未必能在未見數(shù)據(jù)上保持零損失尤其在圖像問題上其泛化誤差往往比 SGD 更差可能因素包括找到的是最近的局部最小值、ADAM 噪聲更小、或其自身結(jié)構(gòu)等ADAM 需要維護(hù)3 個(gè)緩沖區(qū)而 SGD 只需 2 個(gè)。除非模型大到數(shù) GB 量級(jí)、可能放不進(jìn)內(nèi)存否則這影響不大需要調(diào)2 個(gè)動(dòng)量參數(shù)而不是 1 個(gè)。2.4 歸一化層Normalization Layers與前文改進(jìn)優(yōu)化算法不同歸一化層改進(jìn)的是網(wǎng)絡(luò)結(jié)構(gòu)本身它們作為額外層插入已有層之間目標(biāo)是提升優(yōu)化與泛化性能。神經(jīng)網(wǎng)絡(luò)通常在線性運(yùn)算與非線性運(yùn)算激活函數(shù)如 ReLU之間交替歸一化層可以放在線性層之前或激活函數(shù)之后最常見的做法是放在線性層與激活函數(shù)之間在 CNN 中典型形態(tài)為卷積 → 批量歸一化 → ReLU見圖 docs/images/week05/05-2/5_2_norm_layer_c.png。需要注意歸一化層改變流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)但并不改變網(wǎng)絡(luò)的表達(dá)能力——只要權(quán)重配置得當(dāng)未歸一化的網(wǎng)絡(luò)仍可產(chǎn)生與歸一化網(wǎng)絡(luò)相同的輸出。歸一化的通用記號(hào)$$ y \frac{a}{\sigma}(x - \mu) b $$其中$x$ 為輸入向量$y$ 為輸出向量$\mu$ 為 $x$ 均值的估計(jì)$\sigma$ 為 $x$ 標(biāo)準(zhǔn)差std的估計(jì)$a$ 為可學(xué)習(xí)的縮放因子$b$ 為可學(xué)習(xí)的偏置項(xiàng)。如果沒有可學(xué)習(xí)參數(shù) $a$ 和 $b$輸出向量 $y$ 的分布將固定為均值 0、標(biāo)準(zhǔn)差 1。$a$ 與 $b$ 的作用是保持網(wǎng)絡(luò)的表示能力——輸出值仍可落在任意特定范圍。注意 $a$、$b$ 并不會(huì)抵消歸一化因?yàn)樗鼈兪强蓪W(xué)習(xí)參數(shù)比 $\mu$、$\sigma$ 穩(wěn)定得多。四種歸一化方式對(duì)于包含 $N$ 張高 $H$ 寬 $W$、共 $C$ 個(gè)通道的 mini-batch 圖像示意圖見 docs/images/week05/05-2/5_2_norm_operations.png按選取的歸一化樣本范圍不同有 4 種典型做法方法歸一化范圍適用場(chǎng)景Batch Norm批量歸一化只對(duì)輸入的一個(gè)通道做歸一化首個(gè)被提出、最廣為人知的方法視覺任務(wù)效果好Layer Norm層歸一化單張圖像內(nèi)跨全部通道語言任務(wù)中大量使用Instance Norm實(shí)例歸一化單張圖像、單個(gè)通道語言/風(fēng)格類任務(wù)中大量使用Group Norm分組歸一化單張圖像、跨部分通道如 0~9 一組、10~19 一組視覺任務(wù)效果好且與 SGD 不沖突關(guān)于 Group Norm 的補(bǔ)充實(shí)踐中分組大小幾乎總是32這也是課程講師 Aaron Defazio 推薦的做法——實(shí)際性能好且不與 SGD 沖突。為什么歸一化有幫助雖然歸一化在實(shí)踐中效果很好但其有效的原因仍有爭(zhēng)議。最初它被提出用于減小內(nèi)部協(xié)變量偏移internal covariate shift但已有學(xué)者通過實(shí)驗(yàn)證偽了這一解釋。可以確認(rèn)的是歸一化帶來了以下多種因素的綜合效果優(yōu)化效果帶歸一化層的網(wǎng)絡(luò)更易優(yōu)化允許使用更大的學(xué)習(xí)率從而加速訓(xùn)練正則化效果由于批次內(nèi)樣本隨機(jī)均值/標(biāo)準(zhǔn)差估計(jì)帶有噪聲這種額外噪聲在某些情況下帶來更好的泛化降低對(duì)權(quán)重初始化的敏感性。因此歸一化讓你可以更隨意幾乎可以把任意網(wǎng)絡(luò)構(gòu)件組合在一起而無需過多擔(dān)心網(wǎng)絡(luò)病態(tài)程度仍有機(jī)會(huì)成功訓(xùn)練。實(shí)踐注意事項(xiàng)與 PyTorch 用法反向傳播必須經(jīng)過均值/標(biāo)準(zhǔn)差的計(jì)算以及歸一化的應(yīng)用否則網(wǎng)絡(luò)訓(xùn)練會(huì)發(fā)散。這一反向傳播計(jì)算相當(dāng)繁瑣且易錯(cuò)而 PyTorch 能自動(dòng)完成非常省力。PyTorch 中對(duì)應(yīng)的兩個(gè)歸一化層類torch.nn.BatchNorm2d(num_features, ...) torch.nn.GroupNorm(num_groups, num_channels, ...)Batch Norm 是最早提出、最廣為人知的方法但Aaron Defazio 推薦改用 Group Norm它更穩(wěn)定、理論上更簡(jiǎn)單通常效果更好分組大小 32 是不錯(cuò)的默認(rèn)值。另外注意Batch Norm 與 Instance Norm 在訓(xùn)練結(jié)束后使用固定的均值/標(biāo)準(zhǔn)差不再每次評(píng)估時(shí)重算因?yàn)闅w一化需要多個(gè)訓(xùn)練樣本而 Group Norm 與 Layer Norm 只需單個(gè)訓(xùn)練樣本即可歸一化因此無此問題。2.5 優(yōu)化的終結(jié)深度學(xué)習(xí)加速 MRI 重建有時(shí)外行闖入一個(gè)陌生領(lǐng)域反而能改善現(xiàn)狀深度學(xué)習(xí)用于 MRI 圖像重建加速便是典型例子。傳統(tǒng) MRI 重建傳統(tǒng) MRI 重建中原始數(shù)據(jù)來自 MRI 機(jī)器用簡(jiǎn)單管線/算法重建圖像。MRI 機(jī)器在二維傅里葉域逐行或逐列每幾毫秒一次采集數(shù)據(jù)原始輸入由頻率與相位兩個(gè)通道組成數(shù)值代表特定頻率和相位的正弦波幅度——可簡(jiǎn)單理解為一張含實(shí)部、虛部通道的復(fù)值圖像。對(duì)其做逆傅里葉變換把這些正弦波按數(shù)值加權(quán)求和即可得到原始解剖圖像見 docs/images/week05/05-2/5_2_mri.png。目前從傅里葉域到圖像域存在一個(gè)非常高效的線性映射無論圖像多大都只需毫秒級(jí)完成。問題在于能不能更快加速 MRIAccelerated MRI加速的關(guān)鍵思路迄今最成功是不全采所有列可以隨機(jī)跳過部分列但實(shí)踐中最好保留中間列它們橫跨整幅圖像、信息量大外圍則隨機(jī)采樣。問題隨之而來——此時(shí)線性映射不再適用對(duì)下采樣后的傅里葉空間直接做線性映射得到的結(jié)果毫無用處見 docs/images/week05/05-2/5_2_acc_mri.png顯然需要更聰明的做法。壓縮感知Compressed Sensing壓縮感知是理論數(shù)學(xué)的重大突破之一Candes 等人的論文證明從下采樣的傅里葉域圖像出發(fā)在理論上可以獲得完美重建——當(dāng)目標(biāo)信號(hào)稀疏或具有稀疏結(jié)構(gòu)時(shí)用更少的測(cè)量即可完美重建。但實(shí)際應(yīng)用有若干前提不需要隨機(jī)采樣而需要非相干采樣incoherent sampling——不過實(shí)踐中人們通常就是隨機(jī)采樣采一列或半列耗時(shí)相同因此實(shí)踐中整列采樣圖像需要具備稀疏性大量零值/黑色像素。原始輸入經(jīng)波長(zhǎng)分解后可稀疏表示但只是近似稀疏而非嚴(yán)格稀疏所以壓縮感知能得到相當(dāng)好但不完美的重建見 docs/images/week05/05-2/5_2_comp_sensing.png若輸入在波長(zhǎng)域非常稀疏則能獲得完美圖像。壓縮感知基于優(yōu)化理論其重建方式是求解一個(gè)帶額外正則項(xiàng)的小型優(yōu)化問題$$ \hat{x} \arg\min_x \frac{1}{2} \Vert M (\mathcal{F}(x)) - y \Vert^2 \lambda TV(x) $$其中 $M$ 是掩碼函數(shù)把未采樣位置置零$\mathcal{F}$ 是傅里葉變換$y$ 是觀測(cè)到的傅里葉域數(shù)據(jù)$\lambda$ 是正則化懲罰強(qiáng)度$V$ 是正則化函數(shù)。這個(gè)優(yōu)化問題必須對(duì) MRI 掃描的每個(gè)時(shí)間步/每個(gè)切片求解一次耗時(shí)常常超過掃描本身——這讓我們有理由尋找更好的方案。誰還需要優(yōu)化——用深度網(wǎng)絡(luò)一步求解與其每個(gè)時(shí)間步都解一個(gè)小優(yōu)化問題不如用一個(gè)大型神經(jīng)網(wǎng)絡(luò)直接產(chǎn)出所需解。希望在于訓(xùn)練一個(gè)足夠復(fù)雜的網(wǎng)絡(luò)讓它一步基本解決優(yōu)化問題輸出質(zhì)量堪比逐時(shí)間步求解優(yōu)化問題的結(jié)果$$ \hat{x} B(y) $$其中 $B$ 是深度學(xué)習(xí)模型$y$ 是觀測(cè)到的傅里葉域數(shù)據(jù)。15 年前這條路很難走如今實(shí)現(xiàn)起來容易得多結(jié)果對(duì)比見 docs/images/week05/05-2/5_2_dl_approach.png。課程指出用于生成該重建的模型采用ADAM 優(yōu)化器 Group Norm 歸一化層 基于 U-Net 的卷積神經(jīng)網(wǎng)絡(luò)這一方案已非常接近實(shí)際應(yīng)用。三、Practicum手推卷積、PyTorch 尺寸驗(yàn)證與自動(dòng)微分3.1 理解 1D 卷積堆疊與平移 kernel這一部分探討卷積是因?yàn)槲覀兿Ｍ脭?shù)據(jù)的稀疏性sparsity、平穩(wěn)性stationarity與組合性compositionality。與上一周使用的矩陣 $A$見 上一周筆記不同這里把矩陣寬度改為 kernel 大小 $k$于是矩陣的每一行就是一個(gè) kernel。通過堆疊stacking與平移shiftingkernel見 docs/images/week05/05-3/Illustration_1D_Conv.png可以得到 $m$ 層高度為 $n-k1$ 的輸出即 $m$厚度個(gè)大小為 $n-k1$ 的向量見 docs/images/week05/05-3/Result_1D_Conv.png。單個(gè)輸入向量可以看作單聲道m(xù)onophonic信號(hào)見 docs/images/week05/05-3/Monophonic_Signal.png。此時(shí)輸入 $x$ 是一個(gè)映射$$ x:\Omega\rightarrow\mathbb{R}^{c} $$其中 $\Omega \lbrace 1, 2, 3, \cdots \rbrace \subset \mathbb{N}^1$因?yàn)檫@是 1 維信號(hào)/擁有 1 維定義域此時(shí)通道數(shù) $c1$當(dāng) $c2$ 時(shí)即為立體聲stereophonic信號(hào)。對(duì) 1D 卷積只需逐 kernel 計(jì)算標(biāo)量積見 docs/images/week05/05-3/Layer_by_layer_scalar_product.png。3.2 PyTorch 中 kernel 與輸出寬度的維度驗(yàn)證技巧在 IPython 中可以使用問號(hào)查看函數(shù)文檔例如輸入nn.Conv1d?得到簽名Init signature: nn.Conv1d( in_channels, # 輸入圖像中的通道數(shù) out_channels, # 卷積產(chǎn)生的通道數(shù) kernel_size, # 卷積核的大小 stride1, # 卷積的步幅 padding0, # 在輸入兩側(cè)添加的零填充 dilation1, # 卷積核元素之間的間距 groups1, # 從輸入到輸出的阻塞連接數(shù) biasTrue, # 若為 True則為輸出添加可學(xué)習(xí)的偏置 padding_modezeros, # 填充模式接受 zeros 與 circular )1D 卷積示例假設(shè)做 1 維卷積從 2 個(gè)通道立體聲信號(hào)到 16 個(gè)通道16 個(gè) kernelkernel 大小為 3、stride 為 1。于是共有 16 個(gè)厚度 2、長(zhǎng)度 3 的 kernel。設(shè)輸入信號(hào) batch 大小為 1一個(gè)信號(hào)、2 個(gè)通道、64 個(gè)采樣點(diǎn)。輸出層為 1 個(gè)信號(hào)、16 個(gè)通道信號(hào)長(zhǎng)度 $62 64-31$。每個(gè)輸出通道一個(gè)偏置因此 bias 大小為 16。conv nn.Conv1d(2, 16, 3) # 2 通道立體聲16 個(gè)大小為 3 的 kernel conv.weight.size() # 輸出: torch.Size([16, 2, 3]) conv.bias.size() # 輸出: torch.Size([16]) x torch.rand(1, 2, 64) # batch 為 12 通道64 個(gè)采樣點(diǎn) conv(x).size() # 輸出: torch.Size([1, 16, 62]) conv nn.Conv1d(2, 16, 5) # 2 通道16 個(gè)大小為 5 的 kernel conv(x).size() # 輸出: torch.Size([1, 16, 60])2D 卷積示例輸入為 1 個(gè)樣本、20 個(gè)通道例如高光譜圖像高 64、寬 128。2D 卷積輸入 20 通道、16 個(gè)大小為 $3\times5$ 的 kernel。卷積后輸出為 1 個(gè)樣本、16 個(gè)通道高 $6264-31$寬 $124128-51$。執(zhí)行 2D 卷積所需存儲(chǔ)的 kernel 張量是4 維的。x torch.rand(1, 20, 64, 128) # 1 個(gè)樣本20 通道高 64寬 128 conv nn.Conv2d(20, 16, (3, 5)) # 20 通道16 個(gè) kernelkernel 大小為 3 x 5 conv.weight.size() # 輸出: torch.Size([16, 20, 3, 5]) conv(x).size() # 輸出: torch.Size([1, 16, 62, 124])若想保持輸入輸出維度一致可以加 padding。延續(xù)上面代碼設(shè)置stride1、padding(1, 2)即在 $y$ 方向填充 1頂部、底部各 1在 $x$ 方向填充 2。此時(shí)輸出與輸入尺寸相同# 20 通道16 個(gè)大小為 3 x 5 的 kernelstride 為 1padding 為 (1, 2) conv nn.Conv2d(20, 16, (3, 5), 1, (1, 2)) conv(x).size() # 輸出: torch.Size([1, 16, 64, 128])3.3 自動(dòng)梯度Autograd是如何工作的本節(jié)讓 torch 追蹤張量上的所有計(jì)算從而計(jì)算偏導(dǎo)數(shù)創(chuàng)建帶梯度累積能力的 $2\times2$ 張量 $\boldsymbol{x}$對(duì) $\boldsymbol{x}$ 的所有元素減 2 得到 $\boldsymbol{y}$。打印y.grad_fn會(huì)得到SubBackward0 object ...說明 $y$ 由減法模塊$\boldsymbol{x}-2$生成也可用y.grad_fn.next_functions[0][0].variable反推原始張量繼續(xù)運(yùn)算$\boldsymbol{z} 3\boldsymbol{y}^2$計(jì)算 $\boldsymbol{z}$ 的均值。反向傳播用于計(jì)算梯度。在本例中反向傳播過程可看作計(jì)算 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$。手工驗(yàn)證 $\frac{d\boldsymbol{a}}{d\boldsymbol{x}}$ 后可以發(fā)現(xiàn)執(zhí)行a.backward()得到的x.grad與我們手算結(jié)果一致。手算過程如下$$ \begin{aligned} a \frac{1}{4} (z_1 z_2 z_3 z_4) \ z_i 3y_i^2 3(x_i-2)^2 \ \frac{da}{dx_i} \frac{1}{4}\times3\times2(x_i-2) \frac{3}{2}x_i-3 \ x \begin{pmatrix} 12\34\end{pmatrix} \ \left(\frac{da}{dx_i}\right)^\top \begin{pmatrix} 1.5-33-3\[2mm]4.5-36-3\end{pmatrix}\begin{pmatrix} -1.50\[2mm]1.53\end{pmatrix} \end{aligned} $$在 PyTorch 中使用偏導(dǎo)時(shí)得到的梯度與原始數(shù)據(jù)形狀相同但從嚴(yán)格的 Jacobian 角度看正確形式應(yīng)是轉(zhuǎn)置。從基礎(chǔ)到更瘋狂循環(huán)中的梯度設(shè) $x$ 為 $1\times3$ 向量令 $y$ 為 $x$ 的兩倍并不斷把 $y$ 翻倍直到其范數(shù)小于 1000。由于 $x$ 是隨機(jī)的無法直接預(yù)知循環(huán)終止的迭代次數(shù)x torch.randn(3, requires_gradTrue) y x * 2 i 0 while y.data.norm() 1000: y y * 2 i 1但借助梯度可以輕易推斷gradients torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) tensor([1.0240e02, 1.0240e03, 1.0240e-01]) print(i) 9requires_grad 與 no_grad 的邊界用requires_gradTrue標(biāo)記希望追蹤梯度累積。若在 $x$ 或 $w$ 的聲明中省略requires_gradTrue再對(duì) $z$ 調(diào)用backward()將因缺少梯度累積而報(bào)運(yùn)行時(shí)錯(cuò)誤# x 與 w 都允許梯度累積 x torch.arange(1., n 1, requires_gradTrue) w torch.ones(n, requires_gradTrue) z w x z.backward() print(x.grad, w.grad, sep\n)反向地可用with torch.no_grad()關(guān)閉梯度累積x torch.arange(1., n 1) w torch.ones(n, requires_gradTrue) # 其中的所有 torch 張量都不會(huì)累積梯度 with torch.no_grad(): z w x try: z.backward() # PyTorch 會(huì)在此拋錯(cuò)因?yàn)?z 沒有梯度累積 except RuntimeError as e: print(RuntimeError!!! :[) print(e)3.4 自定義梯度Custom Gradients除了基礎(chǔ)數(shù)值運(yùn)算我們還可以生成自定義模塊/函數(shù)并將其插入神經(jīng)網(wǎng)絡(luò)計(jì)算圖。配套 Jupyter Notebook 位于倉(cāng)庫(kù) extra/b-custom_grads.ipynb。做法是繼承torch.autograd.Function并重寫forward()與backward()。例如訓(xùn)練網(wǎng)絡(luò)時(shí)需要前向傳播、并知道輸入對(duì)輸出的偏導(dǎo)數(shù)才能把該模塊用在代碼的任何位置只要掌握了輸入對(duì)輸出的偏導(dǎo)數(shù)就可以通過反向傳播鏈?zhǔn)椒▌t把它插入運(yùn)算鏈的任意位置。Notebook 中有三個(gè)自定義模塊示例add、split與max。例如自定義加法模塊# 自定義加法模塊 class MyAdd(torch.autograd.Function): staticmethod def forward(ctx, x1, x2): # ctx 是一個(gè)上下文可以在其中保存 # backward 所需的中間計(jì)算。 ctx.save_for_backward(x1, x2) return x1 x2 staticmethod def backward(ctx, grad_output): x1, x2 ctx.saved_tensors grad_x1 grad_output * torch.ones_like(x1) grad_x2 grad_output * torch.ones_like(x2) # 需要按 forward 輸入順序返回梯度不含 ctx return grad_x1, grad_x2兩個(gè)輸入相加得到輸出前向按上式重寫反向傳播時(shí)梯度會(huì)復(fù)制到兩側(cè)所以 backward 用復(fù)制實(shí)現(xiàn)。對(duì)于split若多個(gè)分支來自同一張量反向傳播時(shí)應(yīng)當(dāng)把這些梯度相加/求和對(duì)于argmax它選出最大值的索引因此最大值索引處梯度為 1、其余為 0。需要牢記不同自定義模塊要各自重寫自己的 forward 與 backward 梯度邏輯。四、在倉(cāng)庫(kù)中繼續(xù)深入配套代碼與資源本倉(cāng)庫(kù)為 NYU-DLSP20 課程的配套開源實(shí)現(xiàn)圍繞第五周主題提供了大量可直接運(yùn)行的資源優(yōu)化器可視化實(shí)驗(yàn)extra/utils/optim.py 定義了一個(gè)繼承torch.optim.Optimizer的Optim基類其中step()遍歷param_groups并在每個(gè)參數(shù)上調(diào)用my_step()子類只需實(shí)現(xiàn)my_step即可定制更新規(guī)則。文件底部還包含一個(gè)病態(tài)二次目標(biāo) $f(x,y)\frac{1}{2}xy^\top A xy b^\top xy$$A\mathrm{diag}(1,5)$條件數(shù)高達(dá) 5的等高線圖繪制函數(shù)output(opt, nsteps, noise, fname)可用于直觀對(duì)比不同優(yōu)化器在病態(tài)問題上的收斂軌跡并支持通過noise參數(shù)模擬隨機(jī)梯度噪聲詳見extra/optimization.ipynb。優(yōu)化實(shí)驗(yàn) Notebookextra/optimization.ipynb 基于上述工具演示 GD/SGD/Momentum 等的收斂行為。自定義梯度 Notebookextra/b-custom_grads.ipynb 完整實(shí)現(xiàn)add、split、max等自定義 autograd 模塊對(duì)應(yīng)上文 3.4 節(jié)。英文原版筆記docs/en/week05/05-1.mdOptimisation Techniques I、docs/en/week05/05-2.mdOptimisation Techniques II、docs/en/week05/05-3.mdConvolutions 與自動(dòng)微分中文讀者可對(duì)照閱讀 docs/pt/week05/05-1.md、docs/pt/week05/05-2.md、docs/pt/week05/05-3.md。本講幻燈slides/01 - Spiral classification.pdf、slides/04 - RNN.pdf 之外倉(cāng)庫(kù)根目錄的 04-spiral_classification.ipynb、05-regression.ipynb、06-convnet.ipynb、07-listening_to_kernels.ipynb 等 Notebook 均會(huì)實(shí)際用到本章的優(yōu)化器與卷積知識(shí)。小結(jié)第五周的內(nèi)容構(gòu)成了深度學(xué)習(xí)優(yōu)化與卷積原理的完整閉環(huán)GD → SGD → Momentum → RMSprop/ADAM的進(jìn)化脈絡(luò)清晰呈現(xiàn)了如何讓更新更穩(wěn)、更快、更自適應(yīng)歸一化層從結(jié)構(gòu)上改善優(yōu)化與泛化加速 MRI案例則展示了用深度網(wǎng)絡(luò)一步替代逐時(shí)間步優(yōu)化的工程范式最后的1D/2D 卷積手推與 PyTorch 尺寸驗(yàn)證、autograd 與自定義梯度把理論落到可復(fù)現(xiàn)的代碼上。若要在實(shí)際項(xiàng)目中應(yīng)用可遵循課程給出的經(jīng)驗(yàn)法則默認(rèn)使用帶動(dòng)量 SGD$\beta0.9/0.99$或 ADAM歸一化層優(yōu)先考慮 Group Norm分組 32卷積輸出尺寸按 $n-k1$加 padding 后相應(yīng)調(diào)整快速心算校驗(yàn)。贊分享示例工程【免費(fèi)下載鏈接】NYU-DLSP20NYU Deep Learning Spring 2020項(xiàng)目地址https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning點(diǎn)擊查看免費(fèi)下載相關(guān)推薦5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南5 分鐘讓普通鼠標(biāo)在 macOS 上比觸控板好用Mac Mouse Fix 上手指南 第一次按下側(cè)鍵、光標(biāo)毫無反應(yīng)的那一刻我就知道這只十幾塊的鼠標(biāo)在 mac示例工程N(yùn)YU-DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動(dòng)微分實(shí)戰(zhàn)NYU DLSP20 第五周精讀梯度下降、Momentum 與自適應(yīng)優(yōu)化、歸一化層以及卷積與自動(dòng)微分實(shí)戰(zhàn) 本文基于開源課程倉(cāng)庫(kù) pytorch Deep L示例工程N(yùn)YU-DLSP20 第 5 周深度筆記梯度下降、SGD 與動(dòng)量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動(dòng)微分NYU DLSP20 第 5 周深度筆記梯度下降、SGD 與動(dòng)量、自適應(yīng)優(yōu)化、歸一化層與 PyTorch 卷積/自動(dòng)微分 本文是 NYU Deep Learn示例工程上一篇Bokeh 自定義 TickFormatter 實(shí)戰(zhàn)為坐標(biāo)軸實(shí)現(xiàn)“偏移量刻度”顯示下一篇RSS-Bridge 主機(jī)部署指南堅(jiān)持不用私有 API的設(shè)計(jì)哲學(xué)與實(shí)例配置實(shí)戰(zhàn)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考