反向傳播算法一、計(jì)算圖二、一直是后面導(dǎo)數(shù)乘以當(dāng)前自變量系數(shù)得出當(dāng)前自變量的導(dǎo)數(shù)?*(我個(gè)人疑問)三、鏈?zhǔn)椒▌t(反向傳播的精髓一定搞明白不然沒法向下繼續(xù)學(xué)習(xí))四、反向傳播加法節(jié)點(diǎn)的反向傳播乘法節(jié)點(diǎn)的反向傳播(明顯看出來受到相乘系數(shù)就是偏導(dǎo))反向傳播Backward Propagation 或 Back PropagationBP 算法指的是計(jì)算神經(jīng)網(wǎng)絡(luò)參數(shù)梯度的方法。簡言之該方法根據(jù)微積分中的鏈?zhǔn)椒▌t按相反的順序從輸出層到輸入層遍歷網(wǎng)絡(luò)。該算法存儲(chǔ)了計(jì)算某些參數(shù)梯度時(shí)所需的任何中間變量。復(fù)合函數(shù)的鏈?zhǔn)角髮?dǎo)法則一、計(jì)算圖計(jì)算圖將計(jì)算過程用圖表示出來。這里說的圖是數(shù)據(jù)結(jié)構(gòu)中的圖通過多個(gè)節(jié)點(diǎn)和邊表示連接節(jié)點(diǎn)的直線稱為邊。如上就是 100 × 2 150 × 3 650 的計(jì)算圖表示。計(jì)算圖的基本計(jì)算原則就是從輸入出發(fā)、按照箭頭方向從左到右依次進(jìn)行計(jì)算最終得到輸出結(jié)果。這個(gè)過程其實(shí)就是 前向傳播forward。計(jì)算圖的特點(diǎn)是可以通過傳遞“局部計(jì)算”獲得最終結(jié)果。即只需根據(jù)與自己相關(guān)的信息輸出接下來的結(jié)果。無論全局的計(jì)算有多么復(fù)雜各個(gè)節(jié)點(diǎn)所要做的就是進(jìn)行局部計(jì)算并傳遞計(jì)算結(jié)果最終得出全局的復(fù)雜計(jì)算的結(jié)果如果增加更多的計(jì)算環(huán)節(jié)比如再乘以一個(gè)“零售加價(jià)系數(shù)”計(jì)算圖如下所示如果我們進(jìn)一步考慮當(dāng)衣服的價(jià)格上漲輸入變化時(shí)會(huì)多大程度上影響最后要支付的金額輸出結(jié)果將輸入的衣服價(jià)格記為( x (x(x)輸出的支付金額記為( L (L(L)這其實(shí)就是要求導(dǎo)數(shù)值( ? L ? x (\frac{\partial L}{\partial x}(?x?L?)。在計(jì)算圖上我們可以利用反向從右到左的傳遞來方便地計(jì)算導(dǎo)數(shù)。這個(gè)過程就可以叫做反向傳播backward。這里衣服加1收到和他相乘個(gè)數(shù)影響就變成2如果再來一個(gè)相乘個(gè)數(shù)x那就是 2x這里最后零售價(jià)加價(jià)系數(shù)也是相乘1.1所以變成2.2x 這就是衣服加1最終總價(jià)影響變得是衣服單價(jià)他最終影響收到相乘的影響從而得出衣服單價(jià)對(duì)總價(jià)的導(dǎo)數(shù)如果衣服件數(shù)加1他的導(dǎo)數(shù)是110一定根據(jù)這簡單舉例明白這些局部偏導(dǎo):這里每次自變量變化對(duì)應(yīng)局部導(dǎo)數(shù)就是和自變量變化 相乘的那個(gè)數(shù)加法當(dāng)前局部導(dǎo)數(shù)就是1沒變化方式一順著你的思路計(jì)算圖反向傳播求導(dǎo)正向傳播先看數(shù)值變化如果衣服件數(shù)原來是 2現(xiàn)在加 1 變成 3。衣服的總價(jià)從 (100 \times 2 200) 變成了 (100 \times 3 300)也就是增加了 100。最終支付金額增加了 (100 \times 1.1零售系數(shù) 110)。反向傳播求導(dǎo)數(shù)即圖中的紅色箭頭看“衣服件數(shù)”到“乘法節(jié)點(diǎn)”這條邊局部導(dǎo)數(shù)是衣服單價(jià)也就是100。看“加法節(jié)點(diǎn)”的右側(cè)加法直接傳遞導(dǎo)數(shù)依然是100。看“乘法節(jié)點(diǎn)乘以1.1”這條邊局部導(dǎo)數(shù)是零售系數(shù)1.1。最后把路徑上的局部導(dǎo)數(shù)相乘(100 \times 1.1 \mathbf{110})。所以衣服件數(shù)對(duì)最終總價(jià)的導(dǎo)數(shù)是 110。方式二用純數(shù)學(xué)公式推導(dǎo)最嚴(yán)謹(jǐn)我們把整個(gè)過程寫成一個(gè)總價(jià)公式設(shè) (Y) 為最終支付金額(x) 為衣服件數(shù)。(Y (衣服單價(jià) \times x 褲子單價(jià) \times 褲子件數(shù)) \times 零售系數(shù))代入圖中的數(shù)字(Y (100 \times x 150 \times 3) \times 1.1)(Y 110x 495)現(xiàn)在我們對(duì) (x)衣服件數(shù)求導(dǎo)(\frac{\partial Y}{\partial x} 110)公式求導(dǎo)的結(jié)果也是 110。二、一直是后面導(dǎo)數(shù)乘以當(dāng)前自變量系數(shù)得出當(dāng)前自變量的導(dǎo)數(shù)?*(我個(gè)人疑問)在計(jì)算圖里這被稱為“上游傳來的導(dǎo)數(shù)后面的導(dǎo)數(shù)”乘以“當(dāng)前節(jié)點(diǎn)的局部導(dǎo)數(shù)也就是你說的當(dāng)前自變量系數(shù)”。場景一單純的乘法節(jié)點(diǎn)適用我疑問的規(guī)律假設(shè)函數(shù)是( y 3 x (y 3x(y3x)系數(shù)是 3。如果( x (x(x) 變化一點(diǎn)點(diǎn)( y (y(y) 的變化量就是( x (x(x) 變化量的 3 倍。所以( ? y ? x 3 (\frac{\partial y}{\partial x} 3(?x?y?3)。如果這個(gè)乘法節(jié)點(diǎn)前面還有更復(fù)雜的網(wǎng)絡(luò)后面?zhèn)骰貋淼膶?dǎo)數(shù)是( L ′ (L(L′)上游導(dǎo)數(shù)。那么( x (x(x) 的導(dǎo)數(shù)就是( L ′ × 3 (L \times 3(L′×3)。這就是你說的“后面導(dǎo)數(shù) x 當(dāng)前系數(shù)”。場景二加法節(jié)點(diǎn)你的規(guī)律的補(bǔ)充假設(shè)函數(shù)是( y x z (y x z(yxz)加法節(jié)點(diǎn)。如果( x (x(x) 變化一點(diǎn)點(diǎn)( y (y(y) 的變化量就是( x (x(x) 的變化量不會(huì)放大也不會(huì)縮小。所以加法節(jié)點(diǎn)的局部導(dǎo)數(shù)系數(shù)永遠(yuǎn)是 1。如果后面?zhèn)骰貋淼膶?dǎo)數(shù)是( L ′ (L(L′)上游導(dǎo)數(shù)。那么( x (x(x) 的導(dǎo)數(shù)就是( L ′ × 1 L ′ (L \times 1 L(L′×1L′)。這也印證了你說的規(guī)律乘以當(dāng)前系數(shù)加法節(jié)點(diǎn)系數(shù)是1相當(dāng)于沒變。三、鏈?zhǔn)椒▌t(反向傳播的精髓一定搞明白不然沒法向下繼續(xù)學(xué)習(xí))反向傳播將局部導(dǎo)數(shù)向反方向傳遞傳遞的原理基于鏈?zhǔn)椒▌t。反向傳播時(shí)將信號(hào)乘以節(jié)點(diǎn)的局部導(dǎo)數(shù)然后傳遞給下一個(gè)節(jié)點(diǎn)。仔細(xì)想下面這鏈?zhǔn)椒▌t,很重要仔細(xì)想下面這鏈?zhǔn)椒▌t,很重要仔細(xì)想下面這鏈?zhǔn)椒▌t,很重要L 代表的就是最后整體計(jì)算的結(jié)果通常在神經(jīng)網(wǎng)絡(luò)中L 代表 Loss即最終的損失函數(shù)值在你之前看的價(jià)格計(jì)算圖里L(fēng) 就是最終的支付總金額舉例:對(duì)于復(fù)合函數(shù)( z ( x y ) 2 (z (x y)^2(z(xy)2)令( u x y (u x y(uxy)則? z ? x ? z ? u ? u ? x 2 u × 1 2 ( x y ) \frac{\partial z}{\partial x} \frac{\partial z}{\partial u} \frac{\partial u}{\partial x} 2u \times 1 2(x y)?x?z??u?z??x?u?2u×12(xy)四、反向傳播利用計(jì)算圖的反向傳播可以很容易地計(jì)算出輸出關(guān)于輸入的偏導(dǎo)數(shù)。加法節(jié)點(diǎn)的反向傳播對(duì)于( z x y (z x y(zxy)( ? z ? x 1 (\frac{\partial z}{\partial x} 1(?x?z?1)( ? z ? y 1 (\frac{\partial z}{\partial y} 1(?y?z?1)。因此加法的反向傳播會(huì)將上游傳來的值原樣向下游傳遞。乘法節(jié)點(diǎn)的反向傳播(明顯看出來受到相乘系數(shù)就是偏導(dǎo))對(duì)于( z x y (z xy(zxy)( ? z ? x y (\frac{\partial z}{\partial x} y(?x?z?y)( ? z ? y x (\frac{\partial z}{\partial y} x(?y?z?x)。因此乘法的反向傳播會(huì)將上游傳來的值乘以輸入的翻轉(zhuǎn)向下游傳遞。這里在前向傳播的過程就要記住得到的x是多少y是多少,并保存。因?yàn)檫@寫值在反向傳播的時(shí)候且是乘法節(jié)點(diǎn)時(shí)候會(huì)影響當(dāng)前局部導(dǎo)數(shù)。所以在反向傳播的時(shí)候一定要先執(zhí)行一次前向傳播