習(xí)1:基本概念，感知機(jī)，激活函數(shù)(階躍，sigmoid,Tanh函數(shù)))
建議看尚硅谷深度學(xué)習(xí)視頻一、深度學(xué)習(xí)基本概念和結(jié)構(gòu)二、感知機(jī)和激活函數(shù)的由來三、激活函數(shù)作用作用一: 沒有激活函數(shù)一萬層網(wǎng)絡(luò)也只等于一層線性回歸啥復(fù)雜問題都解決不了作用二 決定神經(jīng)元是否“放電”特征過濾)作用三 壓縮數(shù)值范圍防止“梯度爆炸”思考:激活函數(shù)算出來是 0 這個(gè)數(shù)值就不會(huì)被下一層加入計(jì)算嗎(是的完全不會(huì))插曲一些知識(shí) 偏置 b 和激活函數(shù)真正放在一起看看它們到底是怎么配合的。四、階躍函數(shù)五、sigmoid六、Tanh函數(shù)筆記來自尚硅谷 深度學(xué)習(xí) 截圖一、深度學(xué)習(xí)基本概念和結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)Artificial Neural NetworkANN簡(jiǎn)稱 神經(jīng)網(wǎng)絡(luò)NN是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的計(jì)算模型。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)是一種自適應(yīng)系統(tǒng)(adaptive system)通俗地講就是具備學(xué)習(xí)功能。相鄰層的神經(jīng)元相互連接(圖中下一層每個(gè)神經(jīng)元都與上一層所有神經(jīng)元連接,稱為 全連接)每個(gè)連接都會(huì)有一個(gè) 權(quán)重。神經(jīng)元中的信息逐層傳遞一般稱為 前向傳播 forward上一層神經(jīng)元的輸出作為下一層神經(jīng)元的輸入二、感知機(jī)和激活函數(shù)的由來感知器(perceptron)是二分類模型,接受多個(gè)信號(hào),輸出一個(gè)信號(hào).感知機(jī)的信號(hào)只有01兩種取值。重要的事打一遍字不用一直線性下去吧h(x)可以將輸入信號(hào)的加權(quán)總和轉(zhuǎn)換為輸出信號(hào),起到激活神經(jīng)元的作用所以被稱為激活函數(shù)三、激活函數(shù)作用激活函數(shù)是連接感知機(jī)和神經(jīng)網(wǎng)絡(luò)的橋梁在神經(jīng)網(wǎng)絡(luò)中起著至關(guān)重要的作用。作用一: 沒有激活函數(shù)一萬層網(wǎng)絡(luò)也只等于一層線性回歸啥復(fù)雜問題都解決不了如果沒有激活函數(shù)整個(gè)神經(jīng)網(wǎng)絡(luò)就等效于單層線性變換不論如何加深層數(shù)總是存在與之等效的“無隱藏層的神經(jīng)網(wǎng)絡(luò)”。激活函數(shù)必須是非線性函數(shù)也正是激活函數(shù)的存在為神經(jīng)網(wǎng)絡(luò)引入了非線性使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)和表示復(fù)雜的非線性關(guān)系。作用二 決定神經(jīng)元是否“放電”特征過濾)現(xiàn)實(shí)中大腦的神經(jīng)元只有當(dāng)接收到的刺激超過一定閾值時(shí)才會(huì)“放電”把信號(hào)傳給下一個(gè)神經(jīng)元。激活函數(shù)就是模擬這個(gè)機(jī)制。它把前一層的加權(quán)求和a aa映射成一個(gè)“激活程度”。比如大于某個(gè)值才把信號(hào)傳給下一層。作用三 壓縮數(shù)值范圍防止“梯度爆炸”你看圖里的a w 1 x 1 w 2 x 2 b a w_1x_1 w_2x_2 baw1?x1?w2?x2?b。如果在深層網(wǎng)絡(luò)里每層算出來的值都越來越大比如變成 1000、10000計(jì)算機(jī)的浮點(diǎn)數(shù)會(huì)溢出模型直接崩潰這叫梯度爆炸。激活函數(shù)可以把這些無限大的數(shù)字“擠壓”回一個(gè)安全范圍比如[ ? 1 , 1 ] [-1, 1][?1,1]或[ 0 , ∞ ) [0, \infty)[0,∞)讓網(wǎng)絡(luò)能穩(wěn)定訓(xùn)練。思考:激活函數(shù)算出來是 0 這個(gè)數(shù)值就不會(huì)被下一層加入計(jì)算嗎(是的完全不會(huì))我們以最經(jīng)典的激活函數(shù)ReLU (Rectified Linear Unit, 線性整流函數(shù))為例。它的公式極簡(jiǎn)單f ( x ) m a x ( 0 , x ) f(x) max(0, x)f(x)max(0,x)。如果輸入x 0 x 0x0輸出還是x xx。如果輸入x ≤ 0 x \le 0x≤0輸出直接強(qiáng)行變成 0?！白兂?0”在下一層計(jì)算時(shí)意味著什么假設(shè)下一層的計(jì)算是y w 1 ? a 1 w 2 ? a 2 b y w_1 \cdot a_1 w_2 \cdot a_2 byw1??a1?w2??a2?b。如果上一層傳過來的a 1 a_1a1?經(jīng)過激活函數(shù)變成了 0。那么y w 1 ? 0 w 2 ? a 2 b w 2 ? a 2 b y w_1 \cdot 0 w_2 \cdot a_2 b w_2 \cdot a_2 byw1??0w2??a2?bw2??a2?b你看w 1 w_1w1?和a 1 a_1a1?直接從公式里消失了。在神經(jīng)網(wǎng)絡(luò)和矩陣運(yùn)算中0 就代表“此路不通”。這就引出了深度學(xué)習(xí)中極其重要的一種現(xiàn)象1. 產(chǎn)生“稀疏性 (Sparsity)”極度省算力圖片里有大量的像素點(diǎn)、一句話里有大量無用的介詞它們對(duì)最終結(jié)果沒貢獻(xiàn)。ReLU 讓這些無用特征直接變成 0。下一層遇到 0 就不用算了大大節(jié)省了 GPU 的算力。這種“斷舍離”不僅省算力還是讓神經(jīng)網(wǎng)絡(luò)變得聰明和高效的秘訣2. 強(qiáng)迫網(wǎng)絡(luò)只關(guān)注“重點(diǎn)”抗噪如果輸入的是無用的噪聲算出來的值大概率小于 0被 ReLU 激活成 0 后等于告訴后面的網(wǎng)絡(luò)“這全是廢話不用管它了”。這極大地提高了模型提取核心特征的效率。3. 避免梯度消失ReLU 的絕活早期的激活函數(shù)比如 Sigmoid在輸入極大或極小時(shí)曲線是平的。曲線平 導(dǎo)數(shù)為 0 訓(xùn)練時(shí)權(quán)重?zé)o法更新這叫梯度消失。而 ReLU 只要輸入大于 0它的導(dǎo)數(shù)永遠(yuǎn)是 1。這意味著誤差可以暢通無阻地傳回前面的層極大加速了深層網(wǎng)絡(luò)的訓(xùn)練。早期的 Transformer 和現(xiàn)在的很多 CNN中間層都在瘋狂使用 ReLU 或者它的變體 GELU。那為 0 有啥壞處嗎有。如果輸入永遠(yuǎn)小于 0輸出永遠(yuǎn)為 0導(dǎo)數(shù)也為 0。那個(gè)神經(jīng)元就“死”了Dead Neuron參數(shù)永遠(yuǎn)無法更新。為了防這個(gè)工程師后來發(fā)明了Leaky ReLU讓小于 0 的部分不是 0而是0.01 x 0.01x0.01x保留一點(diǎn)點(diǎn)微弱信號(hào)不讓它徹底死掉。插曲一些知識(shí) 偏置 b 和激活函數(shù)真正放在一起看看它們到底是怎么配合的。真相偏置b bb的作用就是用來“控制”激活函數(shù)的結(jié)合公式我們把流程排好第一步線性計(jì)算a w 1 x 1 w 2 x 2 b a w_1x_1 w_2x_2 baw1?x1?w2?x2?b這一步把輸入加權(quán)求和并加上偏置b bb第二步激活函數(shù)y f ( a ) y f(a)yf(a)把算出來的a aa塞進(jìn)激活函數(shù)為什么非要在進(jìn)激活函數(shù)之前加一個(gè)b bb呢你想如果沒有偏置b bb。那么輸入信號(hào)x 1 x_1x1?和x 2 x_2x2?哪怕全等于 0算出來的a aa也是 0。這就意味著當(dāng)沒有輸入信號(hào)時(shí)這個(gè)神經(jīng)元絕對(duì)不可能被激活它永遠(yuǎn)死氣沉沉。加了偏置b bb就相當(dāng)于給神經(jīng)元設(shè)定了一個(gè)“門檻或基礎(chǔ)活躍度”。我們以ReLU 激活函數(shù)公式是f ( a ) m a x ( 0 , a ) f(a) max(0, a)f(a)max(0,a)即負(fù)數(shù)變0正數(shù)保留為例來看看b bb的魔法情況 1假設(shè)b bb是一個(gè)負(fù)數(shù)比如b ? 5 b -5b?5哪怕你給了輸入信號(hào)比如w 1 x 1 w 2 x 2 3 w_1x_1 w_2x_2 3w1?x1?w2?x2?3算出來的a 3 ? 5 ? 2 a 3 - 5 -2a3?5?2。然后a ? 2 a -2a?2進(jìn)了激活函數(shù)ReLU 一看是負(fù)數(shù)直接把它變成 0。結(jié)果這個(gè)神經(jīng)元非?！案呃洹彼X得信號(hào)太弱了不值得興奮所以不激活輸出 0后面的層就不計(jì)算它了。情況 2假設(shè)b bb是一個(gè)正數(shù)比如b 5 b 5b5哪怕你根本沒給任何輸入信號(hào)輸入全是 0算出來的a 0 5 5 a 0 5 5a055。然后a 5 a 5a5進(jìn)了激活函數(shù)ReLU 一看是正數(shù)原樣輸出 5。結(jié)果這個(gè)神經(jīng)元非?！懊舾小币稽c(diǎn)點(diǎn)風(fēng)吹草動(dòng)或者沒動(dòng)靜它也會(huì)被激活。情況 3訓(xùn)練過程中網(wǎng)絡(luò)在調(diào)整b bb網(wǎng)絡(luò)在“學(xué)習(xí)”時(shí)如果發(fā)現(xiàn)某個(gè)神經(jīng)元太容易激活了老是輸出非 0 值導(dǎo)致模型預(yù)測(cè)錯(cuò)誤反向傳播算法就會(huì)把它的b bb調(diào)小一點(diǎn)往負(fù)數(shù)方向調(diào)讓它冷靜一下如果發(fā)現(xiàn)它太死板了總是輸出 0啥特征也學(xué)不到就會(huì)把b bb調(diào)大一點(diǎn)讓它更容易被激活。記住一句話b 是給激活函數(shù)打輔助的它決定了神經(jīng)元被激活的難易程度四、階躍函數(shù)#階躍函數(shù)(輸入是一個(gè)標(biāo)量)importnumpyasnpdefstep_function0(x):ifx0:return1else:return0defstep_function(x):returnnp.array(x0,dtypeint)if__name____main__:xnp.array([0,1,2,3,4,5,-1,-2,-3,-4,-5])print(step_function(x))五、sigmoid下面是函數(shù)和導(dǎo)函數(shù)圖片從第二張導(dǎo)函數(shù)能看出來再等0是到了拐點(diǎn)靠近0是開始急劇增大過了拐點(diǎn)開始慢慢增大減速導(dǎo)函數(shù)下降不代表原函數(shù)就會(huì)下降。只要導(dǎo)函數(shù)的值也就是斜率還是正數(shù)原函數(shù)就一直在上升。核心概念導(dǎo)函數(shù)的“正負(fù)”決定原函數(shù)的“升降”導(dǎo)函數(shù) (f’(x) 0)在 x 軸上方原函數(shù) f(x) 就在上升。導(dǎo)函數(shù) (f’(x) 0)在 x 軸下方原函數(shù) f(x) 就在下降。你看右圖Sigmoid 的導(dǎo)函數(shù)圖像它在 x0之后確實(shí)開始下降了從最高點(diǎn) 0.25 往下掉。但是它下降歸下降它依然在 x 軸的上方數(shù)值依然是正數(shù) 所以原函數(shù) f(x) 依然在增加只是增加的速度變慢了。S i g m o i d SigmoidSigmoid也叫 Logistic 函數(shù)是平滑的、可微的能將任意輸入映射到區(qū)間(0,1)常用于二分類的輸出層。但因其涉及指數(shù)運(yùn)算計(jì)算量相對(duì)較高。S i g m o i d SigmoidSigmoid的輸入在[-6,6]之外時(shí)其輸出值變化很小可能導(dǎo)致信息丟失。S i g m o i d SigmoidSigmoid的輸出并非以 0 為中心其輸出值均0導(dǎo)致后續(xù)層的輸入始終為正可能影響后續(xù)梯度更新方向。S i g m o i d SigmoidSigmoid的導(dǎo)數(shù)范圍為(0,0.25)梯度較小。當(dāng)輸入在[-6,6]之外時(shí)導(dǎo)數(shù)接近 0此時(shí)網(wǎng)絡(luò)參數(shù)的更新將會(huì)極其緩慢。使用 Sigmoid 作為激活函數(shù)可能出現(xiàn)梯度消失在逐層反向傳播時(shí)梯度會(huì)呈指數(shù)級(jí)衰減。別的不說 先搞定求導(dǎo)回憶基礎(chǔ)復(fù)合求導(dǎo)s i g m o i d sigmoidsigmoid求導(dǎo)過程σ ( x ) \sigma(x)σ(x)和 f(x) 一個(gè)意思所以下面ai用σ ( x ) \sigma(x)σ(x)計(jì)算求導(dǎo)σ ( x ) \sigma(x)σ(x)1 1 e ? x \frac{1}{1 e^{-x}}1e?x1?代碼(包含測(cè)試階躍函數(shù))# Sigmoid函數(shù)defsigmoid(x):return1/(1np.exp(-x))if__name____main__:xnp.array([0,1,2,3,4,5,-1,-2,-3,-4,-5])print(step_function(x))print(sigmoid(x))六、Tanh函數(shù)Tanh函數(shù)就是sigmoid的平移和縮放原來sigmoid 的值是 0到1這里2 sigmoid(2x) 的值是 0到2又減去1 所以值變成-1 到 1importnumpyasnp xnp.array([0,1,2,3,4,5,-1,-2,-3,-4,-5])np.tanh(x) 深度學(xué)習(xí)1:基本概念，感知機(jī)，激活函數(shù)(階躍，sigmoid,Tanh函數(shù))
建議看尚硅谷深度學(xué)習(xí)視頻一、深度學(xué)習(xí)基本概念和結(jié)構(gòu)二、感知機(jī)和激活函數(shù)的由來三、激活函數(shù)作用作用一: 沒有激活函數(shù)一萬層網(wǎng)絡(luò)也只等于一層線性回歸啥復(fù)雜問題都解決不了作用二 決定神經(jīng)元是否“放電”特征過濾)作用三 壓縮數(shù)值范圍防止“梯度爆炸”思考:激活函數(shù)算出來是 0 這個(gè)數(shù)值就不會(huì)被下一層加入計(jì)算嗎(是的完全不會(huì))插曲一些知識(shí) 偏置 b 和激活函數(shù)真正放在一起看看它們到底是怎么配合的。四、階躍函數(shù)五、sigmoid六、Tanh函數(shù)筆記來自尚硅谷 深度學(xué)習(xí) 截圖一、深度學(xué)習(xí)基本概念和結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)Artificial Neural NetworkANN簡(jiǎn)稱 神經(jīng)網(wǎng)絡(luò)NN是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的計(jì)算模型。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)是一種自適應(yīng)系統(tǒng)(adaptive system)通俗地講就是具備學(xué)習(xí)功能。相鄰層的神經(jīng)元相互連接(圖中下一層每個(gè)神經(jīng)元都與上一層所有神經(jīng)元連接,稱為 全連接)每個(gè)連接都會(huì)有一個(gè) 權(quán)重。神經(jīng)元中的信息逐層傳遞一般稱為 前向傳播 forward上一層神經(jīng)元的輸出作為下一層神經(jīng)元的輸入二、感知機(jī)和激活函數(shù)的由來感知器(perceptron)是二分類模型,接受多個(gè)信號(hào),輸出一個(gè)信號(hào).感知機(jī)的信號(hào)只有01兩種取值。重要的事打一遍字不用一直線性下去吧h(x)可以將輸入信號(hào)的加權(quán)總和轉(zhuǎn)換為輸出信號(hào),起到激活神經(jīng)元的作用所以被稱為激活函數(shù)三、激活函數(shù)作用激活函數(shù)是連接感知機(jī)和神經(jīng)網(wǎng)絡(luò)的橋梁在神經(jīng)網(wǎng)絡(luò)中起著至關(guān)重要的作用。作用一: 沒有激活函數(shù)一萬層網(wǎng)絡(luò)也只等于一層線性回歸啥復(fù)雜問題都解決不了如果沒有激活函數(shù)整個(gè)神經(jīng)網(wǎng)絡(luò)就等效于單層線性變換不論如何加深層數(shù)總是存在與之等效的“無隱藏層的神經(jīng)網(wǎng)絡(luò)”。激活函數(shù)必須是非線性函數(shù)也正是激活函數(shù)的存在為神經(jīng)網(wǎng)絡(luò)引入了非線性使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)和表示復(fù)雜的非線性關(guān)系。作用二 決定神經(jīng)元是否“放電”特征過濾)現(xiàn)實(shí)中大腦的神經(jīng)元只有當(dāng)接收到的刺激超過一定閾值時(shí)才會(huì)“放電”把信號(hào)傳給下一個(gè)神經(jīng)元。激活函數(shù)就是模擬這個(gè)機(jī)制。它把前一層的加權(quán)求和a aa映射成一個(gè)“激活程度”。比如大于某個(gè)值才把信號(hào)傳給下一層。作用三 壓縮數(shù)值范圍防止“梯度爆炸”你看圖里的a w 1 x 1 w 2 x 2 b a w_1x_1 w_2x_2 baw1?x1?w2?x2?b。如果在深層網(wǎng)絡(luò)里每層算出來的值都越來越大比如變成 1000、10000計(jì)算機(jī)的浮點(diǎn)數(shù)會(huì)溢出模型直接崩潰這叫梯度爆炸。激活函數(shù)可以把這些無限大的數(shù)字“擠壓”回一個(gè)安全范圍比如[ ? 1 , 1 ] [-1, 1][?1,1]或[ 0 , ∞ ) [0, \infty)[0,∞)讓網(wǎng)絡(luò)能穩(wěn)定訓(xùn)練。思考:激活函數(shù)算出來是 0 這個(gè)數(shù)值就不會(huì)被下一層加入計(jì)算嗎(是的完全不會(huì))我們以最經(jīng)典的激活函數(shù)ReLU (Rectified Linear Unit, 線性整流函數(shù))為例。它的公式極簡(jiǎn)單f ( x ) m a x ( 0 , x ) f(x) max(0, x)f(x)max(0,x)。如果輸入x 0 x 0x0輸出還是x xx。如果輸入x ≤ 0 x \le 0x≤0輸出直接強(qiáng)行變成 0?！白兂?0”在下一層計(jì)算時(shí)意味著什么假設(shè)下一層的計(jì)算是y w 1 ? a 1 w 2 ? a 2 b y w_1 \cdot a_1 w_2 \cdot a_2 byw1??a1?w2??a2?b。如果上一層傳過來的a 1 a_1a1?經(jīng)過激活函數(shù)變成了 0。那么y w 1 ? 0 w 2 ? a 2 b w 2 ? a 2 b y w_1 \cdot 0 w_2 \cdot a_2 b w_2 \cdot a_2 byw1??0w2??a2?bw2??a2?b你看w 1 w_1w1?和a 1 a_1a1?直接從公式里消失了。在神經(jīng)網(wǎng)絡(luò)和矩陣運(yùn)算中0 就代表“此路不通”。這就引出了深度學(xué)習(xí)中極其重要的一種現(xiàn)象1. 產(chǎn)生“稀疏性 (Sparsity)”極度省算力圖片里有大量的像素點(diǎn)、一句話里有大量無用的介詞它們對(duì)最終結(jié)果沒貢獻(xiàn)。ReLU 讓這些無用特征直接變成 0。下一層遇到 0 就不用算了大大節(jié)省了 GPU 的算力。這種“斷舍離”不僅省算力還是讓神經(jīng)網(wǎng)絡(luò)變得聰明和高效的秘訣2. 強(qiáng)迫網(wǎng)絡(luò)只關(guān)注“重點(diǎn)”抗噪如果輸入的是無用的噪聲算出來的值大概率小于 0被 ReLU 激活成 0 后等于告訴后面的網(wǎng)絡(luò)“這全是廢話不用管它了”。這極大地提高了模型提取核心特征的效率。3. 避免梯度消失ReLU 的絕活早期的激活函數(shù)比如 Sigmoid在輸入極大或極小時(shí)曲線是平的。曲線平 導(dǎo)數(shù)為 0 訓(xùn)練時(shí)權(quán)重?zé)o法更新這叫梯度消失。而 ReLU 只要輸入大于 0它的導(dǎo)數(shù)永遠(yuǎn)是 1。這意味著誤差可以暢通無阻地傳回前面的層極大加速了深層網(wǎng)絡(luò)的訓(xùn)練。早期的 Transformer 和現(xiàn)在的很多 CNN中間層都在瘋狂使用 ReLU 或者它的變體 GELU。那為 0 有啥壞處嗎有。如果輸入永遠(yuǎn)小于 0輸出永遠(yuǎn)為 0導(dǎo)數(shù)也為 0。那個(gè)神經(jīng)元就“死”了Dead Neuron參數(shù)永遠(yuǎn)無法更新。為了防這個(gè)工程師后來發(fā)明了Leaky ReLU讓小于 0 的部分不是 0而是0.01 x 0.01x0.01x保留一點(diǎn)點(diǎn)微弱信號(hào)不讓它徹底死掉。插曲一些知識(shí) 偏置 b 和激活函數(shù)真正放在一起看看它們到底是怎么配合的。真相偏置b bb的作用就是用來“控制”激活函數(shù)的結(jié)合公式我們把流程排好第一步線性計(jì)算a w 1 x 1 w 2 x 2 b a w_1x_1 w_2x_2 baw1?x1?w2?x2?b這一步把輸入加權(quán)求和并加上偏置b bb第二步激活函數(shù)y f ( a ) y f(a)yf(a)把算出來的a aa塞進(jìn)激活函數(shù)為什么非要在進(jìn)激活函數(shù)之前加一個(gè)b bb呢你想如果沒有偏置b bb。那么輸入信號(hào)x 1 x_1x1?和x 2 x_2x2?哪怕全等于 0算出來的a aa也是 0。這就意味著當(dāng)沒有輸入信號(hào)時(shí)這個(gè)神經(jīng)元絕對(duì)不可能被激活它永遠(yuǎn)死氣沉沉。加了偏置b bb就相當(dāng)于給神經(jīng)元設(shè)定了一個(gè)“門檻或基礎(chǔ)活躍度”。我們以ReLU 激活函數(shù)公式是f ( a ) m a x ( 0 , a ) f(a) max(0, a)f(a)max(0,a)即負(fù)數(shù)變0正數(shù)保留為例來看看b bb的魔法情況 1假設(shè)b bb是一個(gè)負(fù)數(shù)比如b ? 5 b -5b?5哪怕你給了輸入信號(hào)比如w 1 x 1 w 2 x 2 3 w_1x_1 w_2x_2 3w1?x1?w2?x2?3算出來的a 3 ? 5 ? 2 a 3 - 5 -2a3?5?2。然后a ? 2 a -2a?2進(jìn)了激活函數(shù)ReLU 一看是負(fù)數(shù)直接把它變成 0。結(jié)果這個(gè)神經(jīng)元非?！案呃洹彼X得信號(hào)太弱了不值得興奮所以不激活輸出 0后面的層就不計(jì)算它了。情況 2假設(shè)b bb是一個(gè)正數(shù)比如b 5 b 5b5哪怕你根本沒給任何輸入信號(hào)輸入全是 0算出來的a 0 5 5 a 0 5 5a055。然后a 5 a 5a5進(jìn)了激活函數(shù)ReLU 一看是正數(shù)原樣輸出 5。結(jié)果這個(gè)神經(jīng)元非?！懊舾小币稽c(diǎn)點(diǎn)風(fēng)吹草動(dòng)或者沒動(dòng)靜它也會(huì)被激活。情況 3訓(xùn)練過程中網(wǎng)絡(luò)在調(diào)整b bb網(wǎng)絡(luò)在“學(xué)習(xí)”時(shí)如果發(fā)現(xiàn)某個(gè)神經(jīng)元太容易激活了老是輸出非 0 值導(dǎo)致模型預(yù)測(cè)錯(cuò)誤反向傳播算法就會(huì)把它的b bb調(diào)小一點(diǎn)往負(fù)數(shù)方向調(diào)讓它冷靜一下如果發(fā)現(xiàn)它太死板了總是輸出 0啥特征也學(xué)不到就會(huì)把b bb調(diào)大一點(diǎn)讓它更容易被激活。記住一句話b 是給激活函數(shù)打輔助的它決定了神經(jīng)元被激活的難易程度四、階躍函數(shù)#階躍函數(shù)(輸入是一個(gè)標(biāo)量)importnumpyasnpdefstep_function0(x):ifx0:return1else:return0defstep_function(x):returnnp.array(x0,dtypeint)if__name____main__:xnp.array([0,1,2,3,4,5,-1,-2,-3,-4,-5])print(step_function(x))五、sigmoid下面是函數(shù)和導(dǎo)函數(shù)圖片從第二張導(dǎo)函數(shù)能看出來再等0是到了拐點(diǎn)靠近0是開始急劇增大過了拐點(diǎn)開始慢慢增大減速導(dǎo)函數(shù)下降不代表原函數(shù)就會(huì)下降。只要導(dǎo)函數(shù)的值也就是斜率還是正數(shù)原函數(shù)就一直在上升。核心概念導(dǎo)函數(shù)的“正負(fù)”決定原函數(shù)的“升降”導(dǎo)函數(shù) (f’(x) 0)在 x 軸上方原函數(shù) f(x) 就在上升。導(dǎo)函數(shù) (f’(x) 0)在 x 軸下方原函數(shù) f(x) 就在下降。你看右圖Sigmoid 的導(dǎo)函數(shù)圖像它在 x0之后確實(shí)開始下降了從最高點(diǎn) 0.25 往下掉。但是它下降歸下降它依然在 x 軸的上方數(shù)值依然是正數(shù) 所以原函數(shù) f(x) 依然在增加只是增加的速度變慢了。S i g m o i d SigmoidSigmoid也叫 Logistic 函數(shù)是平滑的、可微的能將任意輸入映射到區(qū)間(0,1)常用于二分類的輸出層。但因其涉及指數(shù)運(yùn)算計(jì)算量相對(duì)較高。S i g m o i d SigmoidSigmoid的輸入在[-6,6]之外時(shí)其輸出值變化很小可能導(dǎo)致信息丟失。S i g m o i d SigmoidSigmoid的輸出并非以 0 為中心其輸出值均0導(dǎo)致后續(xù)層的輸入始終為正可能影響后續(xù)梯度更新方向。S i g m o i d SigmoidSigmoid的導(dǎo)數(shù)范圍為(0,0.25)梯度較小。當(dāng)輸入在[-6,6]之外時(shí)導(dǎo)數(shù)接近 0此時(shí)網(wǎng)絡(luò)參數(shù)的更新將會(huì)極其緩慢。使用 Sigmoid 作為激活函數(shù)可能出現(xiàn)梯度消失在逐層反向傳播時(shí)梯度會(huì)呈指數(shù)級(jí)衰減。別的不說 先搞定求導(dǎo)回憶基礎(chǔ)復(fù)合求導(dǎo)s i g m o i d sigmoidsigmoid求導(dǎo)過程σ ( x ) \sigma(x)σ(x)和 f(x) 一個(gè)意思所以下面ai用σ ( x ) \sigma(x)σ(x)計(jì)算求導(dǎo)σ ( x ) \sigma(x)σ(x)1 1 e ? x \frac{1}{1 e^{-x}}1e?x1?代碼(包含測(cè)試階躍函數(shù))# Sigmoid函數(shù)defsigmoid(x):return1/(1np.exp(-x))if__name____main__:xnp.array([0,1,2,3,4,5,-1,-2,-3,-4,-5])print(step_function(x))print(sigmoid(x))六、Tanh函數(shù)Tanh函數(shù)就是sigmoid的平移和縮放原來sigmoid 的值是 0到1這里2 sigmoid(2x) 的值是 0到2又減去1 所以值變成-1 到 1importnumpyasnp xnp.array([0,1,2,3,4,5,-1,-2,-3,-4,-5])np.tanh(x)