關(guān)于RNN、LSTM和BiLSTM網(wǎng)上教程不少但大多要么偏數(shù)學(xué)推導(dǎo)讓人望而生畏要么只給個Keras demo跑完就完事原理和實操之間始終隔著一層窗戶紙。我最初學(xué)這部分時也繞了不少彎路回頭再看核心其實就是三件事明白RNN為什么處理不了長序列、理解LSTM的門控機制到底在解決什么問題、搞清楚BiLSTM的雙向拼接在信息利用上有什么本質(zhì)不同。這篇文章把我自己的學(xué)習筆記整理了一遍從原理推導(dǎo)到代碼實現(xiàn)再到工程選型盡量把每個為什么都說透適合正在啃序列模型、準備做文本分類或者剛接觸到詞向量相關(guān)項目的讀者。1. 從全連接網(wǎng)絡(luò)到循環(huán)結(jié)構(gòu)為什么序列數(shù)據(jù)需要一套新架構(gòu)1.1 序列數(shù)據(jù)的基本特征與建模難點日常吃飯、購物、聊天其實都帶著時間順序。一段語音、一句話、一段股價走勢甚至傳感器采集的連續(xù)信號共同點是樣本本身有先后順序后面出現(xiàn)的內(nèi)容和前面出現(xiàn)的內(nèi)容有依賴關(guān)系。普通的全連接網(wǎng)絡(luò)在處理這類數(shù)據(jù)時有個天然缺陷——它把每個輸入當成了獨立的點上一時刻和下一時刻之間沒有任何信息傳遞的通道。舉個例子一句話里我喜歡吃蘋果和蘋果我喜歡吃用詞相同但語義重心完全不同順序本身就是信息。全連接網(wǎng)絡(luò)面對這種倒裝結(jié)構(gòu)如果只是把詞向量拼在一起丟進網(wǎng)絡(luò)模型根本不知道哪個詞先出現(xiàn)、哪個詞后出現(xiàn)更別說捕捉因為前面出現(xiàn)了否定詞所以后面整個句子的情感要反轉(zhuǎn)這種長距離依賴了。序列數(shù)據(jù)建模的核心矛盾就在這里如何在處理當前時間步的時候同時攜帶并更新對過去內(nèi)容的記憶。1.2 RNN的核心思想?yún)?shù)共享與隱狀態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)解決這個問題的思路非常樸素在網(wǎng)絡(luò)里加一條記憶傳送帶每個時間步在接收當前輸入的同時也接收上一個時間步傳來的隱狀態(tài)兩者一起決定當前的輸出和新隱狀態(tài)。用公式表示就是 h_t f(W_h * h_{t-1} W_x * x_t b)f是激活函數(shù)常見用tanh。這里最關(guān)鍵的設(shè)計是參數(shù)共享無論處理第幾個時間步W_h和W_x是同一套權(quán)重。這個思想很像人閱讀時的狀態(tài)——你讀每個詞時用的語言理解能力是同一套但每讀完一個詞腦子里對這句話的理解隱狀態(tài)都在更新。正因為參數(shù)共享RNN可以處理變長輸入這也是它能泛化到任意長度序列的根本原因。我當時畫了一張簡單的展開圖來理解把RNN按時間步展開每個時間步的網(wǎng)絡(luò)結(jié)構(gòu)完全一樣只是輸入和隱狀態(tài)不同。這種展開視角對后面理解BPTT算法特別有幫助梯度回傳就是沿著這條展開鏈一步步往前傳的而問題恰恰就出在這條鏈太長上面。2. 梯度消失與梯度爆炸RNN訓(xùn)練困難的真正根源2.1 BPTT算法梯度如何沿著時間鏈傳遞RNN的訓(xùn)練算法叫BPTTBackpropagation Through Time本質(zhì)就是把網(wǎng)絡(luò)按時間步展開成深層網(wǎng)絡(luò)然后做反向傳播。展開后的深度等于序列長度一個50個詞的句子展開后就是一個50層的網(wǎng)絡(luò)。用三層全連接做個類比假設(shè)一個網(wǎng)絡(luò)的層間權(quán)重是2兩層間的梯度會放大2倍如果是0.5梯度就縮小一半。RNN沿著時間鏈條傳梯度時每一步都要乘一遍共享權(quán)重矩陣W_h。連續(xù)乘50次如果W_h的譜半徑小于1梯度指數(shù)級縮小前面時間步的參數(shù)幾乎得不到有效更新如果譜半徑大于1梯度又可能指數(shù)級膨脹訓(xùn)練直接發(fā)散。一句話概括RNN離輸入越近的時間步越學(xué)不到東西。2.2 梯度消失如何摧毀長程記憶梯度消失最直觀的后果是網(wǎng)絡(luò)記憶力非常短。它能記住幾秒前的內(nèi)容但更早的信息幾乎被遺忘了。在一個情感分類任務(wù)里如果開心和難過之間隔著二十幾個詞普通RNN學(xué)到的是只依賴最后幾個詞做判斷前面的關(guān)鍵信息早就被梯度的指數(shù)衰減給抹平了。這就是常說的長期依賴問題——RNN的結(jié)構(gòu)決定了它天然偏科短期記憶還行長期記憶約等于沒有。2.3 工程上的補救措施梯度裁剪與參數(shù)初始化對于梯度爆炸工程上有個簡單粗暴的招——梯度裁剪計算完梯度后如果梯度的范數(shù)超過某個閾值就整體按比例縮放回去。這就像安全帶平時不覺得有用一旦梯度異常膨脹它能防止訓(xùn)練徹底失控。我通常在PyTorch里設(shè)定max_grad_norm為1.0到5.0之間很多時候可以避免loss變成NaN。梯度消失就麻煩不少。最初的方法包括換激活函數(shù)比如用ReLU替代tanh以減少梯度衰減、精心的權(quán)重初始化比如將W_h初始化為正交矩陣或恒等矩陣附近、加殘差連接。這些方法有些效果但治標不治本RNN仍然難以穩(wěn)定學(xué)習十步以上的依賴。真正帶來結(jié)構(gòu)性質(zhì)變的是LSTM。3. LSTM的門控機制給記憶裝上一套可學(xué)習的讀寫控制系統(tǒng)3.1 細胞狀態(tài)一條跨越時間步的高速通道LSTM的核心構(gòu)件是細胞狀態(tài)C_t它像一條貫穿整個序列的高速公路。這條高速路上信息的流動受三個門控制遺忘門、輸入門、輸出門。和RNN的隱狀態(tài)在每個時間步都被完全覆蓋不同細胞狀態(tài)允許信息在時間步間以接近線性的方式傳遞——這正是緩解梯度消失的關(guān)鍵結(jié)構(gòu)設(shè)計。為什么接近線性傳遞能緩解梯度消失反傳梯度時如果每一步都能有一個近似于乘以1的通路梯度就不會被指數(shù)級壓縮。LSTM的細胞狀態(tài)更新公式里包含了加性操作C_t f_t ⊙ C_{t-1} i_t ⊙ ?_t誤差信號可以通過這條加性路徑跨過很遠的時間步傳回去不會像RNN那樣每一步都被tanh的導(dǎo)數(shù)最大值只有1反復(fù)壓縮。3.2 三個門的職責分工遺忘門決定保留多少舊記憶 f_t σ(W_f * [h_{t-1}, x_t] b_f)輸入門決定寫入多少候選新內(nèi)容 i_t σ(W_i * [h_{t-1}, x_t] b_i)候選細胞狀態(tài)則用tanh生成 ?_t tanh(W_c * [h_{t-1}, x_t] b_c)輸出門決定當前隱狀態(tài)展示哪些信息 o_t σ(W_o * [h_{t-1}, x_t] b_o)h_t o_t ⊙ tanh(C_t)用生活化的比喻遺忘門像是你讀書時決定哪些舊筆記可以扔掉輸入門決定新看到的句子哪些值得寫進筆記輸出門決定寫完筆記后以什么表情展示給別人看。這個過程不是人工設(shè)定規(guī)則而是通過訓(xùn)練數(shù)據(jù)自動學(xué)出來的——模型自己找到哪些歷史信息該記、哪些該忘的邊界。很多人在初學(xué)時容易忽略一點門的輸出是0到1之間的連續(xù)值而不是非0即1的開關(guān)。這意味著記憶的保留和寫入是軟控制的——大部分時候遺忘門輸出接近0.9或0.7并不會完全清空歷史信息。這種平滑的軟控制讓整個網(wǎng)絡(luò)保持可微梯度才能正常反向傳播。3.3 LSTM變體與簡化思路LSTM在實踐中還有幾個常見變體。peephole連接讓門控能看到細胞狀態(tài)本身相當于決策時不只參考當前輸入和隱狀態(tài)還能看自己記了些什么GRU則把遺忘門和輸入門合并成更新門細胞狀態(tài)和隱狀態(tài)合并成一個狀態(tài)參數(shù)更少在不少任務(wù)上和LSTM效果持平訓(xùn)練速度還更快。如果項目對推理延遲敏感GRU通常是個值得優(yōu)先嘗試的選項。不過需要潑一盆冷水LSTM并沒有徹底解決梯度消失。它的加性通路讓梯度傳得遠但如果遺忘門長期輸出接近0舊信息依然會被切斷。實踐中如果任務(wù)需要建模幾百甚至上千步的依賴LSTM仍然會吃力這時候就要考慮Transformer那套注意力機制了。4. BiLSTM的雙向信息融合序列編碼為什么需要兩個方向的視角4.1 單向LSTM的信息盲區(qū)只能看見左邊看不見右邊單向LSTM有個先天特點它從左往右掃描序列更新到第t個詞時隱狀態(tài)里只包含了1到t的信息對于第t個詞右邊的詞它是完全看不見的。這個特點在某些場景下不是問題——比如語言模型預(yù)測下一個詞時本來就不應(yīng)該依賴未來信息但在很多自然語言理解任務(wù)里未來信息恰恰是理解當前詞的關(guān)鍵。舉個典型例子判斷他打了一個人和他打了一個電話中的打含義完全不同。如果不看右邊的人或電話單靠左邊的他和打模型無法區(qū)分。人在閱讀時其實是整句掃描的不會只看某個詞左邊的內(nèi)容。單向LSTM在這里有明顯的結(jié)構(gòu)劣勢。4.2 前向與后向的兩次掃描BiLSTM的思路很簡單跑兩個獨立的LSTM一個從左往右一個從右往左。前向LSTM的隱狀態(tài)記為→h_t它編碼了左邊上下文后向LSTM的隱狀態(tài)記為←h_t它編碼了右邊上下文。每個位置最終的輸出是把兩個方向的結(jié)果拼接或相加。拼接是最常見的做法 h_t [→h_t; ←h_t]維度變?yōu)樵瓉淼膬杀?。如果前向和后向都是hidden_dim128拼接后每步輸出維度就是256。某些輕量實現(xiàn)也會用相加但信息利用效率理論上不如拼接——畢竟兩個方向可能攜帶互補信息拼接保留了完整特征讓后續(xù)層自己決定如何組合。這里有個容易踩的坑后向LSTM并不是倒著預(yù)測它不會輸出未來詞是什么而是在完整已知序列的前提下從右向左編碼每個詞在右邊上下文中扮演的角色。這兩個方向在處理整個序列時同時工作結(jié)果對齊到每個時間步。4.3 雙向編碼在多層堆疊時的注意點真正把BiLSTM做到能打的工程里通常會堆疊兩層甚至三層。第一層BiLSTM輸出的隱狀態(tài)序列作為第二層BiLSTM的輸入這樣可以逐層抽象出更復(fù)雜的語言特征。但堆疊時要注意時序?qū)R——每一層的每個時間步對應(yīng)同一個詞位置padding部分的計算和mask都必須妥善處理否則噪聲會順著層結(jié)構(gòu)向上傳播。我見過不少人把雙向的輸出維度算錯導(dǎo)致全連接層輸入維度對不上。這里給個經(jīng)驗公式BiLSTM每個時間步輸出的特征維度 2 × hidden_size。如果后面接全局池化序列長度維會被壓縮掉最終入全連接層的維度還是2 × hidden_size這個一定要在模型代碼里print出來核對一遍別只靠心算。5. 從零搭建一個BiLSTM文本分類模型實操中的關(guān)鍵步驟與坑5.1 數(shù)據(jù)預(yù)處理填充、mask與詞表的正確姿勢實操環(huán)節(jié)我用一個模擬的中文情感分類Demo來演示。原始數(shù)據(jù)是一批已分詞的句子每條標注正負情感。預(yù)處理時首先要構(gòu)建詞表給每個詞分配一個索引然后設(shè)定最大序列長度比如max_len100。短的句子在末尾補0長的句子截斷。填充方向有個細節(jié)后向LSTM從右往左掃描如果padding都加在右邊后向LSTM會在padding上浪費不少計算量而且可能把無效信息編碼進狀態(tài)。大多數(shù)框架默認左填充在序列開頭pad這樣左側(cè)的填充只會影響前向LSTM的前幾步后向LSTM實際是從真實結(jié)尾開始處理同時要構(gòu)造attention mask或padding mask讓池化和損失計算時忽略填充位。我在代碼里習慣先定義一個mask矩陣形狀和輸出序列一致填充位置置0有效位置置1后面池化時用mask乘一下避免padding吞掉真實語義。5.2 模型結(jié)構(gòu)embedding層、雙向LSTM層與池化模型結(jié)構(gòu)大致是這樣Embedding層詞表大小×embedding_dim把每個詞映射成稠密向量。BiLSTM層hidden_size設(shè)為128兩個方向獨立計算輸出拼接成256維。池化層對每個時間步的輸出做mean-pooling或max-pooling得到一個256維的句向量。mean-pooling保留整體語義傾向max-pooling更能捕捉最強烈信號在情感分類里我更常用max-pooling效果通常略好。全連接層激活256維映射到2類過softmax得到概率分布。這里有個我踩過很多次的坑整個項目里最容易出問題的地方不是模型結(jié)構(gòu)而是詞表索引和padding索引的沖突。如果詞表里0被占用成真實詞padding又用0模型會把pad當成一個真實詞來學(xué)序列長度不同時行為還不一致效果經(jīng)常莫名其妙地差。我現(xiàn)在的習慣是詞表索引從1開始0專門留給padding或者建詞表時把pad_token顯式放進去并加入訓(xùn)練。這個小細節(jié)一旦處理好模型穩(wěn)定性會上一個臺階。5.3 訓(xùn)練策略學(xué)習率、梯度裁剪與early stopping的取舍訓(xùn)練時我一般先用Adam初始學(xué)習率1e-3。BiLSTM相比Transformer沒那么嬌氣但對學(xué)習率仍然敏感。訓(xùn)練日志要同時打印loss和accuracy我習慣每兩個epoch后評估一次驗證集如果loss連續(xù)兩三個epoch不下降就把學(xué)習率乘0.5。梯度裁剪對RNN系模型是標配max_grad_norm設(shè)在1.0左右比較穩(wěn)妥。早停策略也要配合我通常設(shè)置patience5驗證集指標連續(xù)5個epoch沒有提升就停止。這兩個技巧組合使用能避免很多訓(xùn)練到一半loss突然起飛或過擬合到訓(xùn)練集但驗證集紋絲不動的情況。另外要提醒一句BiLSTM不適合在很短的序列上硬上。如果序列長度平均不到10雙向結(jié)構(gòu)帶來的收益非常有限反而增加過擬合風險此時普通LSTM甚至邏輯回歸都可能表現(xiàn)更好。判斷一個任務(wù)適不適合用BiLSTM先問自己這個任務(wù)是否同時需要左右兩側(cè)的上下文信息。如果答案是肯定的再上不遲。6. 三種模型橫向?qū)Ρ瓤赐昴憔椭廊蝿?wù)來了該選誰6.1 性能、參數(shù)與訓(xùn)練效率的直觀對照表我把RNN、LSTM、BiLSTM放在一張表里對比方便快速建立直覺模型長程依賴建模雙向上下文參數(shù)量級訓(xùn)練難度主要適用場景RNN弱不支持除非拼接兩個單向RNN小梯度問題顯著訓(xùn)練不穩(wěn)定短序列、簡單序列回歸/生成教學(xué)演示LSTM強不支持信息只來自左側(cè)中較穩(wěn)定需配合梯度裁剪時間序列預(yù)測、語言模型、需要單向順序建模的任務(wù)BiLSTM強支持中大規(guī)模約為LSTM兩倍較穩(wěn)定訓(xùn)練時間約2倍文本分類、命名實體識別、序列標注等NLP任務(wù)還有一個容易被忽略的維度序列生成任務(wù)不能用BiLSTM因為生成過程是逐步解碼的未來內(nèi)容本來就不可知。BiLSTM只能用于整個序列已知的理解類任務(wù)。這個邊界很多人一開始沒注意等到了做生成模型時才發(fā)現(xiàn)雙向結(jié)構(gòu)根本沒法直接用來生成。6.2 選型判斷依據(jù)從數(shù)據(jù)規(guī)模到任務(wù)邊界從數(shù)據(jù)規(guī)模和任務(wù)復(fù)雜度來看我的經(jīng)驗是數(shù)據(jù)量只有幾百條時普通RNN或簡單LSTM可能比BiLSTM更合適——模型復(fù)雜度低不容易過擬合數(shù)據(jù)量達到萬級且任務(wù)需要雙向語義時BiLSTM的收益最明顯。從任務(wù)邊界來看如果是情感分類這類整句語義判斷的任務(wù)BiLSTM幾乎是默認選擇如果是逐詞詞性標注BiLSTM配合CRF層是經(jīng)典組合。從訓(xùn)練收斂速度來看BiLSTM因為有兩個方向訓(xùn)練時間大約是單向LSTM的兩倍。在工業(yè)界做在線推理時兩倍延遲有時候就是能不能上線的分水嶺。我實際做過對比在某個實體識別項目中BiLSTM比單向LSTM準確率高3到5個百分點但推理耗時也翻了倍最終是在準確率和性能之間取了平衡才定的方案。6.3 我在實際項目中總結(jié)的幾條經(jīng)驗第一不要盲目堆層數(shù)。BiLSTM堆疊兩層通常已經(jīng)足夠第三層以后收益很微弱訓(xùn)練開銷卻明顯上漲。第二一定要做padding mask。我之前在某個項目里偷懶沒傳mask結(jié)果模型學(xué)習了大量無效位置的特征驗證集指標怎么也上不去排查了幾天才發(fā)現(xiàn)是這個小問題。第三詞向量的處理方式比網(wǎng)絡(luò)結(jié)構(gòu)更影響最終效果。在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練好詞向量再微調(diào)通常比隨機初始化Embedding從頭訓(xùn)練效果更穩(wěn)但如果數(shù)據(jù)規(guī)模小隨機初始化加上足夠的正則化也不至于差到哪里去。第四把BiLSTM輸出的向量可視化一下會有意想不到的發(fā)現(xiàn)。我常用t-SNE把句向量投影到二維平面同一類別的樣本會自動聚成一團不同類別的邊界清晰。這能幫你快速判斷模型有沒有學(xué)到有效語義而不是只看accuary這一個數(shù)字。有一次我做完可視化后發(fā)現(xiàn)某個類別的樣本分成兩簇——排查后發(fā)現(xiàn)是數(shù)據(jù)標注噪音問題這比模型本身的問題更值得先解決。寫在最后的實操心得學(xué)RNN系模型最忌諱的就是只看公式不上手。我建議你找個1000條的小型分類數(shù)據(jù)集分別用RNN、LSTM、BiLSTM跑一遍記錄loss曲線和驗證集指標。這個對照實驗比看十篇教程都有用你能直觀地看到RNN的loss如何震蕩下不去LSTM如何穩(wěn)定收斂BiLSTM如何多花一倍的訓(xùn)練時間換回幾個百分點的準確率。我自己當年跑完這個實驗后對這三種模型的理解才真正扎了根。一個小技巧收尾訓(xùn)練時記錄每個epoch的損失值畫一條曲線觀察它是平穩(wěn)下降還是突然跳動。如果突然跳動大概率是學(xué)習率太大或梯度裁剪閾值沒設(shè)好如果loss下降很慢考慮是不是詞表里有太多低頻詞干擾了Embedding的學(xué)習。序列模型的調(diào)試往往就是這些看似瑣碎的細節(jié)積累出來的把這些細節(jié)記錄成自己的檢查清單以后再遇到類似任務(wù)會順手很多。