這幾年的深度學習熱度已經算不上新聞了。但真正把“深度學習”這四個字講清楚的文字反而不多。很多人知道神經網絡厲害卻不知道它經歷了三次起起落落才走到今天知道訓練要大算力、大數(shù)據卻不知道這三者跟算法是如何互相掐架又互相托底的也知道深度學習是“受大腦啟發(fā)”卻不清楚它跟神經科學之間到底誰欠了誰的中間鬧過多少誤會。上篇聊了深度學習的源流從早期神經元模型一直講到聯(lián)結主義學派如何被邊緣化。這篇咱們接著把這攤子事兒往后捋重點拆三個東西三次浪潮是怎么一浪接一浪的三大驅動力缺了誰都不行以及深度學習跟神經科學之間那點“效仿、叛逃、又暗通款曲”的恩怨。適合兩類人看一是想系統(tǒng)梳理深度學習來龍去脈的非算法從業(yè)者二是學了很多工程細節(jié)但不太了解歷史背景的開發(fā)者和研究者。理解歷史不是考古它直接決定你現(xiàn)在做的很多取舍到底站不站得住腳。1. 三次浪潮深度學習不是一夜爆紅而是起落三輪1.1 第一波浪潮神經元模型的“過度自信”早在上世紀中葉就有研究者從腦科學的角度提出了“神經元計算”的概念。后來另一位學者拿電子線路模擬了單個神經元的輸入輸出關系做成了歷史上第一個可學習的模型——感知機。這個東西現(xiàn)在看很簡單輸入加權求和經過一個閾值判斷輸出0或1。但它啟發(fā)了一個極其重要的思考方式也許智能不需要被編寫成規(guī)則而是可以通過調整“權重”自動從數(shù)據里學出來。當時學界有多樂觀呢某位開創(chuàng)者直接在公開場合說過類似“用不了多少年就能制造出真正的機器大腦”的話。你聽這個口氣就知道第一次浪潮為什么很快就撞了墻。感知機能解決的只是線性可分問題一個最簡單但最致命的異或邏輯它就怎么都學不會。后來的教科書都喜歡把這筆賬記在“異或”頭上實際上更深層的原因是單層模型表達能力有限而當時根本沒有算力去支撐多層模型的訓練試探。到六十年代末一篇質疑性的理論文章發(fā)表后美國聯(lián)幫科研經費迅速從神經網絡撤走第一波浪潮基本是“被撥冷水潑滅的”。1.2 第二波浪潮反向傳播帶來的“短暫復興”如果說第一波浪潮是“結構太簡單”那么第二波浪潮的核心突破就是把“多層”訓練重新拉回舞臺中央。八十年代一種通過鏈式求導反向逐層調整權重的算法——誤差反向傳播被多位研究者獨立重提并帶入實際操作中。從此神經網絡可以擁有隱含層可以擬合非線性函數(shù)。這在做模式識別的人眼里簡直是“學習機器”重新有了生命。但第二波浪潮的生命周期很短原因也很現(xiàn)實。反向傳播說起來漂亮真正訓練一個稍微深一點的網絡在當時的工作站上要跑幾天甚至幾個星期。數(shù)據量不夠沒有GPU用的都是讓神經網絡連一些小規(guī)模的字母識別都磕磕絆絆。與此同時基于核方法的分類器就是后來在統(tǒng)計學習里非常風光的某類方法在多個任務上表現(xiàn)更好而且有深厚的數(shù)學理論撐腰。那幾年神經網絡的研究者出去申請基金評審人幾乎默認這類工作是“過氣把戲”。很多研究者怕影響畢業(yè)和晉升悄悄把論文標題里的“神經網絡”改成了“聯(lián)結系統(tǒng)”或者干脆轉向其他方向。1.3 第三波浪潮這一回是“規(guī)?；钡膭倮谌ǔ鳖^真正卷上來大約是在二十一世紀第一個十年之后。這波浪潮跟前兩波最不一樣的地方在于它沒有提出完全顛覆性的學習范式而是把前兩波積累的BP、CNN、RNN等老概念拿更大算力、更大數(shù)據量、更好的工程技巧重新“喂”了一遍。結果在某個大型圖像識別競賽上一個深度卷積網絡把錯誤率降掉了將近一半震撼了整個計算機視覺圈子。從此深度學習全面覆蓋語音識別、自然語言處理、自動駕駛、蛋白質結構預測一路滾到今天的大模型。所以有人總結說第三次浪潮本質上不是“理論革命”而是“規(guī)模革命”。前兩波都是在實驗室里“小打小鬧”第三波則是把實驗室的東西搬到了工廠的流水線上用海量數(shù)據和并行計算把模型“撐”了起來。這也解釋了為什么神經網絡總是“越深越好”——當然不是無限深但足夠深的網絡配合足夠多的數(shù)據確實能學到人類難以手工設計的弱特征。2. 三大驅動力算力、數(shù)據與算法的“合謀”2.1 算力從CPU到GPU再到專用芯片把算力放在最前面不是因為它比數(shù)據和算法高級而是因為它是“卡點”卡得最明顯的一個。早期訓練一個兩層的感知機用CPU模擬幾百次迭代還能忍可一旦網絡層數(shù)超過五六層權重數(shù)量上百萬反向傳播里每一步都要做矩陣乘CPU串行計算根本扛不住。到第二波浪潮后期有些研究者已經意識到“深度學習在數(shù)學上沒什么問題就是算力跑不動”。后來圖形處理器GPU被開發(fā)者偶然發(fā)現(xiàn)特別適合做矩陣運算。GPU是設計來并行處理像素的每個核心雖然弱但架不住數(shù)量多矩陣乘法的每個元素剛好可以分給不同核心同時算。這一下就把神經網絡的訓練時間從“周”縮短到了“天”再到“小時”。再往后某科技巨頭研發(fā)了專用AI芯片進一步把矩陣運算固化到硅片上訓練規(guī)模才得以指數(shù)級擴張。你看今天大模型訓練動輒幾千張加速卡互聯(lián)就是這個邏輯的極致化。2.2 數(shù)據從人工收集到互聯(lián)網海量數(shù)據算法再強算力再猛沒有數(shù)據等于沒米下鍋。深度學習比傳統(tǒng)機器學習更“貪吃”因為它的特征不是人設計出來的而是要網絡自己從大量樣本里統(tǒng)計出來。這意味著樣本數(shù)量不光要多還要能覆蓋足夠多變的模式。互聯(lián)網時代給數(shù)據提供了兩個便利一是數(shù)據總量變大了二是數(shù)據可以被低成本采集、清洗、打標。早期做手寫數(shù)字識別研究者為了湊幾千個樣本還得找郵局要信件信封到了圖像識別競賽時代大規(guī)模數(shù)據集里的圖片數(shù)量直接到了百萬級。有了這個量級的數(shù)據深層的卷積網絡才能從底層邊緣紋理逐級組合出高級語義。甚至有研究顯示某個領域的神經網絡性能隨數(shù)據量增加而持續(xù)提升并沒有明顯飽和點。這就鼓勵后續(xù)的大模型繼續(xù)堆數(shù)據、堆參數(shù)。2.3 算法從反向傳播到注意力機制算力和數(shù)據是“肌肉”和“食物”算法是把它們組織起來的那套神經指揮系統(tǒng)。反向傳播是基礎但它在深層網絡上有兩個致命弱點一是梯度會逐層衰減接近輸入層的權重幾乎沒信號更新二是梯度容易爆炸參數(shù)亂跳直接讓訓練發(fā)散。于是后續(xù)二十年里算法研究者干的主要事情就是“給梯度修路”。修路的手段包括把激活函數(shù)換成整流線性單元ReLU來緩解梯度消失加批量歸一化讓每層輸入的分布穩(wěn)定下來加殘差連接讓信息能跳過若干層直接向前傳給淺層用隨機失活Dropout降低過擬合。這些技巧單獨來看都很樸素但組合在一起就把“能不能訓練出幾十層網絡”這個問題給解決了。再往后到了自然語言處理領域自注意力機制也就是多頭注意力徹底取代了循環(huán)結構的時序建模方式讓網絡并行處理全部位置并顯式捕捉長距離依賴于是橫掃一切的Transformer架構登上舞臺。2.4 三角循環(huán)先有雞還是先有蛋很多人喜歡問深度學習能火到底哪個驅動力最重要。我的看法是它們是一個互相鎖死的循環(huán)。有算法創(chuàng)新但算力不夠只能當玩具有算力但數(shù)據太少模型照樣過擬合有數(shù)據、有算力但算法效率太差訓練成本貴到讓人放棄。舉個例子反向傳播八十年代就重新提出來了但一直到2010年左右才展現(xiàn)出碾壓性優(yōu)勢中間缺的就是算力和數(shù)據的“填滿”。反過來說如果當年沒有GPU這個外掛硬件即便有一百個大數(shù)據集靠CPU訓練一個現(xiàn)代級卷積網絡時間會漫長到普通人根本沒有耐心的地步。所以不要崇拜某一個單一因素研究深度學習的歷史你看到的往往是一個“原本低效的算法在社會基礎設施全面進步后終于跑通了”的故事。3. 與神經科學的“恩怨”借鑒與背離3.1 早期深度學習如何從大腦中“抄作業(yè)”深度學習這一脈的早期研究者大多有神經科學或心理學的學術背景。感知機的提出者就承認靈感來自神經元的“全有或全無”反應。到了卷積神經網絡誕生借鑒大腦視覺皮層的細節(jié)就更明顯了視覺皮層里的簡單細胞對局部邊緣方向敏感復雜細胞則對這些邊緣響應做空間聚合。于是研究者設計了卷積層里的局部感受野只讓每個神經元觀察圖像的一部分再把多個局部抽取結果共享同一組權重。這種“局部連接 權值共享”的設計可以說就是把生物視覺系統(tǒng)的公式偷了出來。后來神經科學發(fā)現(xiàn)的層級視覺處理也被用在網絡結構上腹側視覺通路從視網膜到初級視覺皮層再到顳葉逐級從邊緣、形狀、物體遞進。深度卷積網絡也分層提取特征淺層識別線條和角點中層識別輪廓和局部模式深層識別整車或人臉。這種結構相似性不是巧合是深度學習早期從大腦那里借來的骨架。3.2 反向傳播其實是“偽生物機制”但到了反向傳播事情開始擰巴。深度學習工程上最依賴的權重更新方法在生物學上一直沒能得到令人滿意的對應解釋。反向傳播要求誤差信號從輸出層一層層傳回去并且每一層都要精確計算梯度這需要網絡在腦內維護一個“反向的”連接來傳遞誤差?？纱竽X皮層的連接方向基本都是正向的沒有證據支持存在一套跟正向通路同樣精確的反饋通路。這一點在神經科學圈里被質疑了很多年甚至有學者直接說“大腦不可能做反向傳播”。更有意思的是這個質疑不僅沒打倒深度學習反而讓一部分研究者徹底看開了我們不是要模擬大腦只是在尋找一個有效的數(shù)學優(yōu)化方法。于是“聯(lián)結主義”和“類腦計算”走向分岔。有的研究者專注把網絡做得更貼近大腦比如脈沖神經網絡更多研究者則徹底拋棄生物合理性轉向純粹工程調優(yōu)。這種“背離”反而釋放了深度學習的想象力使它不必被生物學細節(jié)綁住手腳。3.3 神經科學反過來向深度學習“抄”正當兩者分道揚鑣之際轉折又來了。深度學習大獲成功后一些計算神經科學家嘗試用深度神經網絡模型來預測大腦視覺皮層對不同圖像的激活響應。結果出乎意料地好卷積神經網絡中層深度特征和目標神經元實際發(fā)放率之間的相關系數(shù)高到令人驚訝。一個完全從工程任務里訓練出來的網絡居然接近了生物學視覺系統(tǒng)內部特征的某些性質。這說明什么說明大腦視覺皮層和深度卷積網絡可能共享某種基于“層級特征抽象”的通用計算原則——大腦不一定用反向傳播來學習但在表征特性上兩者確實存在趨同。于是一部分神經科學家也不得不開始把深度學習當作“推理工具”來研究大腦而不是僅僅把它當成“不切實際的模型”。3.4 注意力機制的趨同演化再到后面的注意力機制那才叫“眾說紛紜”。Transformer里的注意力把輸入序列拆解為查詢、鍵、值三個向量然后通過點積計算不同位置之間的關聯(lián)強度。這個設計和認知心理學里的“選擇性注意力”有著直觀的呼應大腦在處理復雜場景時本來就不是均衡加工所有信息而是會選重點。但這種類似更多是“趨同演化”而不是“基因遺傳”。注意力機制的提出最初是為了解決機器翻譯中長句對齊和建模距離遠的問題并沒有太多神經科學實驗數(shù)據的支撐。它是一次工程需求驅動的創(chuàng)新后來卻反過來啟發(fā)了一些認知模型的改進。所以硬要把深度學習的每一塊磚都跟神經科學對號入座是很傻的事。兩者更像是同一片“智能”主題下的兩種解法有時互相借鑒有時各自獨立最后居然在抽象層面看起來遙相呼應。4. 三次浪潮中的“斷流期”都在等什么4.1 第一次低谷不是異或一錘定音而是“生存環(huán)境”沒到傳統(tǒng)教科書喜歡把第一次低谷歸結為明斯基等人對感知機局限性的證明但我覺得這個歸因過于簡化了。理論上的否定當然重要可即便沒有那篇攻擊性文章第一波浪潮也會因為自身瓶頸很快達到天花板單層感知機表達能力有限而多層模型又缺乏有效訓練算法和計算資源。更重要的是當時社會對AI的期待被媒體吹得太高期刊審稿人已經對“感知機類工作”產生了倦怠。說白了這就是一個技術產品在過度炒作之后必然會出現(xiàn)的幻滅期。所謂“斷流”本質上不是世界沒有神經元而是周圍缺乏足夠的電力、數(shù)據、人才和資金把它接過來。4.2 第二次低谷核方法這位“別人家的學霸”出現(xiàn)神經網絡不香了第二次斷流的原因其實比第一次更讓人傷感。八十年代末BP算法帶來的復興本來已經成氣候了但隨后核方法作為一種新的機器學習范式全面崛起。它數(shù)學推導優(yōu)美可以處理非線性分類/回歸在中小規(guī)模數(shù)據上表現(xiàn)穩(wěn)定而且沒有局部最優(yōu)的擔心。反觀神經網絡訓練需要大量調試結果還不一定比得上別人隨手調好的核方法。學術界是最現(xiàn)實的。資助機構開始把錢投向“有嚴格理論”的方向神經網絡領域相形見絀只能縮在一小撮堅持者手里?，F(xiàn)在回頭看那一時期的主要技術進展——卷積網絡結構、長短期記憶網絡、深度信念網絡其實都是在“主流不看好的冬天”里悄悄長出來的。這也提醒我們當一個方向看起來最冷冷清清的時候往往也就是下一波浪潮儲備能量的階段。4.3 第三次浪潮會不會也有觸頂?shù)囊惶彀岩暯抢浇裉斓谌卫顺币膊皇菦]有隱患。大模型參數(shù)越來越多訓練一次燒掉的能量越來越大數(shù)據標注慢慢耗盡只能用自監(jiān)督或合成數(shù)據續(xù)命模型內部的不可解釋性讓它在醫(yī)療、金融等高風險場景難以上手。很多人已經在討論“涌現(xiàn)能力到底是真能力還是數(shù)據幻覺”也有人在思考新一代算法能不能擺脫預訓練微調這一整套框架。我的判斷是浪潮不會退成前兩次那種“徹底沉寂”但增量紅利確實在變薄。下一次變局很可能是某個不起眼的算法創(chuàng)新再次跟巨大的算力和數(shù)據一拍即合。就像2012年那個由圖像競賽引爆的時刻一樣誰都沒想到最核心的驅動其實是幾塊GPU加速卡。5. 一些踩過坑之后的經驗之談寫到這里順帶聊點我個人的體會。我一開始學深度學習是奔著“它模擬了大腦”去的。后來讀了神經科學的一些資料發(fā)現(xiàn)模擬大腦的說法太浪漫了很多細節(jié)根本對不上號。這個落差其實挺大的。后來工作了幾年參與過一些視覺模型訓練才慢慢把心態(tài)擺正深度學習和神經科學更像是“兄弟學科”不是一個復制另一個。你拿深度網絡做工程不要動輒宣稱自己的模型“像人腦”你做神經科學也不必強迫大腦必須按深度學習的邏輯運轉。兩邊真正該干的事兒是把彼此的合理成分摘出來互相檢驗而不是互相攀親戚或者互相拆臺。還有一個小忠告學習深度學習的歷史別把“時間點”記錯當成小事。比如反向傳播思想在幾十年前早就有了但因為算力不到位一直沒火起來。如果你只知道“2012年深度學習爆發(fā)”卻不知道之前兩次斷流你可能會錯誤地認為只要我把模型做深做大數(shù)據就一定能成功。其實成功的條件遠比這復雜需要在算法、算力、數(shù)據、甚至社會情緒四個維度上同時站對位置。最后再分享一個實操層面的觀察現(xiàn)在很多人做模型遇到效果不好就瘋狂調參。其實如果研究一下深度學習的前兩次低谷你會發(fā)現(xiàn)很多時候不是參數(shù)問題而是“當前基礎是否配得上你的模型復雜度”。深度學習不是無中生有它更像一棵樹三次浪潮就是三次施肥但根一直扎在那些看似過時的網絡結構里。理解這一點你看很多技術新聞的態(tài)度都會不一樣熱鬧是周期根子才是真。