很多人聊大模型架構(gòu)的時(shí)候總喜歡從Transformer開(kāi)始鋪開(kāi)但真正把架構(gòu)演進(jìn)講透的恰恰要看國(guó)內(nèi)開(kāi)源模型這幾年的實(shí)操路線。我自己的感受是2024年初那會(huì)兒大家還在卷榜單到了年底風(fēng)向就變了變成卷單次推理成本、卷訓(xùn)練效率、卷上下文長(zhǎng)度。而貫穿這條線最典型、也最值得拆解的樣本非DeepSeek系列莫屬。這個(gè)東西是什么簡(jiǎn)單說(shuō)DeepSeek系列是一套從通用大模型底座到推理增強(qiáng)模型的開(kāi)源體系覆蓋了Dense模型、MoE模型、純強(qiáng)化學(xué)習(xí)推理模型以及蒸餾小模型。它能解決什么問(wèn)題往大了說(shuō)是“用更低的算力門(mén)檻跑出可用的模型效果”往小了說(shuō)是“給研究者和業(yè)務(wù)方一套能直接用、能二次開(kāi)發(fā)的權(quán)重和架構(gòu)參考”。適合誰(shuí)看如果你在選開(kāi)源底座、準(zhǔn)備做長(zhǎng)上下文應(yīng)用、想搞清楚MLA和DeepSeekMoE到底怎么省顯存或者單純想了解國(guó)內(nèi)開(kāi)源模型這幾代架構(gòu)是怎么一步步走到今天的這篇梳理應(yīng)該對(duì)你有用。1. 起點(diǎn)為什么開(kāi)源大模型的架構(gòu)史繞不開(kāi)DeepSeek系列先說(shuō)個(gè)背景。早期國(guó)內(nèi)開(kāi)源模型的做法多數(shù)是沿著公開(kāi)論文的路線把已有結(jié)構(gòu)復(fù)現(xiàn)一遍加上更大數(shù)據(jù)量、更多訓(xùn)練步驟效果是有的但架構(gòu)維度的原創(chuàng)貢獻(xiàn)不多。DeepSeek系列打破這個(gè)局面的方式不是靠一次性堆出多大的參數(shù)而是連續(xù)幾代都在關(guān)鍵結(jié)構(gòu)上做了“減法”和“針對(duì)性加法”尤其是2024年之后幾乎每代版本都會(huì)在某個(gè)工程環(huán)節(jié)上給出可驗(yàn)證的改進(jìn)這就讓它的演變史天然具備很高的學(xué)習(xí)價(jià)值。1.1 從“能用”到“好用”DeepSeek版圖的三個(gè)階段我把這一整個(gè)系列大致分三個(gè)階段來(lái)看。第一階段是早期Dense基線階段。這個(gè)階段的模型結(jié)構(gòu)本身沒(méi)有太多反常規(guī)設(shè)計(jì)主要價(jià)值在于驗(yàn)證了團(tuán)隊(duì)的數(shù)據(jù)配方和訓(xùn)練穩(wěn)定性讓后續(xù)做架構(gòu)改動(dòng)時(shí)有一個(gè)靠譜的對(duì)照基線。如果你去翻那個(gè)時(shí)期的開(kāi)源信息會(huì)發(fā)現(xiàn)模型的發(fā)布節(jié)奏、推理部署的友好程度、開(kāi)放的協(xié)議范圍已經(jīng)比同期很多項(xiàng)目要規(guī)范這為后來(lái)開(kāi)發(fā)者愿意跟進(jìn)打下了基礎(chǔ)。第二階段是MoE與注意力重構(gòu)階段。這里出現(xiàn)了兩個(gè)關(guān)鍵的架構(gòu)創(chuàng)新一個(gè)是把KV Cache壓縮進(jìn)低秩潛空間的MLA另一個(gè)是細(xì)粒度專家加共享專家的DeepSeekMoE。這兩個(gè)結(jié)構(gòu)同時(shí)上線直接改變了同等參數(shù)規(guī)模下推理速度和顯存占用之間的權(quán)衡關(guān)系。你可以理解為同樣一個(gè)模型別人推理時(shí)要帶全量的長(zhǎng)上下文記憶它只用帶一小包壓縮后的記憶推理效率和成本自然就拉開(kāi)了。第三階段是推理增強(qiáng)與RL路線階段。模型從“會(huì)生成”進(jìn)化到“會(huì)先想后答”。這一階段的重心不在底座結(jié)構(gòu)而在訓(xùn)練范式。R1系列把強(qiáng)化學(xué)習(xí)直接應(yīng)用到基礎(chǔ)模型上甚至嘗試了完全去掉監(jiān)督微調(diào)、只靠規(guī)則獎(jiǎng)勵(lì)驅(qū)動(dòng)推理能力涌現(xiàn)的極端路線。這部分和之前架構(gòu)改進(jìn)疊加起來(lái)形成了完整的能力閉環(huán)。1.2 先建立整體坐標(biāo)關(guān)鍵版本與架構(gòu)節(jié)點(diǎn)速覽在深入逐層拆解前我習(xí)慣先拉一張時(shí)間線幫助大家把每個(gè)版本對(duì)應(yīng)到具體的架構(gòu)變化上。下面這張表匯總了幾個(gè)關(guān)鍵節(jié)點(diǎn)后面每個(gè)小節(jié)都會(huì)圍繞表格里的具體改動(dòng)展開(kāi)。階段核心模型版本總參數(shù)量激活參數(shù)量注意力結(jié)構(gòu)前饋網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練/推理亮點(diǎn)早期基線DeepSeek 67B67B67B標(biāo)準(zhǔn)MHADense開(kāi)源權(quán)重、穩(wěn)定訓(xùn)練基線架構(gòu)突破DeepSeek-V2236B21BMLADeepSeekMoE推理速度提升、訓(xùn)練成本下降規(guī)模與效能DeepSeek-V3671B37BMLADeepSeekMoE升級(jí)版FP8訓(xùn)練、無(wú)輔助損失負(fù)載均衡推理范式DeepSeek-R1系列671B推理、多個(gè)蒸餾尺寸隨版本變化MLADeepSeekMoE純強(qiáng)化學(xué)習(xí)路線、蒸餾小模型持續(xù)演進(jìn)V3.1/V3.2系列等保持/擴(kuò)大隨版本變化MLA持續(xù)優(yōu)化MoE微調(diào)MTP集成、多模態(tài)擴(kuò)展、開(kāi)放協(xié)議調(diào)整這張表的信息密度已經(jīng)不小了但真正有意思的是每一個(gè)格子里藏著的“為什么”。下面我拆開(kāi)講。2. 第一把刀MLA如何重構(gòu)Attention的緩存與訓(xùn)練MLA的全稱是Multi-head Latent Attention這個(gè)名字乍一看有點(diǎn)學(xué)術(shù)但它的核心動(dòng)機(jī)特別樸素Transformer推理的時(shí)候KV Cache太占顯存了。長(zhǎng)上下文場(chǎng)景下顯存基本都被緩存吃掉了留給計(jì)算和Batch的空間越來(lái)越少導(dǎo)致單卡能服務(wù)的并發(fā)請(qǐng)求數(shù)量上不去。2.1 標(biāo)準(zhǔn)MHA的KV Cache瓶頸到底有多大先算一筆賬。標(biāo)準(zhǔn)多頭注意力中每個(gè)Token對(duì)應(yīng)K和V兩組向量假設(shè)隱藏層維度是5120頭數(shù)是40每個(gè)頭的維度是128那么在推理時(shí)每存一個(gè)Token的KV就要占用2乘5120個(gè)float16參數(shù)也就是約20KB。聽(tīng)起來(lái)不多但如果上下文長(zhǎng)度推到1萬(wàn)Token單條請(qǐng)求的KV Cache就是200MB再乘上并發(fā)Batch是32就是6.4GB。這還只是一個(gè)請(qǐng)求批次模型本身的權(quán)重還要占一大塊顯存。我實(shí)際部署長(zhǎng)上下文模型時(shí)最直觀的感受就是顯存不是被模型吃掉的是被Token緩存吃掉的。有人會(huì)說(shuō)把精度從FP16降到INT8不就行了嗎這能緩解但緩存體積的增速問(wèn)題還在序列越長(zhǎng)緩存線性膨脹Batch一大直接爆顯存。所以要真正解決問(wèn)題得從結(jié)構(gòu)上把“每個(gè)Token要存多少KV”這個(gè)基數(shù)降下來(lái)MLA做的事情就是這個(gè)。2.2 潛空間壓縮把KV投影到一個(gè)低秩空間里MLA的思路是對(duì)KV做聯(lián)合低秩壓縮。它不是把每個(gè)Token的完整K和V都存下來(lái)而是先學(xué)習(xí)一個(gè)小投影矩陣把原始的K和V壓縮到一個(gè)維度低得多的潛向量里。推理時(shí)只需要緩存這個(gè)潛向量到實(shí)際計(jì)算注意力分?jǐn)?shù)的時(shí)候再通過(guò)投影矩陣恢復(fù)出對(duì)應(yīng)的K和V。這里有一個(gè)細(xì)節(jié)值得注意直接壓縮K和V之后RoPE位置編碼的注入方式會(huì)變得麻煩。RoPE是通過(guò)旋轉(zhuǎn)矩陣對(duì)K和Q作用來(lái)編碼位置的如果K已經(jīng)被壓縮成潛向量再對(duì)它做旋轉(zhuǎn)操作數(shù)學(xué)上就不等價(jià)了。MLA的解法是在壓縮后的潛空間里先不注入位置信息只針對(duì)最終恢復(fù)出的K做位置編碼相關(guān)的變化同時(shí)Q側(cè)也做相應(yīng)的配合。這樣既保住了RoPE的表現(xiàn)力又避免了對(duì)壓縮向量直接做旋轉(zhuǎn)帶來(lái)的維度不匹配問(wèn)題。實(shí)際效果就是位置信息保住了但緩存量大幅下降。2.3 長(zhǎng)上下文和并發(fā)吞吐的實(shí)際提升從實(shí)踐角度看MLA帶來(lái)的收益在長(zhǎng)上下文場(chǎng)景最明顯。DeepSeek-V2發(fā)布時(shí)的測(cè)試數(shù)據(jù)顯示因?yàn)镵V Cache小了推理時(shí)顯存占用顯著降低相同的顯存預(yù)算下能容納更大的Batch單位時(shí)間能處理的Token數(shù)量隨之上升。這還沒(méi)有算上訓(xùn)練階段的收益訓(xùn)練時(shí)同樣要存儲(chǔ)反向傳播需要的中間變量壓縮KV之后這部分顯存開(kāi)銷(xiāo)也能降下來(lái)意味著可以在同樣規(guī)模集群上跑更大的模型或者把訓(xùn)練序列長(zhǎng)度拉得更長(zhǎng)。我在自己的部署實(shí)驗(yàn)中的體會(huì)是MLA這類結(jié)構(gòu)的價(jià)值不在于刷分而是在于讓“長(zhǎng)上下文”從可演示變成可商用。如果你需要做幾萬(wàn)字文檔的逐字分析或是在同一會(huì)話里反復(fù)讓模型翻找一段代碼傳統(tǒng)MHA結(jié)構(gòu)很容易在上下文拉長(zhǎng)后出現(xiàn)顯存和速度雙降的問(wèn)題MLA模型在線上的表現(xiàn)會(huì)穩(wěn)不少。注意MLA壓縮的是KV緩存維度但如果你用了量化推理框架要確認(rèn)框架是否對(duì)MLA做了針對(duì)性優(yōu)化。早期有些優(yōu)化庫(kù)直接按標(biāo)準(zhǔn)MHA的緩存格式來(lái)寫(xiě)算子跑MLA模型時(shí)反而會(huì)有兼容性問(wèn)題甚至無(wú)法推理或速度下降。部署前最好先用目標(biāo)推理框架實(shí)測(cè)一遍緩存尺寸。3. 第二把刀DeepSeekMoE把稀疏專家做到極致MLA解決的是緩存和注意力開(kāi)銷(xiāo)但模型規(guī)模能不能繼續(xù)往上擴(kuò)還得看前饋網(wǎng)絡(luò)這塊怎么設(shè)計(jì)。傳統(tǒng)Dense模型每個(gè)Token都要過(guò)所有參數(shù)參數(shù)量大了計(jì)算量跟著線性增長(zhǎng)。MoE的思路是讓每個(gè)Token只激活一小部分專家用稀疏激活換取超大參數(shù)量。3.1 細(xì)粒度專家與共享專家的設(shè)計(jì)邏輯DeepSeekMoE相比早期MoE方案有兩個(gè)核心變化。第一個(gè)是專家切得更細(xì)。過(guò)去常見(jiàn)的做法是把FFN切分成8個(gè)或16個(gè)同等大小的專家每個(gè)Token經(jīng)過(guò)路由選2個(gè)左右。DeepSeekMoE把專家數(shù)量做得更多、單個(gè)專家做得更小然后在同樣的激活預(yù)算下選更多專家。這樣做的好處是專家組合的靈活性更高Token可以同時(shí)從更多不同方向的“專業(yè)小組”中獲取信息而不是被限制在少數(shù)大專家之間做硬選擇。這個(gè)邏輯很像團(tuán)隊(duì)協(xié)作與其讓每個(gè)成員都是大而全的通才不如培養(yǎng)一大批更細(xì)分的小組任務(wù)來(lái)了之后按需組合出最合適的小分隊(duì)。第二個(gè)是設(shè)置了共享專家。所謂共享專家就是每個(gè)Token都會(huì)無(wú)條件經(jīng)過(guò)的那部分專家可以理解為通用常識(shí)和通用語(yǔ)法的處理器。這部分參數(shù)不參與路由競(jìng)爭(zhēng)保證了模型即便在專業(yè)化分工很強(qiáng)的情況下仍然有一個(gè)穩(wěn)定的通用處理通道。共享專家和細(xì)粒度路由專家結(jié)合起來(lái)等于在“通用能力”和“專業(yè)化能力”之間做了顯式的結(jié)構(gòu)分工。3.2 負(fù)載均衡從輔助損失到無(wú)輔助損失MoE模型最讓人頭疼的問(wèn)題之一是負(fù)載不均衡訓(xùn)練時(shí)如果路由總是偏愛(ài)某幾個(gè)專家其他專家就變成了擺設(shè)參數(shù)量雖大實(shí)際利用率卻不高。早期方案通常在損失函數(shù)里加一個(gè)輔助損失通過(guò)懲罰負(fù)載不均衡來(lái)約束路由。但輔助損失會(huì)影響主任務(wù)的梯度方向加多了模型質(zhì)量下降加少了專家利用率又上不去。DeepSeek-V3在負(fù)載均衡策略上做了一個(gè)很巧妙的調(diào)整。它放棄了傳統(tǒng)輔助損失改用專家級(jí)bias——每個(gè)專家維護(hù)一個(gè)可學(xué)習(xí)的偏移量路由計(jì)算時(shí)對(duì)每個(gè)專家的分?jǐn)?shù)加上這個(gè)偏移量推理時(shí)不加。訓(xùn)練中根據(jù)每個(gè)專家的負(fù)載反饋動(dòng)態(tài)調(diào)整這些bias負(fù)載高的專家下一次就先少路由一些負(fù)載低的專家則多給一點(diǎn)機(jī)會(huì)。這樣做的好處是訓(xùn)練時(shí)的主任務(wù)梯度不受額外損失項(xiàng)干擾同時(shí)通過(guò)bias的自動(dòng)調(diào)節(jié)來(lái)兜底負(fù)載均衡。我在實(shí)際訓(xùn)練MoE模型時(shí)也復(fù)現(xiàn)過(guò)類似的思路確實(shí)比輔助損失那種“綁著手腳跳舞”的感覺(jué)要順暢。3.3 V2到V3的參數(shù)量進(jìn)化對(duì)比把V2和V3放在一起看三個(gè)數(shù)字變化最能說(shuō)明問(wèn)題總參數(shù)量從236B漲到671B激活參數(shù)量從21B漲到37B而推理時(shí)實(shí)際需要的顯存和算力并沒(méi)有按總參數(shù)量的比例去漲。這就是稀疏激活的威力?？倕?shù)量給足模型記憶容量激活參數(shù)量控制單Token計(jì)算成本。對(duì)開(kāi)發(fā)者來(lái)說(shuō)這意味著可以在單機(jī)多卡甚至單卡量化后運(yùn)行一個(gè)參數(shù)總量很大的模型而體驗(yàn)卻接近一個(gè)比它小得多的Dense模型。配置項(xiàng)DeepSeek-V2參數(shù)設(shè)計(jì)DeepSeek-V3參數(shù)設(shè)計(jì)總參數(shù)量236B671B激活參數(shù)量21B37B專家總數(shù)160含共享專家256含共享專家路由范圍更廣每Token路由專家數(shù)68共享專家數(shù)21顯式共享專家 更精細(xì)的細(xì)粒度分配這個(gè)表格來(lái)自我對(duì)公開(kāi)技術(shù)信息的整理個(gè)別數(shù)字可能隨后續(xù)版本更新有微調(diào)但核心趨勢(shì)很清楚DeepSeek系MoE走的是“更多更小的專家 更靈活的路由組合”的路子而不是簡(jiǎn)單堆大專家。提示如果你要基于DeepSeekMoE做二次開(kāi)發(fā)建議先確認(rèn)自己的部署框架是否完整支持細(xì)粒度專家路由。很多框架早期只適配了8個(gè)或16個(gè)專家的固定拓?fù)溆龅?60/256個(gè)專家、每Token路由6/8個(gè)的配置要么加載慢要么路由邏輯被強(qiáng)行簡(jiǎn)化影響效果。選框架前多看幾個(gè)issue比跑起來(lái)再排錯(cuò)省心得多。4. 訓(xùn)練工程與優(yōu)化組合拳FP8、DualPipe、MTP模型結(jié)構(gòu)很重要但同等結(jié)構(gòu)下能不能把集群效率跑上去才是決定項(xiàng)目是否可行的關(guān)鍵。DeepSeek系列在訓(xùn)練工程上的幾個(gè)選擇是很多人容易忽略、但實(shí)際分量非常重的部分。4.1 FP8混合精度從訓(xùn)練到推理的算力釋放FP8是一種8位浮點(diǎn)格式相比傳統(tǒng)的FP16/BF16數(shù)據(jù)位寬減半計(jì)算單元在同樣芯片面積上可以獲得更高吞吐。但FP8的難點(diǎn)是動(dòng)態(tài)范圍有限容易溢出或損失精度。DeepSeek-V3的做法是全流程關(guān)鍵地方采用FP8混合精度同時(shí)在具體算子層面做了精細(xì)處理哪些層、哪些矩陣乘法用FP8哪些主梯度累加過(guò)程保留更高精度這些都有明確的策略。我看到的實(shí)際效果是訓(xùn)練成本比傳統(tǒng)混合精度方案有明顯下降同時(shí)模型最終效果并沒(méi)有因低精度訓(xùn)練而縮水。這種工程層面的細(xì)微取舍比模型結(jié)構(gòu)創(chuàng)新更考驗(yàn)團(tuán)隊(duì)的工程積累。4.2 DualPipe雙向流水線怎么壓縮空閑等待大規(guī)模訓(xùn)練里流水線并行常出現(xiàn)一個(gè)問(wèn)題GPU在計(jì)算當(dāng)前微批次的同時(shí)還得等待前一層的通信和計(jì)算完成導(dǎo)致大量空閑氣泡。DualPipe的思路是設(shè)置兩條方向相反的流水線一條從前向后計(jì)算另一條從后向前計(jì)算把一個(gè)設(shè)備上的計(jì)算和通信重疊起來(lái)。用大白話講就是原來(lái)只有一個(gè)方向的車(chē)流現(xiàn)在雙向都有車(chē)單個(gè)時(shí)間片里排隊(duì)等待的空白被另一方向的計(jì)算填充了整個(gè)集群的利用率自然更高。這項(xiàng)技術(shù)和FP8是配套的DualPipe減少了空閑等待FP8降低了單次計(jì)算和通信的數(shù)據(jù)量?jī)烧忒B在一起才能在有限帶寬的集群上把671B參數(shù)規(guī)模的訓(xùn)練任務(wù)壓進(jìn)可接受的成本區(qū)間。4.3 MTP多Token預(yù)測(cè)讓模型一次學(xué)會(huì)多走一步MTP模塊是我個(gè)人覺(jué)得最有意思的架構(gòu)附加項(xiàng)。標(biāo)準(zhǔn)訓(xùn)練方式是一個(gè)Token一個(gè)Token地做預(yù)測(cè)也就是給定前文預(yù)測(cè)下一個(gè)Token。MTP做的事情是讓Transformer主模型在每一層不僅參與預(yù)測(cè)下一個(gè)Token還額外疊加一個(gè)小模塊去預(yù)測(cè)再下一個(gè)Token相當(dāng)于讓模型每一層都帶著“多往前看一步”的任務(wù)意識(shí)。這個(gè)設(shè)計(jì)的直接收益是訓(xùn)練效率提升同一個(gè)樣本在訓(xùn)練時(shí)貢獻(xiàn)了更多的監(jiān)督信號(hào)模型能更快地學(xué)到長(zhǎng)程依賴。同時(shí)MTP模塊還可以在推理時(shí)當(dāng)作一個(gè)草稿模型來(lái)配合投機(jī)解碼讓生成速度進(jìn)一步提升。到了V3.2版本這部分結(jié)構(gòu)又被進(jìn)一步整合優(yōu)化整體上仍然延續(xù)了“低成本多產(chǎn)出”的工程哲學(xué)。4.4 為什么工程組合拳比單項(xiàng)技術(shù)更有參考價(jià)值單獨(dú)看FP8或DualPipe都不是全新概念但把它們組合起來(lái)并且在超大規(guī)模模型上驗(yàn)證有效的完整方案這個(gè)參考價(jià)值是稀缺的。以前開(kāi)源生態(tài)里最缺的就是這種“從理論到數(shù)千卡集群落地的全套recipe”DeepSeek系列等于把這份recipe公開(kāi)出來(lái)了。雖然我們大多數(shù)開(kāi)發(fā)者沒(méi)有上千卡集群去復(fù)現(xiàn)全套但可以從中提取出適合自身規(guī)模的單項(xiàng)改進(jìn)比如長(zhǎng)序列訓(xùn)練時(shí)怎么調(diào)流水線并行和通信重疊比如用FP8量化時(shí)哪些模塊可以激進(jìn)、哪些必須保守。這些經(jīng)驗(yàn)放到中小規(guī)模場(chǎng)景里一樣能發(fā)揮作用。5. R1與推理范式重構(gòu)純強(qiáng)化學(xué)習(xí)路線帶來(lái)的連鎖反應(yīng)如果說(shuō)V系列的MLA和MoE是在“節(jié)省資源”這條路上做文章那R1系列解決的則是“推理能力從哪來(lái)”的問(wèn)題。這一波的影響范圍其實(shí)已經(jīng)超出了DeepSeek系列本身對(duì)整個(gè)開(kāi)源模型社區(qū)的訓(xùn)練方法論都產(chǎn)生了沖擊。5.1 R1-Zero去掉SFT直接上RL的激進(jìn)實(shí)驗(yàn)傳統(tǒng)訓(xùn)練大模型的推理能力通常走“預(yù)訓(xùn)練—監(jiān)督微調(diào)—強(qiáng)化學(xué)習(xí)”的鏈路監(jiān)督微調(diào)用人工標(biāo)注的推理步驟來(lái)教模型一步一步思考。R1-Zero做了一個(gè)大膽的實(shí)驗(yàn)完全跳過(guò)監(jiān)督微調(diào)階段用基礎(chǔ)模型直接進(jìn)入強(qiáng)化學(xué)習(xí)只通過(guò)規(guī)則獎(jiǎng)勵(lì)來(lái)引導(dǎo)。規(guī)則獎(jiǎng)勵(lì)就是可以寫(xiě)程序判斷的客觀標(biāo)準(zhǔn)比如答案數(shù)學(xué)上是否正確、代碼能不能通過(guò)編譯和測(cè)試而不是靠獎(jiǎng)勵(lì)模型打分。結(jié)果很有意思模型確實(shí)“涌現(xiàn)”出了長(zhǎng)鏈思考、自我修正、反復(fù)驗(yàn)證等推理行為而且有些思考過(guò)程比人工標(biāo)注的還復(fù)雜。這說(shuō)明監(jiān)督微調(diào)不是推理能力涌現(xiàn)的必要條件強(qiáng)化學(xué)習(xí)本身就能驅(qū)動(dòng)模型發(fā)展出推理策略。當(dāng)然純RL階段也暴露出可讀性差、輸出格式混亂、語(yǔ)言混雜等問(wèn)題所以R1正式版本選擇在純RL之前加入一個(gè)冷啟動(dòng)階段用少量高質(zhì)量數(shù)據(jù)把模型帶到一個(gè)相對(duì)穩(wěn)定的起點(diǎn)再交給RL去大踏步優(yōu)化。5.2 GRPO把策略優(yōu)化的算力開(kāi)銷(xiāo)打下來(lái)R1系列訓(xùn)練用的強(qiáng)化學(xué)習(xí)算法是GRPO它的全稱是Group Relative Policy Optimization。傳統(tǒng)PPO算法訓(xùn)練時(shí)為了讓策略更新有依據(jù)需要額外用一個(gè)Critic模型去估計(jì)狀態(tài)價(jià)值函數(shù)這個(gè)估計(jì)過(guò)程非常耗資源。GRPO的替代思路是對(duì)于同一個(gè)問(wèn)題讓當(dāng)前策略模型生成一組多個(gè)回答直接用這一組回答內(nèi)部的相對(duì)優(yōu)劣來(lái)計(jì)算收益而不需要單獨(dú)的Critic模型來(lái)估計(jì)絕對(duì)價(jià)值。這個(gè)思路的樸素之處在于我們不需要知道一個(gè)回答“絕對(duì)有多好”只要知道它在同一批樣本里面“相對(duì)有多好”就夠了。數(shù)學(xué)上GRPO對(duì)一組輸出做歸一化得到一個(gè)baseline然后用這個(gè)baseline去計(jì)算策略梯度。省掉一個(gè)和主模型規(guī)模相當(dāng)?shù)腃ritic等于把訓(xùn)練顯存和算力預(yù)算直接壓縮了一大截。這是R1系列能在有限資源下做大規(guī)模RL的關(guān)鍵因素之一。5.3 蒸餾與開(kāi)源生態(tài)的連鎖反應(yīng)R1系列另一個(gè)帶火的動(dòng)作是蒸餾。蒸餾的含義是讓一個(gè)小模型去模仿大模型的輸出分布或推理軌跡從而把推理能力壓縮到更小的參數(shù)量里。DeepSeek系列開(kāi)源了多個(gè)蒸餾尺寸模型這些模型把671B大模型推理“悟”出來(lái)的思考過(guò)程教給了小模型。社區(qū)隨后也出現(xiàn)了各種基于蒸餾數(shù)據(jù)再訓(xùn)練或直接微調(diào)的衍生模型。這個(gè)動(dòng)作的生態(tài)意義大于單純的技術(shù)意義。它讓很多只有消費(fèi)級(jí)顯卡的個(gè)人開(kāi)發(fā)者也能本地運(yùn)行一個(gè)具有初步長(zhǎng)鏈推理能力的模型直接改變了開(kāi)源模型“只能玩、不能用”的刻板印象。我自己在16G顯存的環(huán)境下測(cè)試過(guò)蒸餾小尺寸模型處理邏輯推理和代碼糾錯(cuò)類任務(wù)體驗(yàn)已經(jīng)比同體量的通用模型好不少雖然比不了完整版本但日常輔助寫(xiě)代碼已經(jīng)夠用。6. 架構(gòu)迭代背后的開(kāi)源哲學(xué)與普通開(kāi)發(fā)者的應(yīng)對(duì)前面幾節(jié)基本是按時(shí)間線和技術(shù)線來(lái)梳理的但如果只看到結(jié)構(gòu)和算法容易忽略一個(gè)更重要的事實(shí)這些架構(gòu)能快速傳播、快速被驗(yàn)證開(kāi)源協(xié)議和開(kāi)放策略起了很大作用。6.1 開(kāi)放權(quán)重帶來(lái)的生態(tài)擴(kuò)散與同行壓力DeepSeek系列不是第一個(gè)開(kāi)放權(quán)重的但它把“開(kāi)放權(quán)重”推向了新的競(jìng)爭(zhēng)高度。過(guò)去開(kāi)放權(quán)重通常意味著給一個(gè)可加載的模型文件配套的細(xì)節(jié)——數(shù)據(jù)配方、訓(xùn)練梯度、RL獎(jiǎng)勵(lì)設(shè)計(jì)、工程調(diào)優(yōu)記錄——往往不在開(kāi)放范圍。DeepSeek系列的做法是連技術(shù)報(bào)告里的細(xì)節(jié)都盡量寫(xiě)得可復(fù)現(xiàn)像FP8、DualPipe、MLA的實(shí)現(xiàn)要點(diǎn)社區(qū)里很快就能找到第三方復(fù)現(xiàn)和討論。這種透明度讓同行面臨的壓力不再是“你比我差多少”而是“你什么時(shí)候跟上”。這種生態(tài)擴(kuò)散的一個(gè)直接后果是Open-R1這類社區(qū)復(fù)現(xiàn)項(xiàng)目出現(xiàn)了。社區(qū)不再滿足于直接使用別人訓(xùn)好的模型而是希望把R1的整個(gè)訓(xùn)練鏈路——包括數(shù)據(jù)、獎(jiǎng)勵(lì)、RL流程——在開(kāi)放環(huán)境下重新跑一遍。這比單純下載權(quán)重更進(jìn)一步等于把之前只屬于少數(shù)研究團(tuán)隊(duì)的RL聯(lián)邦訓(xùn)練經(jīng)驗(yàn)也公共化了。6.2 從純研究到可復(fù)現(xiàn)路線的遷移我以前也困惑過(guò)為什么很多論文里的模型效果很好自己復(fù)現(xiàn)卻很拉胯。后來(lái)我發(fā)現(xiàn)大多數(shù)問(wèn)題出在“論文隱藏了大量工程細(xì)節(jié)”。DeepSeek系列在這個(gè)問(wèn)題上的處理方式很有參考性每個(gè)關(guān)鍵結(jié)構(gòu)改變都給出足夠清晰的動(dòng)機(jī)和效果對(duì)比關(guān)鍵工程環(huán)節(jié)盡量公開(kāi)配置和實(shí)現(xiàn)思路讓后來(lái)者能踩在自己的肩膀上而不是重新踩坑。這個(gè)“可復(fù)現(xiàn)優(yōu)先”的路線讓它的架構(gòu)演變史不僅是一份技術(shù)記錄更成為一份可以照著學(xué)習(xí)的課程大綱。6.3 部署與選型時(shí)的個(gè)人經(jīng)驗(yàn)與避坑參考最后分享一些我用DeepSeek系列模型時(shí)的選型經(jīng)驗(yàn)免得大家在實(shí)際部署時(shí)來(lái)回折騰。如果你的核心場(chǎng)景是長(zhǎng)上下文文檔理解、超長(zhǎng)代碼庫(kù)問(wèn)答優(yōu)先選帶MLA的版本因?yàn)殚L(zhǎng)序列下顯存占用和并發(fā)能力差別很大。如果你拿來(lái)做在線服務(wù)、對(duì)成本敏感優(yōu)先考慮蒸餾小尺寸版本再根據(jù)效果決定是否升級(jí)到更大版本。如果你要做二次微調(diào)建議先搞清楚你的訓(xùn)練框架對(duì)DeepSeekMoE的路由邏輯支持到哪一步很多框架對(duì)256專家支持并不好。如果只是做實(shí)驗(yàn)驗(yàn)證想法不需要完整復(fù)現(xiàn)訓(xùn)練直接用官方公開(kāi)的模型權(quán)重和推薦推理參數(shù)就行沒(méi)必要重訓(xùn)。注意量化部署時(shí)如果模型用到了MLA和細(xì)粒度專家路由建議先驗(yàn)證量化后的輸出與BF16版本的關(guān)鍵case是否一致。MoE結(jié)構(gòu)下注意力模塊和路由模塊都比較敏感有的量化方案在主模型上沒(méi)問(wèn)題但一碰到MoE就出現(xiàn)專家選擇漂移導(dǎo)致輸出質(zhì)量明顯下滑。別急著上線先跑一批針對(duì)性測(cè)試再?zèng)Q定。7. 后續(xù)演進(jìn)方向與我的觀察到了這一步整個(gè)DeepSeek系列的架構(gòu)演變邏輯已經(jīng)比較清晰了。剩下的問(wèn)題是這個(gè)系列下一步還會(huì)往哪里走以及這些方向?qū)ζ胀◤臉I(yè)者有什么啟示。從已經(jīng)能看到的信息來(lái)看方向大約有三個(gè)。一是結(jié)構(gòu)本身的繼續(xù)瘦身和優(yōu)化MLA和MoE的組合還有不少可調(diào)空間比如更激進(jìn)的KV壓縮策略、更靈活的路由歷史依賴。二是訓(xùn)練范式進(jìn)一步往RL和多階段遞進(jìn)方向發(fā)展R1-Zero的純RL實(shí)驗(yàn)證明了強(qiáng)化學(xué)習(xí)的潛力后續(xù)大概率會(huì)出現(xiàn)更多關(guān)于獎(jiǎng)勵(lì)設(shè)計(jì)、自博弈、多智能體協(xié)作的訓(xùn)練嘗試。三是多模態(tài)化文本之外還有圖像、代碼、音頻等輸入輸出形式如何把MLA這種高效注意力結(jié)構(gòu)復(fù)用到多模態(tài)任務(wù)中是一個(gè)值得跟進(jìn)的觀察點(diǎn)。對(duì)我個(gè)人來(lái)說(shuō)這套演變史最值得借鑒的地方不是某一次具體的結(jié)構(gòu)改動(dòng)而是每一代版本都清晰回答了同一個(gè)問(wèn)題在計(jì)算資源有限的前提下我做哪個(gè)改動(dòng)受益最大早期答案是省緩存中期答案是省激活計(jì)算再往后是省訓(xùn)練顯存最后是省RL的額外模型開(kāi)銷(xiāo)。每一次“省”都踩在了當(dāng)時(shí)最痛的資源瓶頸上。把這個(gè)邏輯用到自己的項(xiàng)目里也會(huì)很有啟發(fā)不要先問(wèn)“該不該上最新結(jié)構(gòu)”而要問(wèn)“我現(xiàn)在最缺的是顯存、算力、數(shù)據(jù)還是推理穩(wěn)定性”然后去找對(duì)應(yīng)那一步已經(jīng)驗(yàn)證過(guò)的架構(gòu)或方法用最小代價(jià)做驗(yàn)證。這種帶著資源約束去選擇架構(gòu)的工作方式可能才是這個(gè)系列給從業(yè)者最大的參考價(jià)值。