2017年我讀到《Attention Is All You Need》時印象其實(shí)是矛盾的。一方面self-attention的全局建模能力確實(shí)漂亮另一方面O(n2)復(fù)雜度讓我下意識覺得這種架構(gòu)只會停留在中等長度序列上撐不起真正的長文本場景。后來的發(fā)展大家都看到了transformer不僅成了NLP的默認(rèn)底座還一路蔓延到圖像、語音、多模態(tài)甚至連近年大模型里最核心的算法選型也都圍繞transformer架構(gòu)在不斷演進(jìn)。我想把這幾年觀察到的“核心算法是如何一步步被改出來的”講清楚從Q/K/V注意力本身到復(fù)雜度優(yōu)化、位置編碼、歸一化策略、注意力頭配置再到Decoder-only范式。不管你是要做模型訓(xùn)練、推理優(yōu)化還是單純想理解大模型底層這條演進(jìn)線都值得過一次。這里不會只堆結(jié)論我會把每一步背后的動機(jī)、代價和實(shí)際取舍都拆開說。理解這些比記住一堆模型名字更能幫你應(yīng)對新出的模型。1. 起點(diǎn)問題為什么循環(huán)網(wǎng)絡(luò)會被自注意力取代1.1 RNN序列建模的硬傷遠(yuǎn)不止“不能并行”先從RNN說起。RNN的致命問題不是簡單的不支持并行而是序列建模的方式?jīng)Q定了信息必須沿著時間步逐步傳遞。每一步隱狀態(tài)既要表達(dá)當(dāng)前輸入又要保留過去的記憶這個隱狀態(tài)本質(zhì)上是個“有損壓縮瓶口”。LSTM注入門控以后緩解了梯度消失但距離很遠(yuǎn)的位置之間要經(jīng)過多層門控復(fù)合信號早就衰減或扭曲了。機(jī)器翻譯里把整句編碼成一個向量的做法尤其明顯句子越長語義細(xì)節(jié)越難塞進(jìn)一個固定向量。比如一篇新聞稿把開頭的主語和結(jié)尾的時間地點(diǎn)強(qiáng)行壓縮到同一個向量里中間的轉(zhuǎn)折關(guān)系很容易被平均掉。這個問題不是靠加深循環(huán)層就能解決的因?yàn)闊o論堆多少層路徑仍然是線性的信息依然要一站一站傳下去。真正讓序列建模發(fā)生質(zhì)變的是把“路徑距離”這個概念直接抹平。Transformer讓任意兩個token之間都有一條直連路徑不需要經(jīng)過中間token的中轉(zhuǎn)。從信息論視角看這相當(dāng)于把一條容易衰減的串行信道換成了全連接網(wǎng)絡(luò)。代價是每條路徑都要顯式建模相關(guān)性于是就有了自注意力那個n×n的相似度矩陣。1.2 Attention機(jī)制從輔助走向主角的臨界點(diǎn)Attention也不是Transformer原創(chuàng)的。2014年前后Bahdanau等人在神經(jīng)機(jī)器翻譯里引入的attention本質(zhì)上是動態(tài)加權(quán)源端隱狀態(tài)讓decoder每一步能“按需查閱”源端信息而不是只靠最后一個向量。這個思路解決了一個實(shí)際問題但還沒有脫離RNN的主干。Transformer的突破在于把a(bǔ)ttention完全提升到主架構(gòu)層面每一個位置的表示都通過它與其他所有位置的注意力來生成。于是任意兩個token之間的距離被拉到了1長距離依賴不再是經(jīng)過若干步傳播而是直接計算相關(guān)性。這在算法設(shè)計上是個根本轉(zhuǎn)變用全局檢索代替順序傳遞同時讓所有位置的計算天然可以并行。所以討論Transformer的核心算法演進(jìn)起點(diǎn)其實(shí)是這個選擇為什么要放棄順序結(jié)構(gòu)答案不是“RNN不好”這么簡單而是RNN的串行瓶頸和長程衰減在規(guī)?；?xùn)練里太吃虧。Transformer把這條路跳過去之后后面所有演進(jìn)都圍繞兩個核心問題展開一是如何讓注意力更快、更省、能處理更長序列二是如何在保持表達(dá)力的同時讓訓(xùn)練更穩(wěn)定。理解了這兩個靶子后面所有改進(jìn)就都能對號入座。2. 自注意力精算Q/K/V設(shè)計、縮放點(diǎn)積與多頭的數(shù)學(xué)邏輯2.1 Attention運(yùn)算中的“查詢-鍵-值”到底在做什么要理解自注意力可以先把它想成一個數(shù)據(jù)庫檢索系統(tǒng)。每個輸入token經(jīng)過三套不同的線性變換分別得到查詢Query、鍵Key和值Value。查詢是“我想找什么”鍵是“我身上有什么索引”值是“我實(shí)際提供的內(nèi)容”。某個請求與前一個位置的鍵越匹配注意力權(quán)重越大輸出就越偏向前一個位置的值。在自注意力場景中這個機(jī)制是模型自己對自己的序列做檢索每個token都能根據(jù)整個序列的內(nèi)容決定自己的表示。從實(shí)現(xiàn)角度看所有token的Q、K、V可以被組織成矩陣因此可以用矩陣乘法一次算完所有token之間的相似度。這也是并行性的來源不再是逐步計算而是一次性算出一張完整的關(guān)系表。具體公式可以寫成Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V矩陣Q和K的每一行對應(yīng)一個token的查詢和鍵。Q和K的轉(zhuǎn)置相乘得到n×n的相似度分?jǐn)?shù)矩陣softmax把每行歸一化成概率分布最后用這些概率對V做加權(quán)求和得到每個token的新表示。2.2 縮放因子sqrt(d_k)一個經(jīng)常被忽略的穩(wěn)定性設(shè)計公式里除以sqrt(d_k)很多入門文章把它當(dāng)作“經(jīng)驗(yàn)性技巧”實(shí)際上這里藏著訓(xùn)練穩(wěn)定性的關(guān)鍵。假設(shè)Q、K中的元素是均值0、方差1的隨機(jī)變量那么單個維度乘積的均值是0、方差是1對d_k個維度的點(diǎn)積結(jié)果來說方差會累積到d_k。如果不對點(diǎn)積做縮放當(dāng)d_k變大時點(diǎn)積數(shù)值的方差也會變大。Softmax的輸入一旦落到兩端飽和區(qū)梯度會變得非常小模型幾乎無法學(xué)習(xí)。除以sqrt(d_k)可以讓點(diǎn)積方差回到1左右讓softmax保持在梯度敏感的區(qū)間。這是基于隨機(jī)變量方差性質(zhì)的推導(dǎo)不是拍腦袋的經(jīng)驗(yàn)。實(shí)際訓(xùn)練中不縮放也能跑通小模型但深層模型和長序列場景下會明顯難訓(xùn)。很多復(fù)現(xiàn)Transformer失敗的項(xiàng)目最后排查下來就是漏了這個因子或者實(shí)現(xiàn)時數(shù)據(jù)類型精度不對。2.3 多頭注意力如何讓模型同時看到多種關(guān)系一個注意力頭只能有一組線性映射也就是說它只能用一種相似度度量來衡量任意兩個token的關(guān)系。但一段文本里的關(guān)系是多種多樣的有的頭適合關(guān)注相鄰詞有的頭適合追蹤句法依存有的頭適合捕捉跨句話題。如果只用單頭模式會被迫壓縮到同一個空間里。多頭注意力把輸入投影到h個平行子空間每個頭獨(dú)立計算注意力最后拼接再經(jīng)過一次輸出投影。由于每個頭的初始線性映射不同它們會被逼著分化成不同的語義角色。實(shí)驗(yàn)和后來的分析都表明這種分工是自動出現(xiàn)的而不是人為指定的。Transformer原始論文里d_model512、h8、每個頭維度64這個配置到今天仍是很多模型的起點(diǎn)。多頭付出的額外參數(shù)不算大但讓模型表達(dá)空間立刻豐富起來這是它能以相對較低成本碾壓單頭注意力的主要原因。3. 復(fù)雜度突圍稀疏、線性與IO感知的注意力演進(jìn)3.1 平方復(fù)雜度在長序列場景中先卡住顯存自注意力的直接計算復(fù)雜度是O(n2·d)n是序列長度d是特征維度。表面上看這是個“計算量”問題實(shí)際第一卡點(diǎn)是顯存注意力權(quán)重矩陣本身是一個n×n的矩陣需要在顯存里顯式存下來。我算過一個直觀數(shù)據(jù)n8192、float32時單層注意力矩陣就是8192×8192×4字節(jié)約268MB。如果模型有三四十層又不用任何優(yōu)化顯存很快會被中間矩陣占滿。所以當(dāng)大家想把Transformer用到長文本、長視頻序列時“平方”根本不是細(xì)節(jié)而是第一堵墻。后面所有高效注意力算法目標(biāo)都是拆掉這堵墻。這里容易有個誤區(qū)以為O(n2)只是慢實(shí)際上它同時限制了批量大小和序列長度。很多時候不是算不動而是顯存放不下連batch size 1都跑不了。理解這一點(diǎn)再看稀疏注意力和FlashAttention的動機(jī)就會清楚很多。3.2 稀疏注意力用局部全局連接近似完整關(guān)系最早被大量驗(yàn)證的做法是稀疏注意力。Longformer的思路很直接保留一個滑動窗口讓每個token只看附近若干token同時額外設(shè)置少數(shù)全局token比如CLS讓信息可以通過它們跨區(qū)域傳播。BigBird在此基礎(chǔ)上又加了隨機(jī)連接證明窗口、隨機(jī)、全局三種模式的組合能夠在理論上逼近完整注意力的表達(dá)能力。視覺里的Swin Transformer也采用了類似哲學(xué)。它把注意力限制在局部窗口內(nèi)再用窗口移位獲得跨窗口連接既把復(fù)雜度降下來了又保留了層次化的視覺感知。稀疏注意力的核心代價是必須人工決定哪些位置需要被關(guān)注。任務(wù)不同最佳模式也不同長文本問答里局部窗口可能不夠全局token的選點(diǎn)需要試驗(yàn)圖像任務(wù)里窗口大小本身就是超參數(shù)。 它不像標(biāo)準(zhǔn)自注意力那樣“無腦”調(diào)起來更麻煩。3.3 線性注意力把softmax換成特征映射后的計算重排另一個方向是從數(shù)學(xué)上消掉n×n矩陣。完整softmax注意力要先算QK^T再softmax再乘以V。線性注意力把softmax中的指數(shù)相似度拆成兩個獨(dú)立特征映射的內(nèi)積形式然后利用矩陣結(jié)合律把運(yùn)算順序改成φ(Q) * (φ(K)^T * V)這樣先算φ(K)^T * V得到一個d×d的小矩陣再與φ(Q)相乘復(fù)雜度從O(n2)降到了O(n)。這類方法在超長序列檢索、DNA序列建模等場景有應(yīng)用但效果普遍不如完整注意力因?yàn)樗裺oftmax的歸一化競爭性抹掉了。沒有了歸一化模型很難通過注意力權(quán)重做“選哪個、忽略哪個”的離散判斷。我自己的經(jīng)驗(yàn)是線性注意力更適合序列非常長、但對質(zhì)量要求不極端嚴(yán)苛的任務(wù)如果資源允許優(yōu)先嘗試FlashAttention往往更劃算。3.4 FlashAttention的真實(shí)貢獻(xiàn)不省計算省內(nèi)存搬運(yùn)FlashAttention經(jīng)常被誤歸為近似注意力這其實(shí)是最大的誤解。它計算的注意力結(jié)果和標(biāo)準(zhǔn)注意力完全一致只是改變了計算順序和存儲策略。GPU有兩塊存儲片上SRAM很快但很小顯存HBM很大但慢。標(biāo)準(zhǔn)做法是頻繁把QK^T等中間矩陣寫到HBM再從HBM讀出來一遍遍搬運(yùn)。FlashAttention把Q、K、V分塊放到SRAM里每個block內(nèi)做完整softmax再用online softmax的思想逐步累積結(jié)果全程不落盤完整注意力矩陣。效果是顯存占用從O(n2)降到O(n)速度提升明顯。它優(yōu)化的是IO搬運(yùn)而不是計算量?，F(xiàn)在主流訓(xùn)練框架里FlashAttention基本可以無腦開啟這也讓長上下文在工程上變得現(xiàn)實(shí)了很多。如果項(xiàng)目里發(fā)現(xiàn)訓(xùn)練長序列時GPU利用率低先確認(rèn)是不是沒開FlashAttention開了以后瓶頸往往會從前向計算轉(zhuǎn)移到通信或數(shù)據(jù)加載這是我自己踩過的坑。4. 位置編碼演進(jìn)出sin/cos、相對編碼與RoPE4.1 為什么自注意力必須額外補(bǔ)充位置信息自注意力有個性質(zhì)如果把輸入序列打亂順序輸出也只會隨之打亂而不會改變?nèi)我鈨蓚€位置之間的關(guān)系結(jié)構(gòu)。因?yàn)樗豢磧?nèi)容相似度不看誰在誰前面。對語言來說順序就是信息。“張三打了李四”和“李四打了張三”的詞完全一樣語義完全相反。所以Transformer在最初設(shè)計中就必須顯式加入位置信息。這個模塊看似配角實(shí)際撐起了今天長文本外推能力的大半。很多項(xiàng)目訓(xùn)練時一切正常一換序列長度就崩往往就是位置編碼選型的問題。位置編碼本身也從最初的固定三角函數(shù)一路演進(jìn)到可學(xué)習(xí)絕對位置編碼、相對位置編碼、旋轉(zhuǎn)位置編碼RoPE再到零參數(shù)的ALiBi。4.2 絕對位置編碼的兩種形態(tài)固定式與可學(xué)習(xí)式原始Transformer使用固定三角函數(shù)編碼不同維度用不同頻率的sin/cos生成。好處是參數(shù)少、不學(xué)習(xí)、可以嘗試外推更關(guān)鍵的是由于三角函數(shù)的和差化積公式理論上編碼后兩個位置向量的點(diǎn)積能包含相對位置信息。不過在深層網(wǎng)絡(luò)里這種相對信息能不能被有效利用并不一定。到了BERT時代大家發(fā)現(xiàn)直接用可學(xué)習(xí)的位置embedding更簡單效果當(dāng)時也更好所以大量預(yù)訓(xùn)練模型都采用了它?？蓪W(xué)習(xí)絕對位置編碼的問題是訓(xùn)練長度固定模型見過多長就只能處理多長。如果訓(xùn)練時最長512推理時來了1024超出部分的位置embedding是從未訓(xùn)練過的隨機(jī)值效果自然崩。后來為了讓模型能處理長文檔大家才重新轉(zhuǎn)向相對位置類編碼因?yàn)橄鄬嚯x比絕對序號更容易泛化你說“隔了兩句話的關(guān)系”比說“第5個詞和第120個詞的關(guān)系”更本質(zhì)。4.3 相對位置編碼與Transformer-XL的外推思路絕對位置編碼把“第i個位置”當(dāng)作獨(dú)立標(biāo)簽相對位置編碼則直接建模“第i和j個位置相距多遠(yuǎn)”。Transformer-XL使用相對位置編碼后模型在訓(xùn)練長度之外也能延續(xù)一定距離因?yàn)榫嚯x關(guān)系比絕對序號更容易遷移。T5的處理更直接給注意力分?jǐn)?shù)加一個由相對距離決定的可學(xué)習(xí)bias讓模型在打分時知道兩個token離得遠(yuǎn)還是近。這類設(shè)計的直覺是語言中“相鄰”“相隔兩個詞”“跨句”這些距離模式是穩(wěn)定的而具體出現(xiàn)在第幾段并不重要。不過相對位置編碼的實(shí)現(xiàn)細(xì)節(jié)通常更繞比如需要調(diào)整K和V的拆分方式網(wǎng)絡(luò)層數(shù)一變就容易搞混。我在復(fù)現(xiàn)Transformer-XL時曾花了大半天排查維度不對齊的問題原因就是相對位置索引的偏移量沒寫對。位置編碼雖然看著只有幾行代碼但確實(shí)是實(shí)現(xiàn)時最容易出錯的地方之一。4.4 RoPE為什么成了LLM的事實(shí)標(biāo)準(zhǔn)旋轉(zhuǎn)位置編碼RoPE是近幾年大模型里用得最多的位置編碼。它的核心想法很漂亮把每個位置對應(yīng)的Q或K向量在高維空間里旋轉(zhuǎn)一個與該位置相關(guān)的角度。兩個旋轉(zhuǎn)后的向量做內(nèi)積時旋轉(zhuǎn)不改變向量長度只改變相位所以內(nèi)積結(jié)果恰好只依賴兩個位置的旋轉(zhuǎn)角之差也就是相對位置。這種設(shè)計把位置信息與注意力計算融合得不露痕跡同時具備相對位置編碼的外推優(yōu)勢。更重要的是后續(xù)對RoPE做長度外推很方便直接對旋轉(zhuǎn)角做線性插值或NTK插值就可以把模型推到訓(xùn)練長度之外不需要改動模型結(jié)構(gòu)。Llama、Qwen這些開源模型都用它生態(tài)工具也都對齊了所以它成為事實(shí)標(biāo)準(zhǔn)不是偶然。如果需要在超長上下文場景部署模型RoPE加插值方案是目前最成熟的方向之一。4.5 外推替代方案ALiBi如果你不想引入復(fù)雜的旋轉(zhuǎn)公式ALiBi是另一個有趣的思路。它完全不做位置embedding而是在注意力分?jǐn)?shù)上直接減去一個與兩個位置距離成正比的懲罰項(xiàng)讓模型天然對“遠(yuǎn)距離”降低權(quán)重。這種設(shè)計幾乎零參數(shù)在短訓(xùn)練、中長推理的外推場景上表現(xiàn)不錯。我實(shí)際測評中發(fā)現(xiàn)ALiBi在需要較長外推的任務(wù)里比較省心但訓(xùn)練充分的大模型里RoPE配合插值通常更穩(wěn)。位置編碼沒有銀彈關(guān)鍵是定義清楚你手里的序列長度需求和外推目標(biāo)。如果訓(xùn)練和推理長度一致可學(xué)習(xí)絕對位置編碼足夠如果要外推RoPE或ALiBi是更穩(wěn)的選擇。這個判斷越早做后面返工越少。5. 同是Transformer外殼內(nèi)部件一直在換歸一化、激活、共享頭5.1 Post-LN到Pre-LN的穩(wěn)定化改動原始Transformer把LayerNorm放在殘差相加之后也就是Post-LN。理論上Post-LN表達(dá)能力更強(qiáng)因?yàn)樗粚埐盥窂阶鲱~外限制但實(shí)際訓(xùn)練大模型時容易不穩(wěn)定需要warmup和精細(xì)調(diào)參。后來GPT-2和很多開源模型改用Pre-LN先對輸入做LayerNorm再進(jìn)行注意力或前饋網(wǎng)絡(luò)最后殘差直接相加。Pre-LN的殘差路徑更干凈梯度更容易跨層流動訓(xùn)練更穩(wěn)定。代價是模型最終效果可能略弱于Post-LN但和“能不能訓(xùn)起來”相比這個代價非常好接受。工程上我見過不少照著原始Transformer搭模型的朋友第一版堆不出深度改成Pre-LN以后幾十層就能穩(wěn)定跑了?，F(xiàn)在看主流LLM的開源代碼幾乎都是Pre-LN或者它的變體。如果你自己從零訓(xùn)練Transformer先把這一步改對比調(diào)一堆學(xué)習(xí)率更有效。5.2 從LayerNorm到RMSNorm的一步簡化LayerNorm要計算均值和方差然后做歸一化。RMSNorm的研究者發(fā)現(xiàn)均值那一步其實(shí)可以省掉只要用RMS均方根做縮放就足夠穩(wěn)定而且省了不少計算。聽起來像小改動但對幾十億參數(shù)模型來說省一個reduce對訓(xùn)練吞吐是有實(shí)際影響的。LLaMA系列用的就是RMSNorm。從算法演進(jìn)角度看RMSNorm少了一次中心化偏移的可學(xué)習(xí)參數(shù)也少了一層統(tǒng)計耦合訓(xùn)練時更干脆。如果你的模型在訓(xùn)練時發(fā)現(xiàn)LayerNorm統(tǒng)計均值長期偏離0仿照RMSNorm砍掉中心化通常會更快收斂。當(dāng)然這不是萬能技巧但在很多場景下確實(shí)能讓歸一化這塊更簡潔。現(xiàn)在新開源模型普遍用RMSNorm也說明這種簡化在工程上是劃算的。5.3 激活函數(shù)ReLU到GELU、SwiGLU的演進(jìn)Transformer前饋網(wǎng)絡(luò)里的激活函數(shù)也在演進(jìn)。原始論文用ReLU簡單高效但負(fù)數(shù)區(qū)域梯度完全為0容易造成神經(jīng)元死亡。BERT和GPT-1開始用GELU它用標(biāo)準(zhǔn)正態(tài)累積分布做平滑門控0附近不是尖點(diǎn)梯度更連續(xù)訓(xùn)練更穩(wěn)。后來PaLM、LLaMA、很多LLM用SwiGLU把門控線性單元和Swish組合起來等于一個分支負(fù)責(zé)“內(nèi)容”另一個分支負(fù)責(zé)“門控”。SwiGLU在同等計算量下通常能帶來穩(wěn)定的效果提升但會額外增加參數(shù)。實(shí)際使用時常常要把中間層維度縮小比如從4倍降到約2.67倍來抵消參數(shù)增量。這里給個參數(shù)建議表激活函數(shù)典型中間層倍數(shù)特點(diǎn)ReLU4倍簡單快速容易神經(jīng)元死亡GELU4倍平滑梯度預(yù)訓(xùn)練更穩(wěn)SwiGLU約2.67倍門控機(jī)制效果好但參數(shù)多這個維度調(diào)整看起來小但對訓(xùn)練吞吐影響很大。我見過有人把SwiGLU的中間層繼續(xù)設(shè)成4倍結(jié)果參數(shù)量爆炸訓(xùn)練速度直線下降效果卻沒提升。激活函數(shù)選型時一定要連同維度一起看。5.4 從MHA到MQA/GQA推理成本驅(qū)動的頭結(jié)構(gòu)變化注意力頭結(jié)構(gòu)的最大演進(jìn)動力來自推理階段的KV cache。標(biāo)準(zhǔn)多頭注意力MHA每個頭都獨(dú)立存K和V序列越長顯存越大。推理時這些KV要一直存在所以有人做了MQA讓所有頭共享同一個K和V。共享以后KV cache大幅縮小但表達(dá)能力下降模型質(zhì)量可能有折扣。折中方案是GQA把注意力頭分成若干組組內(nèi)共享一組K/V。GQA在質(zhì)量和KV cache之間取得了平衡比如Llama 2 70B就用了GQA。如果你在做長上下文服務(wù)的部署KV cache是繞不開的工程問題。MQA/GQA這類結(jié)構(gòu)改動遠(yuǎn)比單純加顯存更實(shí)際。下面這張表可以幫你快速決策類型K/V共享方式KV cache開銷適用場景MHA每頭獨(dú)立最高訓(xùn)練階段追求表達(dá)上限MQA所有頭共享一組最低輕量推理接受質(zhì)量回落GQA組內(nèi)共享折中生成式LLM質(zhì)量與顯存平衡實(shí)際開發(fā)時訓(xùn)練階段可以用MHA充分訓(xùn)練推理階段再做GQA轉(zhuǎn)換或量化這種思路在一些部署實(shí)踐中已經(jīng)很常見。不過要注意訓(xùn)練和推理的注意力頭配置不一致時需要做參數(shù)重構(gòu)不能簡單改名了事。6. 范式位移Decoder-only與條件計算帶來的新問題6.1 BERT與GPT左右兩條路的結(jié)果從Transformer衍生出來的早期路線分兩支。BERT走Encoder-only架構(gòu)用雙向上下文預(yù)訓(xùn)練在GLUE、SQuAD等理解類任務(wù)上統(tǒng)治了很久。GPT走Decoder-only架構(gòu)用因果語言模型做生成一開始更擅長續(xù)寫。當(dāng)時很多研究者的判斷是兩種架構(gòu)各司其職理解歸BERT生成歸GPT。后來的發(fā)展大家都清楚生成式AI成為大模型主流后兩邊在規(guī)模、生態(tài)、社區(qū)投入上開始明顯傾斜。這種偏差背后有算法理念的原因BERT的預(yù)訓(xùn)練目標(biāo)需要額外任務(wù)頭才能遷移而GPT的自回歸目標(biāo)天然把所有任務(wù)統(tǒng)一成“預(yù)測下一個token”下游使用時幾乎不需要架構(gòu)改動?？雌饋碇皇怯?xùn)練目標(biāo)的差別實(shí)際變成了整個產(chǎn)品形態(tài)的差別。6.2 為什么生成式大模型把Decoder-only當(dāng)成默認(rèn)架構(gòu)除了統(tǒng)一任務(wù)很方便Decoder-only在工程上也更好擴(kuò)展。因果注意力意味著所有位置只看左側(cè)顯存中KV的形態(tài)整齊推理時逐token生成天然符合KV cache的更新方式。Encoder-Decoder架構(gòu)雖然雙向理解更強(qiáng)但生成時仍然要從Decoder走一遍編碼端和解碼端的調(diào)度更復(fù)雜推理開銷也更大。再加上近年一些對照實(shí)驗(yàn)顯示在同等參數(shù)量和訓(xùn)練數(shù)據(jù)下Decoder-only在下游任務(wù)上比Encoder-Decoder不弱甚至更強(qiáng)。這直接推動元模型、Llama、Qwen等幾乎所有主流大模型都選了Decoder-only。倒不是說Encoder-Decoder沒有價值而是在當(dāng)前規(guī)?；傻姆妒街蠨ecoder-only的工程優(yōu)勢太明顯。如果只是做純理解任務(wù)Encoder-only依舊有其價值但如果你要做一個通用助手Decoder-only幾乎是最省事的起點(diǎn)。6.3 MoE、多模態(tài)等架構(gòu)層面的新變量說Transformer架構(gòu)演進(jìn)還不能不提MoE。MoE不是改注意力算法而是把FFN層換成多個專家網(wǎng)絡(luò)并通過門控網(wǎng)絡(luò)對每個token動態(tài)選擇專家。它以條件計算的方式讓模型參數(shù)量大幅增加但單次推理只激活一部分參數(shù)。Mixtral、DeepSeek等模型把MoE和Transformer結(jié)合后長上下文的性價比進(jìn)一步提升。多模態(tài)方向則出現(xiàn)把圖像、音頻都當(dāng)作token序列輸入到Transformer的做法。核心算法時代的很多技巧都能原樣保留只是模態(tài)編碼器不同。這些都說明Transformer的核心算法演進(jìn)不會停在“注意力本身怎么算”而會在“結(jié)構(gòu)算法如何匹配實(shí)際算力”上繼續(xù)延伸。我入行這幾年最大的感受是很多看似理論優(yōu)雅的演進(jìn)最初都來自工程上的“卡脖子”問題。FlashAttention來自顯存瓶頸Pre-LN來自深度訓(xùn)練不穩(wěn)定GQA來自推理KV cache膨脹。如果你自己做項(xiàng)目別急著追新模塊先看看當(dāng)前流程卡在哪一層序列一長就崩優(yōu)先看注意力復(fù)雜度模型越深越難收斂優(yōu)先看歸一化和殘差服務(wù)端KV cache太吃顯存優(yōu)先看GQA。按這個思路去選架構(gòu)算法比復(fù)制別人的配置要有效得多。這也是我把前面那些演進(jìn)串成一條邏輯線的意義把每個新模塊的名字都還原成它原本要解決的問題用的時候自然知道怎么選。