先把算子這個(gè)詞說(shuō)清楚很多人第一次聽(tīng)到算子是在學(xué)數(shù)學(xué)分析或者泛函的時(shí)候那時(shí)候它指的是從一個(gè)函數(shù)空間到另一個(gè)函數(shù)空間的映射比如微分算子、積分算子。但今天在 AI 圈子里說(shuō)的算子含義要樸素得多基本就是一次具體的運(yùn)算操作。你打開(kāi) PyTorch 寫(xiě)一行y torch.matmul(a, b)這就是一次矩陣乘法算子寫(xiě)torch.relu(x)這是激活函數(shù)算子寫(xiě)F.softmax(scores, dim-1)這是 softmax 算子。一個(gè)神經(jīng)網(wǎng)絡(luò)不管是卷積網(wǎng)絡(luò)還是 Transformer本質(zhì)上就是一張算子組成的計(jì)算圖輸入張量沿著這張圖流動(dòng)每經(jīng)過(guò)一個(gè)節(jié)點(diǎn)就被做一次變換最后輸出結(jié)果。訓(xùn)練時(shí)反向傳播也是沿著這張圖把梯度一個(gè)個(gè)算子地傳回去。所以你可以把算子理解成深度學(xué)習(xí)框架里的原子操作。框架和編譯器的工作就是把這些高層的算子翻譯成 GPU 上真正執(zhí)行的 CUDA 內(nèi)核kernel。一個(gè)算子在 GPU 上跑得快不快取決于很多底層細(xì)節(jié)訪存是不是連續(xù)、有沒(méi)有把數(shù)據(jù)盡量留在高速緩存里、計(jì)算和訪存的比例也就是常說(shuō)的算術(shù)強(qiáng)度夠不夠高、有沒(méi)有被啟動(dòng)開(kāi)銷(xiāo)和同步開(kāi)銷(xiāo)拖慢。為什么這玩意兒值得專(zhuān)門(mén)拿出來(lái)說(shuō)因?yàn)榇竽Ｐ偷囊?guī)模把這些問(wèn)題放大到了極致。一個(gè)千億參數(shù)的模型前向一次要做海量的矩陣乘法和注意力計(jì)算任何一個(gè)高頻算子的效率差一點(diǎn)乘以幾十層、乘以每個(gè) token、乘以萬(wàn)億級(jí)的訓(xùn)練步數(shù)最后就是電費(fèi)、顯卡租用費(fèi)、訓(xùn)練周期上的巨大差別。反過(guò)來(lái)能把顯存占用降下來(lái)就意味著同樣的卡能塞更大的 batch、更長(zhǎng)的上下文訓(xùn)練和推理的經(jīng)濟(jì)賬完全不一樣。這就是為什么訓(xùn)練大模型的團(tuán)隊(duì)幾乎都會(huì)在算子層面投入大量工程資源——這不是什么獨(dú)家秘方而是這行的基本功。理解了這一層再來(lái)看 DeepSeek 做的事情就能更準(zhǔn)確地判斷哪些是真創(chuàng)新、哪些是把基本功做得比較狠。DeepSeek 在算子層面做的幾件事混合專(zhuān)家MoE里的路由與調(diào)度DeepSeek-V3 是一個(gè)混合專(zhuān)家模型里面有大量專(zhuān)家子網(wǎng)絡(luò)但每個(gè) token 每次只激活其中很小的一部分。MoE 這個(gè)架構(gòu)本身不是 DeepSeek 發(fā)明的早年的 Switch Transformer、GShard 都是這個(gè)路子。MoE 真正的難點(diǎn)恰恰就落在算子和調(diào)度層面。第一個(gè)難點(diǎn)是路由gating / router。路由器本身是一個(gè)小算子它給每個(gè) token 打分決定把它送給哪幾個(gè)專(zhuān)家。路由算子看起來(lái)簡(jiǎn)單但它的質(zhì)量直接決定了 MoE 的效率如果路由不準(zhǔn)token 被送去了不相關(guān)的專(zhuān)家等于白算如果路由太偏科某些專(zhuān)家被擠爆、某些專(zhuān)家閑著負(fù)載不均整個(gè)并行效率就垮了。DeepSeek 在路由上引入過(guò)帶負(fù)載均衡損失的輔助機(jī)制讓專(zhuān)家之間的負(fù)載盡量均勻這本質(zhì)上是在路由算子里加了一個(gè)約束項(xiàng)犧牲一點(diǎn)點(diǎn)單點(diǎn)最優(yōu)換整體吞吐。第二個(gè)難點(diǎn)是專(zhuān)家并行Expert Parallelism下的通信。當(dāng)專(zhuān)家分散在很多張卡上時(shí)一個(gè) token 要去找它的專(zhuān)家就得跨卡傳數(shù)據(jù)這就是 all-to-all 通信。all-to-all 是 MoE 訓(xùn)練里最容易被卡脖子的算子之一因?yàn)樗ㄐ帕看?、模式不?guī)則。DeepSeek 在 V3 里用了一種叫 DualPipe 的流水線并行方案核心思想是讓通信和計(jì)算盡量重疊——在等數(shù)據(jù)傳過(guò)來(lái)的時(shí)候GPU 別閑著去算下一段能算的東西。這個(gè)思路業(yè)界都有但 DeepSeek 把它做到了比較精細(xì)的程度配合它自己的流水線切分方式把氣泡bubble也就是 GPU 空轉(zhuǎn)的時(shí)間壓得比較小。所以 MoE 這塊DeepSeek 的貢獻(xiàn)更多是在超大規(guī)模下把路由、負(fù)載均衡、通信重疊這些算子和調(diào)度細(xì)節(jié)調(diào)到位而不是憑空造了一個(gè)新算子。多頭潛在注意力MLA這是 DeepSeek 在算子層面最常被提到的一項(xiàng)也確實(shí)是比較有原創(chuàng)性的改動(dòng)。先回憶標(biāo)準(zhǔn)的多頭注意力MHA和它的省顯存變體 GQA/MQA。注意力計(jì)算里每個(gè) token 會(huì)生成 Query、Key、Value 三組向量。訓(xùn)練時(shí)還好麻煩在推理為了自回歸地生成下一個(gè) token模型要把歷史上所有 token 的 Key 和 Value 都存下來(lái)這就是 KV 緩存。上下文一長(zhǎng)、batch 一大KV 緩存能吃掉巨量顯存而且訪存帶寬會(huì)成為瓶頸——注意力算子很多時(shí)候不是算不過(guò)來(lái)是數(shù)據(jù)搬不過(guò)來(lái)。MLA 的思路是既然 KV 緩存這么占地方那我干脆把 Key 和 Value 先壓縮到一個(gè)低維的潛在向量里緩存只存這個(gè)壓縮后的低維表示算注意力時(shí)再把它解壓回高維去用。這樣緩存的體積就按壓縮比例降下來(lái)了。DeepSeek 還做了一個(gè)巧妙的設(shè)計(jì)叫解耦位置編碼——把跟位置有關(guān)的那部分單獨(dú)拿出來(lái)不塞進(jìn)壓縮的潛在向量里避免位置信息干擾壓縮效果。從算子角度看MLA 的代價(jià)是計(jì)算圖變復(fù)雜了多了一步壓縮、多了一步解壓矩陣乘法的形狀也變了。它省的是顯存和訪存但并沒(méi)有省掉計(jì)算量本身甚至因?yàn)槎嗔送队皢慰?FLOPs 可能還略增。這筆賬劃不劃算取決于你的瓶頸到底在顯存/帶寬還是在算力。對(duì)推理這種通?？ㄔ陲@存和帶寬上的場(chǎng)景MLA 是劃算的這也是為什么它主要服務(wù)于推理效率。值得說(shuō)一句的是MLA 不是免費(fèi)午餐。它引入了額外的投影矩陣這些矩陣本身的訓(xùn)練和數(shù)值穩(wěn)定性需要調(diào)壓縮維度選多少也是個(gè) trade-off壓太狠會(huì)掉精度。DeepSeek 的貢獻(xiàn)在于把這套設(shè)計(jì)在大規(guī)模模型上驗(yàn)證跑通了并且給出了工程上可實(shí)現(xiàn)的算子寫(xiě)法而不是停留在論文里。FP8 低精度訓(xùn)練傳統(tǒng)大模型訓(xùn)練主流用 BF16也有用 FP16 的。FP8 是更短的浮點(diǎn)數(shù)格式只有 8 位意味著同樣的顯存能存更多數(shù)、顯存帶寬要搬的數(shù)據(jù)更少、GPU 上 FP8 的矩陣乘法單元吞吐更高。聽(tīng)起來(lái)很美但 8 位浮點(diǎn)數(shù)的動(dòng)態(tài)范圍和精度都非常有限直接拿來(lái)訓(xùn)練梯度、激活值很容易溢出或者下溢模型訓(xùn)著訓(xùn)著就崩了。DeepSeek 在 V3 上把 FP8 訓(xùn)練真正做到了大規(guī)?？捎眠@里面算子層面的功夫主要在兩塊。一塊是縮放scaling。FP8 表示范圍窄所以要在算之前給張量乘一個(gè)縮放因子把數(shù)值挪到 FP8 能表示的區(qū)間里算完再除回來(lái)。這個(gè)縮放因子怎么定、多久更新一次、是按張量整體縮放還是按更細(xì)的粒度比如按 block、按 channel縮放都是算子實(shí)現(xiàn)里的細(xì)節(jié)。縮放做得太粗精度丟得多做得太細(xì)開(kāi)銷(xiāo)又上去了。另一塊是誤差補(bǔ)償和混合精度策略。不是所有算子都無(wú)腦上 FP8。DeepSeek 的做法是關(guān)鍵的、對(duì)精度敏感的環(huán)節(jié)比如某些累加、某些歸一化、損失計(jì)算保留更高精度把真正占大頭的矩陣乘法放到 FP8 上跑。同時(shí)配合一些數(shù)值穩(wěn)定的技巧讓訓(xùn)練不炸。這本質(zhì)上是在算子級(jí)別做精度的分區(qū)調(diào)度哪里能省、哪里不能省分得很細(xì)。FP8 這塊 DeepSeek 走得比較靠前是少數(shù)公開(kāi)把 FP8 端到端訓(xùn)練跑通到前沿模型規(guī)模的案例之一。但也要客觀Hopper 架構(gòu)的 GPU 本身就支持 FP8 硬件加速DeepSeek 是第一個(gè)把這套硬件能力在超大規(guī)模訓(xùn)練里用出效果的團(tuán)隊(duì)之一而不是發(fā)明了 FP8 格式。底層工程手寫(xiě)內(nèi)核、內(nèi)存復(fù)用、算子融合這部分最不性感但往往是效率差距的真正來(lái)源也最不像營(yíng)銷(xiāo)話術(shù)能吹出來(lái)的——因?yàn)樗菍?shí)打?qū)嵉拇a。**算子融合kernel fusion**是常見(jiàn)手段把多個(gè)連續(xù)的算子合并成一個(gè) GPU 內(nèi)核減少中間結(jié)果寫(xiě)回顯存再讀出來(lái)的開(kāi)銷(xiāo)。比如把矩陣乘 加偏置 激活融成一個(gè)內(nèi)核中間結(jié)果就不用落地到顯存了。DeepSeek 在訓(xùn)練和推理?xiàng)＠锎罅坑眠@類(lèi)融合。內(nèi)存復(fù)用和重計(jì)算activation recomputation / gradient checkpointing訓(xùn)練時(shí)為了省顯存不把所有中間激活都存著而是在反向傳播需要時(shí)重新算一遍。這是用計(jì)算換顯存DeepSeek 在超大規(guī)模下把這套策略和它的并行方案配合得很緊。手寫(xiě) CUDA 內(nèi)核框架自帶的通用算子往往不是針對(duì)某個(gè)特定形狀、特定硬件的最優(yōu)解。當(dāng)某個(gè)算子被調(diào)用了幾十億次手寫(xiě)一個(gè)針對(duì)性的內(nèi)核把訪存模式、寄存器使用、線程塊劃分都調(diào)到貼合硬件收益就很可觀。DeepSeek 的開(kāi)源代碼里能看到不少這類(lèi)針對(duì)性實(shí)現(xiàn)。通信庫(kù)和并行策略的定制除了 DualPipeDeepSeek 還配合了它自己的流水線切分、張量并行、專(zhuān)家并行的組合方式讓不同并行維度之間的通信盡量不互相阻塞。這些都不是單個(gè)算子而是算子之上的調(diào)度層但它們最終都落到 GPU 上執(zhí)行的通信算子和計(jì)算算子的配合上。一個(gè)更冷靜的總結(jié)把上面這些串起來(lái)看DeepSeek 在算子層面的創(chuàng)新比較準(zhǔn)確的描述是它沒(méi)有發(fā)明一個(gè)橫空出世、別人完全沒(méi)想過(guò)的新算子而是把一堆業(yè)界已知的優(yōu)化方向——MoE 路由與負(fù)載均衡、注意力壓縮MLA 這一項(xiàng)原創(chuàng)性相對(duì)高、FP8 低精度訓(xùn)練、通信計(jì)算重疊、算子融合與手寫(xiě)內(nèi)核——在超大規(guī)模、真實(shí)訓(xùn)練前沿模型的條件下做得比較扎實(shí)、比較省并且公開(kāi)驗(yàn)證了可行性。它的成本優(yōu)勢(shì)是算法選型 工程細(xì)節(jié) 硬件適配三者一起堆出來(lái)的而不是靠某一個(gè)神奇算子一招制勝。MLA 是其中原創(chuàng)性最強(qiáng)的一個(gè)FP8 大規(guī)模訓(xùn)練是其中工程難度最高的一個(gè)DualPipe 和 MoE 調(diào)度是其中把已知思路做到極致的代表。所以與其把 DeepSeek 看成算子魔法不如把它看成一個(gè)把基本功練到極致的團(tuán)隊(duì)在別人覺(jué)得差不多就行了的底層細(xì)節(jié)上多摳了那么幾刀最后摳出了別人用不起的成本結(jié)構(gòu)。這既不神化它也不貶低它大概是描述這件事最合適的尺度。