關(guān)于 OpenAI 自研芯片 Jalape?o 能效超越 NVIDIA Vera Rubin 這條消息最近在 AI 基礎(chǔ)設(shè)施圈子里討論熱度很高。很多人的第一反應(yīng)是OpenAI 不是做模型的嗎怎么突然下場(chǎng)做芯片了而且上來(lái)就把 NVIDIA 下一代加速器的能效比下去這篇文章就從芯片能效這個(gè)角度把已知信息拆開(kāi)來(lái)看再聊一聊如果消息屬實(shí)對(duì) AI 訓(xùn)練、推理成本、自建數(shù)據(jù)中心和開(kāi)發(fā)者生態(tài)分別意味著什么。先說(shuō)清楚這篇文章不是拆解芯片內(nèi)部架構(gòu)的硬核測(cè)評(píng)因?yàn)榫唧w架構(gòu)設(shè)計(jì)、晶體管數(shù)量、能效測(cè)試環(huán)境和實(shí)測(cè)數(shù)據(jù)還沒(méi)有全部公開(kāi)。更合適的定位是圍繞“Jalape?o 能效超越 Vera Rubin”這個(gè)結(jié)論梳理我們需要關(guān)注哪些技術(shù)維度怎么驗(yàn)證這類(lèi)說(shuō)法以及它對(duì) AI 工程實(shí)踐可能帶來(lái)什么影響。先給一個(gè)速覽把核心信息擺出來(lái)。1. 核心要點(diǎn)速覽項(xiàng)目/事件OpenAI 自研 AI 芯片 Jalape?o芯片類(lèi)型AI 加速器定位偏向數(shù)據(jù)中心訓(xùn)練與推理場(chǎng)景基于公開(kāi)信息推測(cè)工藝制程3nm據(jù)稱(chēng)在 9 個(gè)月內(nèi)完成設(shè)計(jì)到流片能效對(duì)比對(duì)象NVIDIA Vera Rubin 加速器核心亮點(diǎn)能效表現(xiàn)超越 Vera Rubin單位功耗算力可能更具優(yōu)勢(shì)當(dāng)前階段芯片設(shè)計(jì)/流片階段規(guī)?；慨a(chǎn)和實(shí)際部署仍需時(shí)間主要影響AI 訓(xùn)練/推理成本結(jié)構(gòu)、OpenAI 算力自給率、NVIDIA 在高端 AI 芯片市場(chǎng)的議價(jià)能力不確定性具體能效數(shù)據(jù)、產(chǎn)線良率、軟件生態(tài)成熟度需以官方公布和實(shí)測(cè)為準(zhǔn)從表格可以看出這次事件的核心不是“OpenAI 有芯片了”而是“能效”這兩個(gè)字。AI 芯片的能效正在成為比單純算力更關(guān)鍵的評(píng)價(jià)指標(biāo)。2. 背景為什么 AI 芯片能效成為關(guān)鍵指標(biāo)過(guò)去幾年大家看 AI 芯片首先看算力也就是 TFLOPS 多高顯存多大帶寬多寬。但隨著模型規(guī)模指數(shù)級(jí)增長(zhǎng)數(shù)據(jù)中心里越來(lái)越跑不起“完全不考慮功耗”的芯片了。這里說(shuō)的能效一般指每瓦特功耗能完成多少次計(jì)算常見(jiàn)單位是 TFLOPS/W 或者 TOPS/W。同樣的訓(xùn)練任務(wù)如果芯片 A 比芯片 B 省電 30%那么在大型集群里省下的不只是電費(fèi)還有散熱成本、機(jī)柜空間、供電改造費(fèi)用甚至影響整個(gè)數(shù)據(jù)中心的 PUE 和選址決策。還有一個(gè)背景值得注意OpenAI 做芯片的動(dòng)機(jī)已經(jīng)不是“要不要做”的問(wèn)題而是“什么時(shí)候做出來(lái)”的問(wèn)題。依賴(lài)單一供應(yīng)商意味著在芯片供應(yīng)、價(jià)格、產(chǎn)能上都缺少主動(dòng)權(quán)。尤其在大規(guī)模推理場(chǎng)景下算力成本直接決定 API 定價(jià)和產(chǎn)品毛利。如果能有一顆自研芯片在最耗電的推理環(huán)節(jié)把單位成本打下來(lái)那整個(gè)商業(yè)模型的競(jìng)爭(zhēng)力都會(huì)不一樣。所以Jalape?o 的出現(xiàn)表面上是芯片設(shè)計(jì)能力問(wèn)題底層是算力成本和供應(yīng)鏈控制權(quán)問(wèn)題。3. Jalape?o 與 Vera Rubin 的能效對(duì)比視角關(guān)于“能效超越”不能只看一個(gè)孤立的數(shù)字。芯片能效的對(duì)比通常存在三個(gè)不同維度。對(duì)比維度OpenAI Jalape?o據(jù)公開(kāi)信息推測(cè)NVIDIA Vera Rubin說(shuō)明工藝制程3nm可能采用更成熟或相近的制程制程越先進(jìn)單位面積晶體管越多理論能效上限越高每瓦算力據(jù)稱(chēng)超越 Vera Rubin是 NVIDIA 下一代加速器能效指標(biāo)待官方公布這是“能效超越”說(shuō)法的核心但需要統(tǒng)一測(cè)試條件架構(gòu)設(shè)計(jì)OpenAI 針對(duì)自有模型和負(fù)載定制優(yōu)化通用加速器覆蓋訓(xùn)練/推理/科學(xué)計(jì)算等場(chǎng)景專(zhuān)用芯片在特定任務(wù)上通常能效更優(yōu)軟件生態(tài)尚未成熟需要自建編譯器和框架適配CUDA 生態(tài)成熟開(kāi)發(fā)者遷移成本低能效高不等于好用生態(tài)決定落地速度量產(chǎn)階段剛流片成功需要時(shí)間驗(yàn)證良率和成本已進(jìn)入正常量產(chǎn)節(jié)奏實(shí)驗(yàn)室能效數(shù)據(jù)與量產(chǎn)芯片實(shí)際表現(xiàn)存在差距這里要特別說(shuō)明一個(gè)常見(jiàn)的誤區(qū)能效高不等于總算力高。一顆小芯片如果專(zhuān)門(mén)為 transformer 的矩陣乘法優(yōu)化完全可能在每瓦算力上超過(guò)一顆通用大芯片但它在復(fù)雜訓(xùn)練任務(wù)里的絕對(duì)吞吐量可能仍然不如對(duì)方。所以“超越 Vera Rubin”更可能是在能效比這個(gè)維度上的超越而不是全面碾壓。另外一個(gè)需要注意的問(wèn)題是“能效測(cè)試條件”。芯片能效通常受工藝、頻率、電壓、散熱、工作負(fù)載類(lèi)型影響極大。同樣一顆芯片跑 FP8 推理和跑 BF16 訓(xùn)練的能效表現(xiàn)可能差出一截。如果有人把 FP8 推理的能效數(shù)據(jù)拿去對(duì)比對(duì)方 FP16 訓(xùn)練的能效數(shù)據(jù)那這個(gè)對(duì)比就沒(méi)有參考價(jià)值。正確做法是看同一精度、同一模型、同一 batch size 條件下的對(duì)比結(jié)果。4. 從芯片到集群能效提升對(duì) AI 基礎(chǔ)設(shè)施的影響單顆芯片能效提升最終要放到集群層面看才有意義。在萬(wàn)卡集群里供電能力和散熱能力往往比單卡算力更先觸及天花板。一個(gè)典型的 AI 數(shù)據(jù)中心電力成本占運(yùn)營(yíng)成本的比例可以非常高。如果單個(gè)加速器能效提升 20% 到 30%意味著同樣電力預(yù)算下可以部署更多芯片集群總算力提升同樣算力需求下可以減少機(jī)柜數(shù)量降低散熱壓力數(shù)據(jù)中心選址從“必須靠近廉價(jià)電力”逐漸變?yōu)椤捌胀üI(yè)用電也能支撐”選址范圍更大。對(duì) OpenAI 來(lái)說(shuō)這種影響還意味著自研芯片可以幫助制定更激進(jìn)的集群規(guī)模計(jì)劃。外界普遍認(rèn)為 OpenAI 的訓(xùn)練集群規(guī)模會(huì)繼續(xù)擴(kuò)大如果每瓦算力不足集群規(guī)模越大電力成本越不可控。Jalape?o 如果能在能效上形成優(yōu)勢(shì)自建數(shù)據(jù)中心的單位算力成本就會(huì)下探訓(xùn)練下一代模型的邊際成本也會(huì)降低。不過(guò)從單顆芯片到集群中間還有一道關(guān)卡互連。AI 集群里真正難的不是計(jì)算本身而是千卡萬(wàn)卡之間的通信效率。一顆芯片能效再高如果集群規(guī)模擴(kuò)展時(shí)通信瓶頸明顯整個(gè)集群的實(shí)際利用率也會(huì)掉下來(lái)。這一塊在公開(kāi)材料里信息很少只能等后續(xù)更多技術(shù)細(xì)節(jié)披露。5. AI 開(kāi)發(fā)者視角能效提升意味著什么從開(kāi)發(fā)者角度看芯片層面的能效競(jìng)爭(zhēng)最終會(huì)通過(guò)兩條路徑傳導(dǎo)過(guò)來(lái)一條是云服務(wù)價(jià)格一條是 API 響應(yīng)能力。先說(shuō)價(jià)格路徑。如果 OpenAI 用自研芯片跑推理推理成本下降那 API 的定價(jià)空間就會(huì)更大。尤其是高頻調(diào)用場(chǎng)景比如 Agent 應(yīng)用、代碼生成、大規(guī)模批處理任務(wù)這些都是對(duì)價(jià)格極其敏感的負(fù)載。自研芯片的長(zhǎng)期價(jià)值在于把這些場(chǎng)景的單位成本打到足夠低。再說(shuō)響應(yīng)能力。能效更高的芯片通常意味著可以在同樣的功耗預(yù)算里維持更高的吞吐量或者同樣的吞吐量下占用更少資源。這直接關(guān)系到批量推理任務(wù)的吞吐、時(shí)延穩(wěn)定性和并發(fā)上限。如果你在做一個(gè)需要并發(fā)調(diào)用大模型 API 的應(yīng)用換用更高效的芯片后最直觀的感受可能是更少的限流和更穩(wěn)定的響應(yīng)時(shí)間。但這里也要潑一盆冷水芯片設(shè)計(jì)完成到軟件生態(tài)成熟中間至少還隔著編譯器、運(yùn)行時(shí)、框架適配、算子庫(kù)優(yōu)化、集群調(diào)度系統(tǒng)兼容等一大堆工程問(wèn)題。NVIDIA CUDA 生態(tài)積累了多少年OpenAI 要短期在軟件層面完全替代不太現(xiàn)實(shí)。更可能出現(xiàn)的情況是OpenAI 自研芯片先在自己內(nèi)部特定負(fù)載上跑通再逐步擴(kuò)展到更多場(chǎng)景。6. 工具鏈與監(jiān)測(cè)如何觀察 AI 芯片能效數(shù)據(jù)芯片能效不是某個(gè) PPT 上隨手寫(xiě)的數(shù)字而是可以在實(shí)際環(huán)境中驗(yàn)證和觀測(cè)的指標(biāo)。下面給出一個(gè)通用的能效觀測(cè)思路無(wú)論未來(lái)拿到的是 NVIDIA 芯片還是其他加速器這套方法都適用。6.1 采集功耗與利用率最常見(jiàn)的做法是通過(guò)系統(tǒng)工具讀取功耗和利用率然后計(jì)算每單位功耗的吞吐量。# NVIDIA GPU 功耗與利用率采樣 nvidia-smi --query-gpuname,power.draw,utilization.gpu,temperature.gpu --formatcsv -l 1如果是未來(lái) OpenAI 自研芯片也大概率會(huì)提供類(lèi)似的系統(tǒng)監(jiān)控接口或 SDK。核心思路是在穩(wěn)定負(fù)載下同時(shí)記錄算力吞吐量和瞬時(shí)功耗最后用“完成任務(wù)數(shù) / 總能耗”來(lái)算能效。6.2 用 Python 做自動(dòng)化能效記錄手動(dòng)看 nvidia-smi 不方便做批量測(cè)試可以寫(xiě)一個(gè)簡(jiǎn)單腳本自動(dòng)記錄。import subprocess import time import csv from datetime import datetime def sample_gpu_power(interval1, duration30): 簡(jiǎn)單的能效采樣腳本記錄 GPU 功耗和利用率 實(shí)際使用時(shí)需要根據(jù)目標(biāo)芯片的監(jiān)控接口調(diào)整 records [] start time.time() while time.time() - start duration: output subprocess.check_output( [nvidia-smi, --query-gpupower.draw,utilization.gpu, --formatcsv,noheader,nounits] ).decode(utf-8).strip() power, util output.split(,) records.append({ timestamp: datetime.now().isoformat(), power_draw_w: float(power.strip()), utilization_gpu_percent: float(util.strip()) }) time.sleep(interval) with open(energy_profile.csv, w, newline) as f: writer csv.DictWriter(f, fieldnamesrecords[0].keys()) writer.writeheader() writer.writerows(records) if __name__ __main__: sample_gpu_power()這個(gè)腳本只做一件事在固定時(shí)間窗口內(nèi)把功耗和利用率采樣到 CSV 文件里。之后再用下游任務(wù)吞吐量除以累計(jì)能耗就能算出一個(gè)可比較的能效指標(biāo)。6.3 基準(zhǔn)測(cè)試流程模板如果未來(lái)要對(duì)不同芯片做能效對(duì)比推薦用以下固定流程固定模型選同一個(gè)模型結(jié)構(gòu)和相同的參數(shù)量固定精度統(tǒng)一使用 FP8、FP16 或 BF16 中的一種固定 batch size保證單次計(jì)算負(fù)載一致固定時(shí)間窗口跑 30 分鐘以上減少冷啟動(dòng)和波動(dòng)影響記錄數(shù)據(jù)同時(shí)記錄完成的任務(wù)數(shù)、累計(jì)功耗、平均功耗、平均利用率計(jì)算能效任務(wù)數(shù) / 累計(jì)功耗。這樣得到的能效數(shù)據(jù)才有橫向?qū)Ρ鹊囊饬x。如果測(cè)試條件不一致討論“誰(shuí)超越誰(shuí)”就沒(méi)有說(shuō)服力。7. 性能觀察與資源管理建議從工程角度看能效優(yōu)化并不是芯片廠商單方面的事。同樣的芯片不同的部署方式能效差距可能很大。下面幾個(gè)方向是實(shí)際項(xiàng)目中比較容易見(jiàn)效的。7.1 批量處理優(yōu)于單條處理把多個(gè)推理請(qǐng)求聚合到同一個(gè) batch 里可以攤薄芯片的固定開(kāi)銷(xiāo)。單條請(qǐng)求處理時(shí)芯片大部分時(shí)間處于低利用率但仍在耗電的狀態(tài)批量處理時(shí)單位功耗下完成的請(qǐng)求數(shù)明顯更高。但 batch size 也不是越大越好過(guò)大會(huì)導(dǎo)致顯存壓力上升處理時(shí)延變長(zhǎng)需要根據(jù)實(shí)際負(fù)載做壓測(cè)。7.2 精度選擇直接影響能效FP8 推理通常比 FP16 速度快一倍以上功耗卻未必翻倍因此每瓦算力大幅提升。如果業(yè)務(wù)能接受低精度帶來(lái)的質(zhì)量損失優(yōu)先用低精度推理是省電又提速的有效手段。但訓(xùn)練側(cè)的能效優(yōu)化更復(fù)雜不能簡(jiǎn)單降低精度需要配合混合精度框架來(lái)做。7.3 監(jiān)控溫度與功耗墻芯片在實(shí)際運(yùn)行時(shí)會(huì)受到功耗墻限制。溫度越高散熱壓力越大芯片越容易降頻能效隨之下降。實(shí)際部署中要關(guān)注以下幾點(diǎn)。觀察指標(biāo)觀察方式如果異常如何排查功耗是否持續(xù)拉滿監(jiān)控功耗曲線看是否長(zhǎng)期處于峰值檢查是否有高負(fù)載任務(wù)疊加考慮限流或 batch 控制溫度是否過(guò)高監(jiān)控 GPU/加速器溫度檢查散熱風(fēng)道、液冷系統(tǒng)、機(jī)房空調(diào)是否正常利用率是否波動(dòng)大監(jiān)控利用率曲線觀察是否存在冷啟動(dòng)、排隊(duì)、I/O 瓶頸吞吐量與功耗比是否下降分時(shí)段計(jì)算能效檢查是否有其他任務(wù)搶占資源或芯片老化降頻7.4 預(yù)留一套最小可運(yùn)行配置無(wú)論是自研芯片還是現(xiàn)有 GPU 集群建議保留一套最小可運(yùn)行配置用于快速驗(yàn)證環(huán)境問(wèn)題。這樣可以隔離“芯片/驅(qū)動(dòng)問(wèn)題”和“業(yè)務(wù)代碼問(wèn)題”。# 最小可運(yùn)行配置示例實(shí)際參數(shù)需要按部署環(huán)境調(diào)整 model: name: example-model precision: fp8 batch_size: 1 inference: max_tokens: 128 temperature: 0.7 monitoring: power_sample_interval: 1 log_dir: ./logs這套配置的價(jià)值是當(dāng)能效指標(biāo)異常波動(dòng)時(shí)先用最小配置排除業(yè)務(wù)干擾。8. 風(fēng)險(xiǎn)與不確定性說(shuō)完了機(jī)會(huì)也要客觀看待不確定性。芯片行業(yè)有句老話設(shè)計(jì)出來(lái)只是第一步造出來(lái)、賣(mài)出去、用起來(lái)才是全部。風(fēng)險(xiǎn)點(diǎn)說(shuō)明可能的影響量產(chǎn)良率3nm 工藝成本高良率爬坡需要時(shí)間芯片單價(jià)可能高于預(yù)期影響成本優(yōu)勢(shì)軟件生態(tài)OpenAI 需要自建編譯器、運(yùn)行時(shí)、算子庫(kù)短期內(nèi)只能先跑自有模型開(kāi)發(fā)者工具鏈不完善生態(tài)遷移NVIDIA CUDA 生態(tài)鞏固遷移成本高即使能效更高外部客戶(hù)未必愿意切換平臺(tái)集群互連單芯片能效高不解決多芯片通信問(wèn)題大規(guī)模集群擴(kuò)展時(shí)可能遇到新的瓶頸對(duì)比口徑能效對(duì)比的具體精度、負(fù)載、環(huán)境未公開(kāi)“超越”結(jié)論的適用范圍有限交付周期3nm 流片到量產(chǎn)通常還有較長(zhǎng)周期實(shí)際部署時(shí)間可能晚于市場(chǎng)預(yù)期從更保守的立場(chǎng)看“芯片能效超越 Vera Rubin”更像是 OpenAI 在自研芯片路線上的一個(gè)階段性成果還不足以改變整個(gè) AI 芯片市場(chǎng)格局。NVIDIA 在軟件生態(tài)、產(chǎn)品成熟度和量產(chǎn)規(guī)模上的優(yōu)勢(shì)仍然非常明顯。但方向已經(jīng)明確頭部 AI 公司不會(huì)再把算力命運(yùn)完全交給單一芯片供應(yīng)商。9. 總結(jié)與下一步這次 OpenAI Jalape?o 芯片能效超越 Vera Rubin 的消息最值得關(guān)注的不是某個(gè)具體數(shù)字而是三個(gè)變化。第一AI 芯片競(jìng)爭(zhēng)已經(jīng)從“誰(shuí)算得快”進(jìn)入“誰(shuí)算得省”的階段。能效正在成為衡量芯片價(jià)值的一級(jí)指標(biāo)這對(duì)整個(gè)數(shù)據(jù)中心設(shè)計(jì)和運(yùn)營(yíng)都有深遠(yuǎn)影響。第二OpenAI 正在從模型層向上游硬件層延伸。自研芯片成功后OpenAI 對(duì)算力成本的控制力會(huì)顯著增強(qiáng)API 定價(jià)策略、模型迭代速度和集群規(guī)模都會(huì)有更大主動(dòng)權(quán)。第三NVIDIA 一家獨(dú)大的局面正在被松動(dòng)。雖然短期內(nèi)軟件生態(tài)壁壘仍然很高但自研芯片的路線已經(jīng)被證明可行未來(lái)會(huì)有更多 AI 公司跟進(jìn)。如果你關(guān)心 AI 基礎(chǔ)設(shè)施和算力成本建議接下來(lái)重點(diǎn)觀察三個(gè)信號(hào)OpenAI 是否公布詳細(xì)的能效測(cè)試條件包括精度、負(fù)載、環(huán)境溫度和量產(chǎn)狀態(tài)自研芯片是否進(jìn)入真實(shí)集群跑通大規(guī)模訓(xùn)練任務(wù)OpenAI 是否會(huì)通過(guò) API 或云服務(wù)把自研芯片能力開(kāi)放給外部開(kāi)發(fā)者。對(duì)大多數(shù)開(kāi)發(fā)者來(lái)說(shuō)這幾件事里最先受益的可能是 API 調(diào)用成本。如果自研芯片真的能實(shí)現(xiàn)能效優(yōu)勢(shì)并規(guī)?；涞谹PI 推理價(jià)格進(jìn)一步下探不是沒(méi)有可能。到那時(shí)候批量任務(wù)、長(zhǎng)文本處理、Agent 應(yīng)用的部署成本都會(huì)有新一輪調(diào)整空間。這條賽道后續(xù)還會(huì)有很多進(jìn)展不管最終結(jié)果如何“能效”這個(gè)評(píng)價(jià)維度已經(jīng)被推到了 AI 芯片競(jìng)爭(zhēng)的中心位置。建議收藏這篇文章等后續(xù)官方公開(kāi)更多能效數(shù)據(jù)和實(shí)測(cè)報(bào)告時(shí)再回來(lái)對(duì)照驗(yàn)證。