構(gòu)視角看懂AI芯片的領(lǐng)域?qū)Ｓ眉軜?gòu))
你是不是也遇到過這種時刻抱著《計算機(jī)體系結(jié)構(gòu)》啃完了流水線、緩存、虛擬內(nèi)存覺得自己總算摸清了計算機(jī)的底細(xì)結(jié)果一翻手機(jī)芯片的規(guī)格表CPU、GPU、NPU三個詞并排躺著你發(fā)現(xiàn)除了CPU剩下倆只能算“認(rèn)識字”。尤其NPU課本里幾乎沒有但現(xiàn)在的手機(jī)、服務(wù)器、汽車芯片里全在提。這東西到底是啥它憑什么能在AI時代和CPU平起平坐這篇就聊聊NPU盡量不帶廢話把體系結(jié)構(gòu)視角下NPU的核心邏輯講清楚。這篇內(nèi)容適合幾類人正在學(xué)體系結(jié)構(gòu)但被“領(lǐng)域?qū)Ｓ眉軜?gòu)”搞暈的學(xué)生想搞懂AI芯片為什么不能只用CPU/GPU的開發(fā)者以及準(zhǔn)備入手端側(cè)推理、模型部署方向需要快速建立NPU知識框架的工程師。我會從“為什么需要NPU”開始一路拆到它的硬件構(gòu)成、指令集、軟件棧最后聊聊怎么看性能指標(biāo)和那些容易踩的坑盡量讓你看完能有個整體坐標(biāo)。1. 先搞清楚體系結(jié)構(gòu)里為什么突然多出一個NPU1.1 CPU的“通用”代價CPU的設(shè)計目標(biāo)從來都不是“算得快”而是“什么都跑得動”。為了實現(xiàn)這個目標(biāo)CPU把大量晶體管花在了控制邏輯上分支預(yù)測、亂序執(zhí)行、寄存器重命名、多級緩存、TLB……這些硬件在跑操作系統(tǒng)、數(shù)據(jù)庫、普通應(yīng)用時非常有用因為這類程序充滿了分支、跳轉(zhuǎn)、隨機(jī)訪問和不可預(yù)測的依賴。但神經(jīng)網(wǎng)絡(luò)計算是另一種脾氣。一個卷積層說到底就是一堆乘加操作循環(huán)邊界是確定的數(shù)據(jù)訪問是規(guī)律的沒有復(fù)雜的分支也不需要猜未來要執(zhí)行哪條指令。你要是讓CPU去跑一個卷積它會把整整四層流水線、預(yù)測器、緩存系統(tǒng)都“空轉(zhuǎn)”著陪跑大部分晶體管根本沒在干正事。曾經(jīng)有人用高端CPU算一個圖像分類模型的推理功耗拉滿但利用率慘不忍睹問題不在主頻而在架構(gòu)根本不匹配。1.2 GPU的妥協(xié)GPU比CPU強(qiáng)很多因為它走了另一個極端堆大量簡單ALU用SIMT單指令多線程的方式并行執(zhí)行。圖形渲染天然是“一堆像素各算各的”GPU的調(diào)度模型正好契合。神經(jīng)網(wǎng)絡(luò)也吃并行所以GPU在AI訓(xùn)練時代幾乎成了標(biāo)配。但GPU也有它的妥協(xié)。每個線程仍然需要獨立的寄存器、調(diào)度器和線程狀態(tài)控制開銷還在GPU的極其靈活的通用并行能力也意味著它要為“任意并行程序”做準(zhǔn)備而這些準(zhǔn)備在神經(jīng)網(wǎng)絡(luò)這種高度規(guī)則的載荷里屬于冗余。GPU追求高精度浮點性能而神經(jīng)網(wǎng)絡(luò)推理對精度的要求沒那么苛刻這是GPU“浪費”的第二個地方。最重要的是GPU的功耗密度太高你要在手機(jī)、耳機(jī)、攝像頭里放一個GPU來專門跑神經(jīng)網(wǎng)絡(luò)散熱和電池都吃不消。1.3 NPU的本質(zhì)領(lǐng)域?qū)Ｓ眉軜?gòu)這就是NPU出現(xiàn)的根本邏輯與其用一套通用的硬件去適配所有計算不如為神經(jīng)網(wǎng)絡(luò)這個固定領(lǐng)域?qū)ｉT設(shè)計一種“極度偏科”的處理器。體系結(jié)構(gòu)里管這叫DSADomain-Specific Architecture領(lǐng)域?qū)Ｓ眉軜?gòu)NPU就是DSA里最典型的代表。NPU不做分支預(yù)測因為神經(jīng)網(wǎng)絡(luò)不需要NPU不做復(fù)雜的亂序執(zhí)行因為計算順序是編譯期就能定好的NPU把幾乎所有的面積和功耗都砸在乘法器和片上存儲上因為神經(jīng)網(wǎng)絡(luò)最核心的操作就是乘加最貴的開銷就是數(shù)制搬運。你可以這么理解CPU是個全能選手跑馬拉松、游泳、自行車都會但單項都不是最快NPU是個只練舉重的選手你讓他去跑步他不行但如果比賽項目只有舉重他能把全能選手按在地上摩擦。神經(jīng)網(wǎng)絡(luò)推理這個場景就是典型的“只考舉重”。2. NPU的三大命根子數(shù)據(jù)復(fù)用、片上存儲、低精度2.1 數(shù)據(jù)復(fù)用減少搬運才是硬道理學(xué)體系結(jié)構(gòu)最容易被忽略的一個現(xiàn)實是計算早就不貴了搬數(shù)據(jù)才貴。芯片內(nèi)部做一次乘加可能只要幾個皮秒但從DRAM里讀一個數(shù)據(jù)要經(jīng)過總線、控制器、多級緩存耗時是計算的上百倍。神經(jīng)網(wǎng)絡(luò)模型動輒幾MB到幾百MB如果每次計算都去內(nèi)存里取數(shù)算力再高也白搭。NPU解決這個問題的核心思想是數(shù)據(jù)復(fù)用。拿卷積舉例一個3x3的卷積核會在輸入特征圖上滑動同一個權(quán)重會被反復(fù)用來和不同位置的輸入做乘加同一份輸入數(shù)據(jù)也會被不同的卷積核反復(fù)讀取。這種“一數(shù)多用”的特性給NPU提供了巨大的優(yōu)化空間。我記得有篇文章算過賬一個典型卷積層如果設(shè)計好數(shù)據(jù)流片上數(shù)據(jù)復(fù)用能把對外內(nèi)存訪問量降低幾十倍。沒有這個前提NPU的“高算力”就是空中樓閣。所以你看NPU設(shè)計時最難的不是放多少個乘法器而是怎么設(shè)計數(shù)據(jù)流讓每個從DRAM搬到片上來的數(shù)據(jù)能被盡可能多地使用。這就像你做飯去一趟超市買一車菜如果只做一道菜就浪費了厲害的大廚會規(guī)劃好這一車的菜能連續(xù)出好幾道減少反復(fù)跑超市的時間。NPU里的“超市”就是DRAM“大廚”就是數(shù)據(jù)流調(diào)度器。2.2 片上存儲SRAM即一切既然數(shù)據(jù)復(fù)用這么重要那空間放不下也一樣白搭。NPU芯片里最貴的面積往往不是計算單元而是片上SRAM靜態(tài)隨機(jī)存儲器。SRAM比DRAM快得多帶寬也大得多能直接喂飽計算陣列。所以NPU內(nèi)部通常是一個存儲層級最底層是DRAM主內(nèi)存往上是較大的片上SRAM用來暫存特征圖分塊和權(quán)重的tile最靠近乘法器的是一小堆寄存器/累加器。這里有個關(guān)鍵設(shè)計點NPU不會一次性把整張?zhí)卣鲌D和所有權(quán)重塞進(jìn)SRAM因為塞不下。它采用的是循環(huán)分塊loop tiling策略把大矩陣切成一個個小塊依次搬入片上算完一塊再搬下一塊。塊的大小怎么定搬入的時機(jī)怎么選這就是編譯器干的重活。整體來說NPU性能好不好一半看硬件陣列多大另一半看片上存儲能不能讓陣列時刻處于“有活可干”的狀態(tài)。我測試過不同NPU最大的差距往往不是峰值算力而是片上SRAM的容量和調(diào)度策略SRAM小的芯片碰到大模型會頻繁“斷糧”利用率直線下跌。2.3 低精度8位夠不夠用NPU普遍支持低精度運算int88位整數(shù)是最常見的推理精度很多端側(cè)NPU甚至開始支持int4。為什么敢用低精度因為神經(jīng)網(wǎng)絡(luò)在訓(xùn)練完成之后權(quán)重和激活值的分布相對穩(wěn)定對噪聲有很強(qiáng)的容忍度。把float32的權(quán)重量化到int8大多數(shù)任務(wù)精度損失可以控制在1%以內(nèi)。但硬件收益非常巨大int8乘法器的面積大概只有fp32的幾分之一速度更快功耗更低同樣面積你能塞下更多的計算單元。這背后對應(yīng)著體系結(jié)構(gòu)里的經(jīng)典權(quán)衡用精度換性能和功耗。做訓(xùn)練時因為要反向傳播、要精確梯度需要fp32甚至fp16做推理時前向計算對誤差不敏感int8足夠了。量化方法一般有兩種訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ是把訓(xùn)練好的模型直接轉(zhuǎn)成int8省事但可能有點精度損失QAT是在訓(xùn)練過程中就模擬量化誤差讓網(wǎng)絡(luò)適應(yīng)低精度精度更高但要重訓(xùn)模型。實際項目里我通常先試PTQ精度不達(dá)標(biāo)再上QAT省時間。這里還有一個容易忽略的細(xì)節(jié)很多NPU標(biāo)稱的TOPS算力是基于int8算的換成fp16這個數(shù)字可能直接腰斬理解精度和算力的掛鉤關(guān)系是看懂NPU規(guī)格表的第一步。3. 拆開NPU核心硬件模塊與數(shù)據(jù)流3.1 脈動陣列一個格子只算一招聊NPU硬件不得不提脈動陣列Systolic Array。簡單說它是一個二維的MAC乘加單元網(wǎng)格數(shù)據(jù)在相鄰的單元之間按節(jié)奏流動每個單元只做一次乘加然后把結(jié)果傳給下一個。這設(shè)計妙在哪妙在“沒有多余動作”。每個乘法器不需要從復(fù)雜的寄存器堆里取數(shù)數(shù)據(jù)會從陣列邊緣流入像流水線一樣流過去中間單元只需要專注算。脈動陣列有不同的數(shù)據(jù)流組織方式常見的有權(quán)重固定weight stationary、輸入固定input stationary、輸出固定output stationary。什么意思權(quán)重固定是指權(quán)重提前加載到各個單元里不動輸入數(shù)據(jù)流經(jīng)陣列每個單元拿著自己存的權(quán)重和流過的輸入做乘加適合卷積這種權(quán)重復(fù)用的場景輸入固定則是把輸入留在片上反復(fù)使用權(quán)重流過去適合某些全連接場景。不同廠商的NPU風(fēng)格差異很大程度就是選了不同的數(shù)據(jù)流策略。我早期看脈動陣列時總覺得復(fù)雜后來想通了一個類比它像一條流水線上的工人每個人只擰一個螺絲零部件從左傳到右最后出來一個完整產(chǎn)品。每個工人不需要知道整個產(chǎn)品長什么樣只需要等著零件到手熟練擰一下傳給下一個人。這種“顆粒度極細(xì)”的并行是傳統(tǒng)CPU完全無法做到的。3.2 激活函數(shù)、池化與歸一化單元脈動陣列算完的結(jié)果是線性累加和但神經(jīng)網(wǎng)絡(luò)必須要有非線性否則層數(shù)再多也等價于一層線性變換。所以NPU里必須有激活函數(shù)單元比如ReLU整流線性單元、Sigmoid等。這部分一般掛在MAC陣列后面作為流水線的一站。池化層用來降采樣也是固定模式操作NPU可以用專門邏輯或復(fù)用MAC陣列來做。還有一個值得注意的細(xì)節(jié)推理階段批量歸一化BatchNorm通常會被“折疊”進(jìn)卷積的權(quán)重和偏置里。折疊之后推理時不再需要單獨算歸一化卷積層直接輸出結(jié)果。這個優(yōu)化是編譯器干的但硬件設(shè)計時也會預(yù)留支持比如允許權(quán)重和偏置做特殊處理。這種“軟硬件協(xié)同”的例子在NPU里到處都是你要是不了解折疊機(jī)制可能還以為NPU缺了某個功能模塊。3.3 控制與調(diào)度NPU也有“程序計數(shù)器”嗎NPU的控制邏輯很簡單不像CPU有復(fù)雜指令流水線。絕大多數(shù)NPU的工作方式是“任務(wù)描述符”task descriptor驅(qū)動主機(jī)CPU把網(wǎng)絡(luò)每一層的計算任務(wù)打包成一個描述符里面包含輸入地址、權(quán)重地址、輸出地址、數(shù)據(jù)形狀、步長、操作類型等參數(shù)寫進(jìn)NPU的命令隊列或者寄存器。NPU拿到描述符后自主完成數(shù)據(jù)搬運、計算、寫回完成后通過中斷或者狀態(tài)位告訴主機(jī)。我拿一個實際例子說明。部署一個圖像分類模型時你會看到系統(tǒng)里有幾百個這樣的任務(wù)描述符第一層卷積一個描述符ReLU可能也被融合進(jìn)卷積了第二層卷積又一個描述符……主機(jī)CPU只需要把這一串描述符按順序提交給NPU然后就可以干別的去了NPU會異步地執(zhí)行完整個網(wǎng)絡(luò)。這個過程完美映射了體系結(jié)構(gòu)里的“異步”和“DMA”概念也解釋了為什么NPU運行AI任務(wù)時CPU占用率可以很低。4. NPU指令集與軟件棧它到底是怎么被“編程”的4.1 從指令集看NPU它根本不是“通用處理器”很多剛接觸NPU的人會問NPU跑的是什么指令集能不能寫個C程序直接編譯上去跑答案是不能也沒必要。NPU的“指令”更像配置參數(shù)而不是傳統(tǒng)意義上的指令。比如“把輸入地址0x1000的數(shù)據(jù)按3x3卷積核處理輸出到0x2000”這是一個任務(wù)不是一條RISC風(fēng)格的指令。有些NPU設(shè)計會引入類似RISC的指令風(fēng)格用于控制流和同步但核心計算能力仍然靠特定算子的硬件執(zhí)行單元實現(xiàn)。你可以把NPU理解成一個“專用加速器”它只能執(zhí)行神經(jīng)網(wǎng)絡(luò)這個領(lǐng)域內(nèi)的操作不能跑操作系統(tǒng)不能執(zhí)行任意程序。這也帶出一個實用建議選型NPU時不要只看算力要看它“支持哪些算子”。有的NPU對標(biāo)準(zhǔn)卷積優(yōu)化得很好但碰到轉(zhuǎn)置卷積、動態(tài)形狀、循環(huán)依賴的算子可能直接退回CPU慢速執(zhí)行部署時踩坑。4.2 編譯器的真功夫圖優(yōu)化、內(nèi)存規(guī)劃和算力映射NPU軟件棧的核心是編譯器。以某個常見開源深度學(xué)習(xí)框架為例流程大概是模型比如一個導(dǎo)出的計算圖輸入到NPU編譯器編譯器先做算子融合把卷積、ReLU、批歸一化合并成一個融合算子然后做內(nèi)存規(guī)劃分析每個張量的生命周期盡量復(fù)用片上緩沖區(qū)最后把每個算子映射成NPU任務(wù)描述符并生成調(diào)度順序。算子融合帶來的收益非常大。舉個例子一個卷積層后面跟ReLU如果不融合卷積的輸出要完整寫到DRAMReLU再把它讀出來一來一回兩塊內(nèi)存帶寬融合后卷積單元算出一個像素ReLU立刻處理結(jié)果直接留在片上甚至可以直接作為下一層的輸入。原始網(wǎng)絡(luò)有100個算子融合之后可能變成50個任務(wù)中間數(shù)據(jù)搬運量減少一大半。下面是一段偽代碼能幫你直觀理解tile搬移加計算的過程# NPU編譯器生成的核心調(diào)度邏輯偽代碼 for tile in plan.tiles: # 把輸入特征圖的一個分塊從DRAM搬到片上SRAM dma_load(input_addrtile.input_addr, sram_bufferinput_sram[tile.buffer_id]) # 把對應(yīng)的權(quán)重分塊搬到片上SRAM dma_load(weight_addrtile.weight_addr, sram_bufferweight_sram[tile.buffer_id]) # 用MAC陣列計算數(shù)據(jù)流直接在片上完成 compute(engine_idtile.engine_id, input_bufferinput_sram[tile.buffer_id], weight_bufferweight_sram[tile.buffer_id], output_bufferoutput_sram[tile.buffer_id]) # 結(jié)果寫回DRAM dma_store(output_sram[tile.buffer_id], output_addrtile.output_addr)這段邏輯看著簡單實際編譯器要考慮的東西多得多哪個tile先算能最大化復(fù)用已經(jīng)搬進(jìn)來的數(shù)據(jù)SRAM分給輸入還是權(quán)重多核NPU怎么分工這些優(yōu)化直接決定NPU能不能跑出接近峰值的水準(zhǔn)。我自己調(diào)試性能時最常做的事就是看編譯器生成的“內(nèi)存分配報告”和“任務(wù)時間表”那里面的門道比硬件框圖要深得多。5. 整個系統(tǒng)視角NPU在主板上是怎么工作的5.1 異構(gòu)架構(gòu)CPU、GPU、NPU怎么分工真實的SoC片上系統(tǒng)里CPU、GPU、NPU不是各干各的而是協(xié)同工作。CPU負(fù)責(zé)控制流和任務(wù)調(diào)度GPU負(fù)責(zé)圖形或部分并行計算NPU專職神經(jīng)網(wǎng)絡(luò)推理。它們共享一塊DRAM通過總線互連。運行一個AI應(yīng)用時CPU先把圖片數(shù)據(jù)準(zhǔn)備好在內(nèi)存里布局好然后通知NPU開始處理NPU算完CPU再接過結(jié)果去做后續(xù)的邏輯判斷。這中間涉及一個體系結(jié)構(gòu)老話題緩存一致性。NPU有自己的片上SRAM但主機(jī)CPU和NPU共享DRAM時誰改動數(shù)據(jù)、誰看到最新數(shù)據(jù)需要明確規(guī)則。有的NPU設(shè)計直接不走CPU緩存要求主機(jī)在提交任務(wù)前顯式flush緩存有的則參與系統(tǒng)一致性協(xié)議硬件幫你搞定。前一種軟件上容易踩坑我碰到過“NPU老是讀到舊數(shù)據(jù)”的問題最后就是漏了緩存同步。5.2 藏在背后的最大瓶頸內(nèi)存帶寬很多人看NPU性能只盯TOPS實際上大多數(shù)真實場景的瓶頸是內(nèi)存帶寬。一個100 TOPS的int8 NPU工作頻率按1GHz算意味著每個周期要執(zhí)行約10萬次int8乘加。如果每次乘加都要從DRAM讀一個輸入和一個權(quán)重每個周期要讀200KB這遠(yuǎn)超任何DRAM的帶寬能力。所以NPU必須靠數(shù)據(jù)復(fù)用把實際訪存需求降下來但即便如此像全連接層這種“權(quán)重巨大、復(fù)用有限”的算子仍然會牢牢卡在帶寬上。怎么判斷一個模型在NPU上是算力受限還是帶寬受限有個簡單的估算方法算一下模型的總計算量MACs和總內(nèi)存訪問量bytes用計算量除以帶寬峰值和用計算量除以算力峰值哪個大哪個就是瓶頸。端側(cè)部署時很多模型是帶寬受限的優(yōu)化手段重點就放在模型壓縮、算子融合、減少中間張量上。工程師如果能建立“算力-帶寬-存儲容量”這三個維度的性能心智模型調(diào)試NPU時會順手很多。6. 怎么看懂NPU性能指標(biāo)別被算力數(shù)字騙了6.1 TOPS到底怎么算的TOPS是Tera Operations Per Second即每秒萬億次操作。但這里有個容易混淆的點一次MAC乘加通常被算作2次操作因為乘法和加法是兩件事。所以一個擁有M個MAC單元、主頻為F的NPU理論峰值算力 2 × M × F單位視M和F的量級調(diào)整。很多廠商宣傳時的“AI算力XX TOPS”默認(rèn)都是int8精度并且按2次操作計算。如果你把這個數(shù)當(dāng)成fp32算力會大錯特錯?？匆?guī)格表時我一般建議盯著三欄精度int8還是fp16、算力TOPS、內(nèi)存帶寬GB/s。光看一個TOPS沒有任何意義。最新的一些經(jīng)驗是端側(cè)中高端NPU普遍在10-30 TOPS區(qū)間云端的卡級別NPU能到幾百上千TOPS但后者功耗和散熱要求完全不是一個量級。6.2 實際性能為什么利用率只有一半理論峰值是理想情況實際跑模型利用率通常只有30%-50%常見的蠶食因素有三個一是數(shù)據(jù)搬運開銷哪怕有緩存DRAM的延遲和帶寬限制依舊存在二是算子映射效率有些算子硬件支持不好編譯器生成的調(diào)度效率低三是小算子調(diào)度開銷比如一個很小的激活函數(shù)或reshape算子如果單獨成為一個任務(wù)任務(wù)提交和同步的固定開銷會占大頭。所以評估NPU最靠譜的方法是端到端跑真實模型用延遲和吞吐說話而不是信規(guī)格表。同一款NPU跑MobileNet和跑ResNet的“實際表現(xiàn)/理論峰值”比例完全不同跑單幀和跑連續(xù)幀流也完全不同。我個人現(xiàn)在評測NPU一定是拿自己業(yè)務(wù)里最典型的三五個模型固定輸入尺寸、固定精度、固定batch跑出來的數(shù)據(jù)才有參考價值。7. 常見問題與經(jīng)驗總結(jié)這些坑我?guī)湍悴冗^了7.1 關(guān)于NPU的四個常見誤區(qū)先給你列一個我平時回答咨詢時反復(fù)糾正的誤區(qū)速查表誤區(qū)實際情況算力高性能好帶寬、緩存、算子支持和編譯器都會拖后腿NPU什么模型都能跑算子支持有限復(fù)雜控制流效率極低int8一定掉精度大多數(shù)任務(wù)量化損失很小QAT之后幾乎無損NPU會取代CPU異構(gòu)架構(gòu)里兩者是協(xié)作關(guān)系各干各的這四個誤區(qū)我都在真實項目里見過。有一回優(yōu)化一個檢測模型廠商說NPU算力特高結(jié)果一跑發(fā)現(xiàn)在一個動態(tài)形狀的算子上直接退回CPU執(zhí)行整個延遲翻了三倍。還有一次模型量化后精度掉了2個點我們沒細(xì)想就全盤改用QAT重訓(xùn)成本很高后來才發(fā)現(xiàn)只是某個激活層沒有做量化敏感處理補(bǔ)上就好了。多試、多測、多看編譯器日志比迷信任何宣傳都管用。7.2 給新人的學(xué)習(xí)建議從軟件棧切入別一上來啃RTL如果你想把NPU學(xué)明白我給的建議是先別急著看寄存器傳輸級RTL代碼而是從軟件棧切入。大致的順序是先在一個成熟的深度學(xué)習(xí)框架里把一個模型部署到某個NPU上跑通感受整個工具鏈流程再去看編譯器生成的任務(wù)日志理解模型被切成了多少個算子、內(nèi)存是怎么規(guī)劃的然后回頭研究NPU的架構(gòu)文檔重點看脈動陣列的尺寸、SRAM容量、數(shù)據(jù)流方向最后才考慮寫個小算子比如手寫一個3x3卷積的映射代碼在模擬器上跑一跑。這種倒著學(xué)的方式能讓你在短時間內(nèi)建立“模型—算子—硬件”三層映射的心智模型而不是陷在晶體管細(xì)節(jié)里出不來。我在學(xué)習(xí)早期犯過一個錯誤拿了一堆RTL代碼盯著看越看越糊涂后來發(fā)現(xiàn)只要先把“數(shù)據(jù)從哪來、到哪去、在哪計算”這三件事理清楚NPU的大局就明白了。7.3 最后分享一個實用技巧怎么快速估算一個模型在NPU上會不會快拿到一個模型先別急著部署花十分鐘在紙上做一個估算。第一步統(tǒng)計模型總MACs很多框架工具能直接輸出第二步估算模型權(quán)重總大小和最大中間特征圖大小第三步看看目標(biāo)NPU的算力、帶寬和片上SRAM容量第四步算算推理一遍需要多少次數(shù)據(jù)搬運是否超過片上容量是否會被帶寬卡住。這套方法雖然粗糙但能讓你在動手前就對方案的可行性有個判斷避免盲目調(diào)優(yōu)。我自己每次換NPU平臺都會先拿這套估算過一遍再決定要不要投入時間做深度適配。 NPU是什么？從體系結(jié)構(gòu)視角看懂AI芯片的領(lǐng)域?qū)Ｓ眉軜?gòu)
你是不是也遇到過這種時刻抱著《計算機(jī)體系結(jié)構(gòu)》啃完了流水線、緩存、虛擬內(nèi)存覺得自己總算摸清了計算機(jī)的底細(xì)結(jié)果一翻手機(jī)芯片的規(guī)格表CPU、GPU、NPU三個詞并排躺著你發(fā)現(xiàn)除了CPU剩下倆只能算“認(rèn)識字”。尤其NPU課本里幾乎沒有但現(xiàn)在的手機(jī)、服務(wù)器、汽車芯片里全在提。這東西到底是啥它憑什么能在AI時代和CPU平起平坐這篇就聊聊NPU盡量不帶廢話把體系結(jié)構(gòu)視角下NPU的核心邏輯講清楚。這篇內(nèi)容適合幾類人正在學(xué)體系結(jié)構(gòu)但被“領(lǐng)域?qū)Ｓ眉軜?gòu)”搞暈的學(xué)生想搞懂AI芯片為什么不能只用CPU/GPU的開發(fā)者以及準(zhǔn)備入手端側(cè)推理、模型部署方向需要快速建立NPU知識框架的工程師。我會從“為什么需要NPU”開始一路拆到它的硬件構(gòu)成、指令集、軟件棧最后聊聊怎么看性能指標(biāo)和那些容易踩的坑盡量讓你看完能有個整體坐標(biāo)。1. 先搞清楚體系結(jié)構(gòu)里為什么突然多出一個NPU1.1 CPU的“通用”代價CPU的設(shè)計目標(biāo)從來都不是“算得快”而是“什么都跑得動”。為了實現(xiàn)這個目標(biāo)CPU把大量晶體管花在了控制邏輯上分支預(yù)測、亂序執(zhí)行、寄存器重命名、多級緩存、TLB……這些硬件在跑操作系統(tǒng)、數(shù)據(jù)庫、普通應(yīng)用時非常有用因為這類程序充滿了分支、跳轉(zhuǎn)、隨機(jī)訪問和不可預(yù)測的依賴。但神經(jīng)網(wǎng)絡(luò)計算是另一種脾氣。一個卷積層說到底就是一堆乘加操作循環(huán)邊界是確定的數(shù)據(jù)訪問是規(guī)律的沒有復(fù)雜的分支也不需要猜未來要執(zhí)行哪條指令。你要是讓CPU去跑一個卷積它會把整整四層流水線、預(yù)測器、緩存系統(tǒng)都“空轉(zhuǎn)”著陪跑大部分晶體管根本沒在干正事。曾經(jīng)有人用高端CPU算一個圖像分類模型的推理功耗拉滿但利用率慘不忍睹問題不在主頻而在架構(gòu)根本不匹配。1.2 GPU的妥協(xié)GPU比CPU強(qiáng)很多因為它走了另一個極端堆大量簡單ALU用SIMT單指令多線程的方式并行執(zhí)行。圖形渲染天然是“一堆像素各算各的”GPU的調(diào)度模型正好契合。神經(jīng)網(wǎng)絡(luò)也吃并行所以GPU在AI訓(xùn)練時代幾乎成了標(biāo)配。但GPU也有它的妥協(xié)。每個線程仍然需要獨立的寄存器、調(diào)度器和線程狀態(tài)控制開銷還在GPU的極其靈活的通用并行能力也意味著它要為“任意并行程序”做準(zhǔn)備而這些準(zhǔn)備在神經(jīng)網(wǎng)絡(luò)這種高度規(guī)則的載荷里屬于冗余。GPU追求高精度浮點性能而神經(jīng)網(wǎng)絡(luò)推理對精度的要求沒那么苛刻這是GPU“浪費”的第二個地方。最重要的是GPU的功耗密度太高你要在手機(jī)、耳機(jī)、攝像頭里放一個GPU來專門跑神經(jīng)網(wǎng)絡(luò)散熱和電池都吃不消。1.3 NPU的本質(zhì)領(lǐng)域?qū)Ｓ眉軜?gòu)這就是NPU出現(xiàn)的根本邏輯與其用一套通用的硬件去適配所有計算不如為神經(jīng)網(wǎng)絡(luò)這個固定領(lǐng)域?qū)ｉT設(shè)計一種“極度偏科”的處理器。體系結(jié)構(gòu)里管這叫DSADomain-Specific Architecture領(lǐng)域?qū)Ｓ眉軜?gòu)NPU就是DSA里最典型的代表。NPU不做分支預(yù)測因為神經(jīng)網(wǎng)絡(luò)不需要NPU不做復(fù)雜的亂序執(zhí)行因為計算順序是編譯期就能定好的NPU把幾乎所有的面積和功耗都砸在乘法器和片上存儲上因為神經(jīng)網(wǎng)絡(luò)最核心的操作就是乘加最貴的開銷就是數(shù)制搬運。你可以這么理解CPU是個全能選手跑馬拉松、游泳、自行車都會但單項都不是最快NPU是個只練舉重的選手你讓他去跑步他不行但如果比賽項目只有舉重他能把全能選手按在地上摩擦。神經(jīng)網(wǎng)絡(luò)推理這個場景就是典型的“只考舉重”。2. NPU的三大命根子數(shù)據(jù)復(fù)用、片上存儲、低精度2.1 數(shù)據(jù)復(fù)用減少搬運才是硬道理學(xué)體系結(jié)構(gòu)最容易被忽略的一個現(xiàn)實是計算早就不貴了搬數(shù)據(jù)才貴。芯片內(nèi)部做一次乘加可能只要幾個皮秒但從DRAM里讀一個數(shù)據(jù)要經(jīng)過總線、控制器、多級緩存耗時是計算的上百倍。神經(jīng)網(wǎng)絡(luò)模型動輒幾MB到幾百MB如果每次計算都去內(nèi)存里取數(shù)算力再高也白搭。NPU解決這個問題的核心思想是數(shù)據(jù)復(fù)用。拿卷積舉例一個3x3的卷積核會在輸入特征圖上滑動同一個權(quán)重會被反復(fù)用來和不同位置的輸入做乘加同一份輸入數(shù)據(jù)也會被不同的卷積核反復(fù)讀取。這種“一數(shù)多用”的特性給NPU提供了巨大的優(yōu)化空間。我記得有篇文章算過賬一個典型卷積層如果設(shè)計好數(shù)據(jù)流片上數(shù)據(jù)復(fù)用能把對外內(nèi)存訪問量降低幾十倍。沒有這個前提NPU的“高算力”就是空中樓閣。所以你看NPU設(shè)計時最難的不是放多少個乘法器而是怎么設(shè)計數(shù)據(jù)流讓每個從DRAM搬到片上來的數(shù)據(jù)能被盡可能多地使用。這就像你做飯去一趟超市買一車菜如果只做一道菜就浪費了厲害的大廚會規(guī)劃好這一車的菜能連續(xù)出好幾道減少反復(fù)跑超市的時間。NPU里的“超市”就是DRAM“大廚”就是數(shù)據(jù)流調(diào)度器。2.2 片上存儲SRAM即一切既然數(shù)據(jù)復(fù)用這么重要那空間放不下也一樣白搭。NPU芯片里最貴的面積往往不是計算單元而是片上SRAM靜態(tài)隨機(jī)存儲器。SRAM比DRAM快得多帶寬也大得多能直接喂飽計算陣列。所以NPU內(nèi)部通常是一個存儲層級最底層是DRAM主內(nèi)存往上是較大的片上SRAM用來暫存特征圖分塊和權(quán)重的tile最靠近乘法器的是一小堆寄存器/累加器。這里有個關(guān)鍵設(shè)計點NPU不會一次性把整張?zhí)卣鲌D和所有權(quán)重塞進(jìn)SRAM因為塞不下。它采用的是循環(huán)分塊loop tiling策略把大矩陣切成一個個小塊依次搬入片上算完一塊再搬下一塊。塊的大小怎么定搬入的時機(jī)怎么選這就是編譯器干的重活。整體來說NPU性能好不好一半看硬件陣列多大另一半看片上存儲能不能讓陣列時刻處于“有活可干”的狀態(tài)。我測試過不同NPU最大的差距往往不是峰值算力而是片上SRAM的容量和調(diào)度策略SRAM小的芯片碰到大模型會頻繁“斷糧”利用率直線下跌。2.3 低精度8位夠不夠用NPU普遍支持低精度運算int88位整數(shù)是最常見的推理精度很多端側(cè)NPU甚至開始支持int4。為什么敢用低精度因為神經(jīng)網(wǎng)絡(luò)在訓(xùn)練完成之后權(quán)重和激活值的分布相對穩(wěn)定對噪聲有很強(qiáng)的容忍度。把float32的權(quán)重量化到int8大多數(shù)任務(wù)精度損失可以控制在1%以內(nèi)。但硬件收益非常巨大int8乘法器的面積大概只有fp32的幾分之一速度更快功耗更低同樣面積你能塞下更多的計算單元。這背后對應(yīng)著體系結(jié)構(gòu)里的經(jīng)典權(quán)衡用精度換性能和功耗。做訓(xùn)練時因為要反向傳播、要精確梯度需要fp32甚至fp16做推理時前向計算對誤差不敏感int8足夠了。量化方法一般有兩種訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ是把訓(xùn)練好的模型直接轉(zhuǎn)成int8省事但可能有點精度損失QAT是在訓(xùn)練過程中就模擬量化誤差讓網(wǎng)絡(luò)適應(yīng)低精度精度更高但要重訓(xùn)模型。實際項目里我通常先試PTQ精度不達(dá)標(biāo)再上QAT省時間。這里還有一個容易忽略的細(xì)節(jié)很多NPU標(biāo)稱的TOPS算力是基于int8算的換成fp16這個數(shù)字可能直接腰斬理解精度和算力的掛鉤關(guān)系是看懂NPU規(guī)格表的第一步。3. 拆開NPU核心硬件模塊與數(shù)據(jù)流3.1 脈動陣列一個格子只算一招聊NPU硬件不得不提脈動陣列Systolic Array。簡單說它是一個二維的MAC乘加單元網(wǎng)格數(shù)據(jù)在相鄰的單元之間按節(jié)奏流動每個單元只做一次乘加然后把結(jié)果傳給下一個。這設(shè)計妙在哪妙在“沒有多余動作”。每個乘法器不需要從復(fù)雜的寄存器堆里取數(shù)數(shù)據(jù)會從陣列邊緣流入像流水線一樣流過去中間單元只需要專注算。脈動陣列有不同的數(shù)據(jù)流組織方式常見的有權(quán)重固定weight stationary、輸入固定input stationary、輸出固定output stationary。什么意思權(quán)重固定是指權(quán)重提前加載到各個單元里不動輸入數(shù)據(jù)流經(jīng)陣列每個單元拿著自己存的權(quán)重和流過的輸入做乘加適合卷積這種權(quán)重復(fù)用的場景輸入固定則是把輸入留在片上反復(fù)使用權(quán)重流過去適合某些全連接場景。不同廠商的NPU風(fēng)格差異很大程度就是選了不同的數(shù)據(jù)流策略。我早期看脈動陣列時總覺得復(fù)雜后來想通了一個類比它像一條流水線上的工人每個人只擰一個螺絲零部件從左傳到右最后出來一個完整產(chǎn)品。每個工人不需要知道整個產(chǎn)品長什么樣只需要等著零件到手熟練擰一下傳給下一個人。這種“顆粒度極細(xì)”的并行是傳統(tǒng)CPU完全無法做到的。3.2 激活函數(shù)、池化與歸一化單元脈動陣列算完的結(jié)果是線性累加和但神經(jīng)網(wǎng)絡(luò)必須要有非線性否則層數(shù)再多也等價于一層線性變換。所以NPU里必須有激活函數(shù)單元比如ReLU整流線性單元、Sigmoid等。這部分一般掛在MAC陣列后面作為流水線的一站。池化層用來降采樣也是固定模式操作NPU可以用專門邏輯或復(fù)用MAC陣列來做。還有一個值得注意的細(xì)節(jié)推理階段批量歸一化BatchNorm通常會被“折疊”進(jìn)卷積的權(quán)重和偏置里。折疊之后推理時不再需要單獨算歸一化卷積層直接輸出結(jié)果。這個優(yōu)化是編譯器干的但硬件設(shè)計時也會預(yù)留支持比如允許權(quán)重和偏置做特殊處理。這種“軟硬件協(xié)同”的例子在NPU里到處都是你要是不了解折疊機(jī)制可能還以為NPU缺了某個功能模塊。3.3 控制與調(diào)度NPU也有“程序計數(shù)器”嗎NPU的控制邏輯很簡單不像CPU有復(fù)雜指令流水線。絕大多數(shù)NPU的工作方式是“任務(wù)描述符”task descriptor驅(qū)動主機(jī)CPU把網(wǎng)絡(luò)每一層的計算任務(wù)打包成一個描述符里面包含輸入地址、權(quán)重地址、輸出地址、數(shù)據(jù)形狀、步長、操作類型等參數(shù)寫進(jìn)NPU的命令隊列或者寄存器。NPU拿到描述符后自主完成數(shù)據(jù)搬運、計算、寫回完成后通過中斷或者狀態(tài)位告訴主機(jī)。我拿一個實際例子說明。部署一個圖像分類模型時你會看到系統(tǒng)里有幾百個這樣的任務(wù)描述符第一層卷積一個描述符ReLU可能也被融合進(jìn)卷積了第二層卷積又一個描述符……主機(jī)CPU只需要把這一串描述符按順序提交給NPU然后就可以干別的去了NPU會異步地執(zhí)行完整個網(wǎng)絡(luò)。這個過程完美映射了體系結(jié)構(gòu)里的“異步”和“DMA”概念也解釋了為什么NPU運行AI任務(wù)時CPU占用率可以很低。4. NPU指令集與軟件棧它到底是怎么被“編程”的4.1 從指令集看NPU它根本不是“通用處理器”很多剛接觸NPU的人會問NPU跑的是什么指令集能不能寫個C程序直接編譯上去跑答案是不能也沒必要。NPU的“指令”更像配置參數(shù)而不是傳統(tǒng)意義上的指令。比如“把輸入地址0x1000的數(shù)據(jù)按3x3卷積核處理輸出到0x2000”這是一個任務(wù)不是一條RISC風(fēng)格的指令。有些NPU設(shè)計會引入類似RISC的指令風(fēng)格用于控制流和同步但核心計算能力仍然靠特定算子的硬件執(zhí)行單元實現(xiàn)。你可以把NPU理解成一個“專用加速器”它只能執(zhí)行神經(jīng)網(wǎng)絡(luò)這個領(lǐng)域內(nèi)的操作不能跑操作系統(tǒng)不能執(zhí)行任意程序。這也帶出一個實用建議選型NPU時不要只看算力要看它“支持哪些算子”。有的NPU對標(biāo)準(zhǔn)卷積優(yōu)化得很好但碰到轉(zhuǎn)置卷積、動態(tài)形狀、循環(huán)依賴的算子可能直接退回CPU慢速執(zhí)行部署時踩坑。4.2 編譯器的真功夫圖優(yōu)化、內(nèi)存規(guī)劃和算力映射NPU軟件棧的核心是編譯器。以某個常見開源深度學(xué)習(xí)框架為例流程大概是模型比如一個導(dǎo)出的計算圖輸入到NPU編譯器編譯器先做算子融合把卷積、ReLU、批歸一化合并成一個融合算子然后做內(nèi)存規(guī)劃分析每個張量的生命周期盡量復(fù)用片上緩沖區(qū)最后把每個算子映射成NPU任務(wù)描述符并生成調(diào)度順序。算子融合帶來的收益非常大。舉個例子一個卷積層后面跟ReLU如果不融合卷積的輸出要完整寫到DRAMReLU再把它讀出來一來一回兩塊內(nèi)存帶寬融合后卷積單元算出一個像素ReLU立刻處理結(jié)果直接留在片上甚至可以直接作為下一層的輸入。原始網(wǎng)絡(luò)有100個算子融合之后可能變成50個任務(wù)中間數(shù)據(jù)搬運量減少一大半。下面是一段偽代碼能幫你直觀理解tile搬移加計算的過程# NPU編譯器生成的核心調(diào)度邏輯偽代碼 for tile in plan.tiles: # 把輸入特征圖的一個分塊從DRAM搬到片上SRAM dma_load(input_addrtile.input_addr, sram_bufferinput_sram[tile.buffer_id]) # 把對應(yīng)的權(quán)重分塊搬到片上SRAM dma_load(weight_addrtile.weight_addr, sram_bufferweight_sram[tile.buffer_id]) # 用MAC陣列計算數(shù)據(jù)流直接在片上完成 compute(engine_idtile.engine_id, input_bufferinput_sram[tile.buffer_id], weight_bufferweight_sram[tile.buffer_id], output_bufferoutput_sram[tile.buffer_id]) # 結(jié)果寫回DRAM dma_store(output_sram[tile.buffer_id], output_addrtile.output_addr)這段邏輯看著簡單實際編譯器要考慮的東西多得多哪個tile先算能最大化復(fù)用已經(jīng)搬進(jìn)來的數(shù)據(jù)SRAM分給輸入還是權(quán)重多核NPU怎么分工這些優(yōu)化直接決定NPU能不能跑出接近峰值的水準(zhǔn)。我自己調(diào)試性能時最常做的事就是看編譯器生成的“內(nèi)存分配報告”和“任務(wù)時間表”那里面的門道比硬件框圖要深得多。5. 整個系統(tǒng)視角NPU在主板上是怎么工作的5.1 異構(gòu)架構(gòu)CPU、GPU、NPU怎么分工真實的SoC片上系統(tǒng)里CPU、GPU、NPU不是各干各的而是協(xié)同工作。CPU負(fù)責(zé)控制流和任務(wù)調(diào)度GPU負(fù)責(zé)圖形或部分并行計算NPU專職神經(jīng)網(wǎng)絡(luò)推理。它們共享一塊DRAM通過總線互連。運行一個AI應(yīng)用時CPU先把圖片數(shù)據(jù)準(zhǔn)備好在內(nèi)存里布局好然后通知NPU開始處理NPU算完CPU再接過結(jié)果去做后續(xù)的邏輯判斷。這中間涉及一個體系結(jié)構(gòu)老話題緩存一致性。NPU有自己的片上SRAM但主機(jī)CPU和NPU共享DRAM時誰改動數(shù)據(jù)、誰看到最新數(shù)據(jù)需要明確規(guī)則。有的NPU設(shè)計直接不走CPU緩存要求主機(jī)在提交任務(wù)前顯式flush緩存有的則參與系統(tǒng)一致性協(xié)議硬件幫你搞定。前一種軟件上容易踩坑我碰到過“NPU老是讀到舊數(shù)據(jù)”的問題最后就是漏了緩存同步。5.2 藏在背后的最大瓶頸內(nèi)存帶寬很多人看NPU性能只盯TOPS實際上大多數(shù)真實場景的瓶頸是內(nèi)存帶寬。一個100 TOPS的int8 NPU工作頻率按1GHz算意味著每個周期要執(zhí)行約10萬次int8乘加。如果每次乘加都要從DRAM讀一個輸入和一個權(quán)重每個周期要讀200KB這遠(yuǎn)超任何DRAM的帶寬能力。所以NPU必須靠數(shù)據(jù)復(fù)用把實際訪存需求降下來但即便如此像全連接層這種“權(quán)重巨大、復(fù)用有限”的算子仍然會牢牢卡在帶寬上。怎么判斷一個模型在NPU上是算力受限還是帶寬受限有個簡單的估算方法算一下模型的總計算量MACs和總內(nèi)存訪問量bytes用計算量除以帶寬峰值和用計算量除以算力峰值哪個大哪個就是瓶頸。端側(cè)部署時很多模型是帶寬受限的優(yōu)化手段重點就放在模型壓縮、算子融合、減少中間張量上。工程師如果能建立“算力-帶寬-存儲容量”這三個維度的性能心智模型調(diào)試NPU時會順手很多。6. 怎么看懂NPU性能指標(biāo)別被算力數(shù)字騙了6.1 TOPS到底怎么算的TOPS是Tera Operations Per Second即每秒萬億次操作。但這里有個容易混淆的點一次MAC乘加通常被算作2次操作因為乘法和加法是兩件事。所以一個擁有M個MAC單元、主頻為F的NPU理論峰值算力 2 × M × F單位視M和F的量級調(diào)整。很多廠商宣傳時的“AI算力XX TOPS”默認(rèn)都是int8精度并且按2次操作計算。如果你把這個數(shù)當(dāng)成fp32算力會大錯特錯?？匆?guī)格表時我一般建議盯著三欄精度int8還是fp16、算力TOPS、內(nèi)存帶寬GB/s。光看一個TOPS沒有任何意義。最新的一些經(jīng)驗是端側(cè)中高端NPU普遍在10-30 TOPS區(qū)間云端的卡級別NPU能到幾百上千TOPS但后者功耗和散熱要求完全不是一個量級。6.2 實際性能為什么利用率只有一半理論峰值是理想情況實際跑模型利用率通常只有30%-50%常見的蠶食因素有三個一是數(shù)據(jù)搬運開銷哪怕有緩存DRAM的延遲和帶寬限制依舊存在二是算子映射效率有些算子硬件支持不好編譯器生成的調(diào)度效率低三是小算子調(diào)度開銷比如一個很小的激活函數(shù)或reshape算子如果單獨成為一個任務(wù)任務(wù)提交和同步的固定開銷會占大頭。所以評估NPU最靠譜的方法是端到端跑真實模型用延遲和吞吐說話而不是信規(guī)格表。同一款NPU跑MobileNet和跑ResNet的“實際表現(xiàn)/理論峰值”比例完全不同跑單幀和跑連續(xù)幀流也完全不同。我個人現(xiàn)在評測NPU一定是拿自己業(yè)務(wù)里最典型的三五個模型固定輸入尺寸、固定精度、固定batch跑出來的數(shù)據(jù)才有參考價值。7. 常見問題與經(jīng)驗總結(jié)這些坑我?guī)湍悴冗^了7.1 關(guān)于NPU的四個常見誤區(qū)先給你列一個我平時回答咨詢時反復(fù)糾正的誤區(qū)速查表誤區(qū)實際情況算力高性能好帶寬、緩存、算子支持和編譯器都會拖后腿NPU什么模型都能跑算子支持有限復(fù)雜控制流效率極低int8一定掉精度大多數(shù)任務(wù)量化損失很小QAT之后幾乎無損NPU會取代CPU異構(gòu)架構(gòu)里兩者是協(xié)作關(guān)系各干各的這四個誤區(qū)我都在真實項目里見過。有一回優(yōu)化一個檢測模型廠商說NPU算力特高結(jié)果一跑發(fā)現(xiàn)在一個動態(tài)形狀的算子上直接退回CPU執(zhí)行整個延遲翻了三倍。還有一次模型量化后精度掉了2個點我們沒細(xì)想就全盤改用QAT重訓(xùn)成本很高后來才發(fā)現(xiàn)只是某個激活層沒有做量化敏感處理補(bǔ)上就好了。多試、多測、多看編譯器日志比迷信任何宣傳都管用。7.2 給新人的學(xué)習(xí)建議從軟件棧切入別一上來啃RTL如果你想把NPU學(xué)明白我給的建議是先別急著看寄存器傳輸級RTL代碼而是從軟件棧切入。大致的順序是先在一個成熟的深度學(xué)習(xí)框架里把一個模型部署到某個NPU上跑通感受整個工具鏈流程再去看編譯器生成的任務(wù)日志理解模型被切成了多少個算子、內(nèi)存是怎么規(guī)劃的然后回頭研究NPU的架構(gòu)文檔重點看脈動陣列的尺寸、SRAM容量、數(shù)據(jù)流方向最后才考慮寫個小算子比如手寫一個3x3卷積的映射代碼在模擬器上跑一跑。這種倒著學(xué)的方式能讓你在短時間內(nèi)建立“模型—算子—硬件”三層映射的心智模型而不是陷在晶體管細(xì)節(jié)里出不來。我在學(xué)習(xí)早期犯過一個錯誤拿了一堆RTL代碼盯著看越看越糊涂后來發(fā)現(xiàn)只要先把“數(shù)據(jù)從哪來、到哪去、在哪計算”這三件事理清楚NPU的大局就明白了。7.3 最后分享一個實用技巧怎么快速估算一個模型在NPU上會不會快拿到一個模型先別急著部署花十分鐘在紙上做一個估算。第一步統(tǒng)計模型總MACs很多框架工具能直接輸出第二步估算模型權(quán)重總大小和最大中間特征圖大小第三步看看目標(biāo)NPU的算力、帶寬和片上SRAM容量第四步算算推理一遍需要多少次數(shù)據(jù)搬運是否超過片上容量是否會被帶寬卡住。這套方法雖然粗糙但能讓你在動手前就對方案的可行性有個判斷避免盲目調(diào)優(yōu)。我自己每次換NPU平臺都會先拿這套估算過一遍再決定要不要投入時間做深度適配。