剛做完整年的低功耗AI芯片評(píng)估手里還留著十幾份評(píng)測(cè)數(shù)據(jù)和幾塊焊過(guò)電流采樣電阻的開(kāi)發(fā)板。趁記憶新鮮把這個(gè)領(lǐng)域的真實(shí)情況整理出來(lái)。我最大的感受是這個(gè)行業(yè)的競(jìng)爭(zhēng)早已不是單純比誰(shuí)算力高而是比誰(shuí)能在極嚴(yán)格的能量預(yù)算里跑出實(shí)際可用的效果。用客戶常說(shuō)的一句話概括就是——電池不換、體積不變、價(jià)格不漲但AI能力還得翻倍。誰(shuí)先做到誰(shuí)就能拿到下一代產(chǎn)品的入場(chǎng)券。這篇文章就從我實(shí)際接觸到的方案、踩過(guò)的坑和測(cè)量過(guò)的數(shù)據(jù)出發(fā)把低功耗AI芯片的明爭(zhēng)暗斗拆開(kāi)揉碎講清楚。1. 低功耗AI芯片到底在爭(zhēng)什么1.1 先搞清楚“低功耗”為什么比“高性能”更重要前幾年大家聊AI芯片開(kāi)口就是幾百TOPS閉口就是云端訓(xùn)練集群。但真實(shí)世界里絕大多數(shù)AI應(yīng)用根本不在數(shù)據(jù)中心里跑而是在終端設(shè)備上跑——門(mén)鎖上的人臉識(shí)別、耳機(jī)里的語(yǔ)音降噪、手環(huán)上的心率異常檢測(cè)、電表里的負(fù)荷識(shí)別、工業(yè)振動(dòng)傳感器里的故障分類(lèi)。這些設(shè)備有一個(gè)共同約束電池很小或者根本沒(méi)有電池只能靠能量收集供電。一個(gè)典型的智能門(mén)鎖四節(jié)五號(hào)電池要撐八個(gè)月到一年一個(gè)帶AI功能的TWS耳機(jī)單次充電要能用四五個(gè)小時(shí)配合充電倉(cāng)要撐兩三天一個(gè)工業(yè)無(wú)線傳感器兩節(jié)鋰亞電池可能要支撐兩到三年。在這種預(yù)算下任何“堆算力”的策略都是死路。所以低功耗AI芯片競(jìng)爭(zhēng)的核心指標(biāo)從來(lái)都不是峰值算力而是能效比——單位功耗能跑多少有效運(yùn)算。一顆芯片靜態(tài)功耗10mW看起來(lái)微不足道但如果你要做的是一個(gè)待機(jī)功耗5mW的產(chǎn)品這顆芯片連上電的資格都沒(méi)有。我見(jiàn)過(guò)太多方案在一開(kāi)始就被功耗卡死根本不是性能不夠而是連門(mén)都沒(méi)進(jìn)。1.2 TOPS/W低功耗AI芯片的“油耗指標(biāo)”行業(yè)內(nèi)衡量低功耗AI芯片水平最常用的兩個(gè)指標(biāo)是TOPS和TOPS/W。TOPS是每秒萬(wàn)億次運(yùn)算描述的是算力。TOPS/W則是每瓦功耗能提供多少算力描述的是能效。如果把芯片比作汽車(chē)TOPS是最高車(chē)速TOPS/W就是百公里油耗。低功耗AI芯片領(lǐng)域大家比的主要是后者相當(dāng)于比誰(shuí)“跑得遠(yuǎn)還省電”。這里需要特別留意一個(gè)細(xì)節(jié)標(biāo)稱(chēng)TOPS/W通常是理想條件下的數(shù)值實(shí)際跑真實(shí)模型時(shí)會(huì)大打折扣。原因包括數(shù)據(jù)搬運(yùn)、內(nèi)存帶寬限制、算子支持不全、芯片無(wú)法長(zhǎng)時(shí)間滿負(fù)荷運(yùn)行等。我實(shí)測(cè)過(guò)的多款芯片標(biāo)稱(chēng)2 TOPS/W的芯片跑實(shí)際模型往往只能達(dá)到0.8-1.2 TOPS/W差距不小。所以行業(yè)內(nèi)有一句話紙面參數(shù)只能參考真實(shí)效果得上板實(shí)測(cè)。1.3 用電池壽命倒推功耗預(yù)算選擇低功耗AI芯片之前必須先學(xué)會(huì)用電池壽命倒推功耗預(yù)算否則后面全白談。舉例來(lái)說(shuō)一個(gè)智能門(mén)鎖需要一年續(xù)航電池組容量是8000mAh采用鋰亞電池供電。不考慮電池自放電、溫度衰減等因素平均工作電流上限為8000mAh ÷ 8760小時(shí) ≈ 0.91mA。這意味著整個(gè)系統(tǒng)平均功耗必須在3.3V×0.91mA≈3mW以內(nèi)。而這個(gè)系統(tǒng)里還有無(wú)線通信模塊、傳感器、單片機(jī)等分給AI芯片的功耗預(yù)算可能只有不到1mW。這個(gè)預(yù)算下很多標(biāo)稱(chēng)“低功耗”的AI芯片根本沒(méi)法用因?yàn)閱涡酒龣C(jī)電流就超標(biāo)了。真實(shí)產(chǎn)品里的AI處理往往不是持續(xù)運(yùn)行而是事件觸發(fā)后短時(shí)間喚醒、快速運(yùn)算、再進(jìn)入深度睡眠。這時(shí)候“低功耗”指的不只是運(yùn)行功耗低更重要的是待機(jī)功耗足夠低、喚醒速度足夠快。2. 技術(shù)路線的明爭(zhēng)暗斗2.1 三種主流路線的定位差異圍繞低功耗AI技術(shù)路線大致可以分成三派。第一派是傳統(tǒng)CPU/DSP處理器加上專(zhuān)用NPU加速器組成異構(gòu)架構(gòu)。這是當(dāng)前最主流的方案在可編程靈活性、AI算力、功耗之間取得了一個(gè)較平衡的點(diǎn)。絕大部分量產(chǎn)芯片都走這條路因?yàn)镃PU核可以跑控制邏輯和通用代碼NPU專(zhuān)心處理AI推理兩者各司其職。第二派是存算一體技術(shù)。核心思路是把計(jì)算放到存儲(chǔ)單元內(nèi)部去完成省掉數(shù)據(jù)搬運(yùn)的能耗。傳統(tǒng)架構(gòu)里數(shù)據(jù)在存儲(chǔ)器和計(jì)算單元之間來(lái)回搬運(yùn)搬運(yùn)過(guò)程消耗的能耗遠(yuǎn)大于計(jì)算本身。存算一體讓數(shù)據(jù)“就地計(jì)算”理論上可以把能耗節(jié)約一到兩個(gè)數(shù)量級(jí)。但代價(jià)是靈活性差、編程模型不成熟、精度控制困難目前還處在商用早期階段。第三派是類(lèi)腦芯片和稀疏化計(jì)算路線模擬神經(jīng)元工作機(jī)制強(qiáng)調(diào)事件驅(qū)動(dòng)、異步計(jì)算。這種路線的極致低功耗特性很吸引人但生態(tài)和編譯器都不成熟適合特定場(chǎng)景的探索距離大規(guī)模量產(chǎn)商用還有距離。2.2 NPU異構(gòu)架構(gòu)為什么成為最普適的選擇我目前接觸到的量產(chǎn)低功耗AI產(chǎn)品絕大多數(shù)采用CPUNPU的異構(gòu)方案。原因是AI推理任務(wù)里有大量可并行的乘加運(yùn)算正好是NPU的強(qiáng)項(xiàng)而業(yè)務(wù)邏輯、協(xié)議棧、外設(shè)控制等復(fù)雜任務(wù)CPU更擅長(zhǎng)。對(duì)于一個(gè)典型的端側(cè)AI場(chǎng)景比如語(yǔ)音喚醒加關(guān)鍵詞識(shí)別整個(gè)流程是麥克風(fēng)采集音頻DSP或CPU做預(yù)處理然后NPU跑神經(jīng)網(wǎng)絡(luò)推理最后CPU根據(jù)推理結(jié)果執(zhí)行交互邏輯。如果全部用CPU來(lái)跑不僅速度慢功耗還高得離譜因?yàn)镃PU是通用計(jì)算單元做矩陣乘法的效率遠(yuǎn)不如專(zhuān)用硬件。異構(gòu)架構(gòu)能站住腳還有一個(gè)重要因素是工具鏈相對(duì)成熟。經(jīng)過(guò)多年打磨NPU的編譯器、量化工具、算子庫(kù)、調(diào)試工具都已經(jīng)比較完善開(kāi)發(fā)者拿到開(kāi)發(fā)板按照文檔操作幾天內(nèi)就能跑通一個(gè)基礎(chǔ)模型。相比存算一體和類(lèi)腦方案這種成熟度是巨大的優(yōu)勢(shì)。2.3 存算一體理論美好落地尚早存算一體這幾年熱度很高尤其在低功耗AI領(lǐng)域被視為長(zhǎng)期解。它的核心省電邏輯在于減少數(shù)據(jù)搬運(yùn)。我做過(guò)一個(gè)粗略的能量對(duì)比實(shí)驗(yàn)。傳統(tǒng)架構(gòu)跑一次固定的AI推理數(shù)據(jù)搬運(yùn)消耗的能量占總能耗的比例常常超過(guò)60%真正算力單元消耗的能量占比反而不到40%。存算一體把“計(jì)算”嵌到“存儲(chǔ)”里省掉了搬運(yùn)這層大頭理論上節(jié)省顯著。但實(shí)際使用中有三個(gè)很現(xiàn)實(shí)的問(wèn)題阻礙了存算一體的大規(guī)模落地。精度問(wèn)題嚴(yán)重。存算一體的計(jì)算在模擬域完成受溫度、噪聲、工藝偏差影響計(jì)算誤差高于數(shù)字電路INT8精度的模型跑起來(lái)容易掉點(diǎn)某些場(chǎng)景還要做額外的補(bǔ)償校準(zhǔn)。編程模型和工具鏈不成熟。普通AI開(kāi)發(fā)者已經(jīng)習(xí)慣了主流的深度學(xué)習(xí)框架工作流而存算一體芯片的編譯器棧和算子庫(kù)遠(yuǎn)沒(méi)有達(dá)到“開(kāi)箱即用”的水平開(kāi)發(fā)門(mén)檻非常高。靈活性和擴(kuò)展性受限。一旦模型結(jié)構(gòu)變化或者算子不匹配存算一體芯片的適配工作量巨大。所以我的判斷是存算一體在未來(lái)非常有想象空間但至少現(xiàn)階段只適合有專(zhuān)門(mén)算法團(tuán)隊(duì)深度定制模型的少數(shù)玩家。對(duì)大多數(shù)產(chǎn)品團(tuán)隊(duì)而言這不是一個(gè)可以商業(yè)化的成熟選項(xiàng)。2.4 制程工藝與片上存儲(chǔ)的暗戰(zhàn)有一件事大家容易忽略那就是低功耗AI芯片的競(jìng)爭(zhēng)不僅是架構(gòu)之爭(zhēng)還是工藝和存儲(chǔ)之爭(zhēng)。先進(jìn)工藝制程能有效降低芯片的工作電壓和開(kāi)關(guān)能耗但成本也水漲船高。低功耗AI芯片的市場(chǎng)對(duì)成本非常敏感一顆消費(fèi)級(jí)AI芯片的售價(jià)可能只有幾十元這就決定了廠商不能無(wú)腦追求最先進(jìn)工藝。業(yè)內(nèi)常見(jiàn)選擇是16nm、28nm、40nm等成熟工藝配合架構(gòu)優(yōu)化來(lái)達(dá)到功耗目標(biāo)。少數(shù)高端產(chǎn)品會(huì)用到7nm或更先進(jìn)工藝但這類(lèi)產(chǎn)品通常定位旗艦市場(chǎng)量不是最大的。片上SRAM的大小也是決定實(shí)際功耗的關(guān)鍵因素。AI推理過(guò)程中的中間數(shù)據(jù)如果都能放在片上SRAM里就不需要頻繁訪問(wèn)外部DDR能節(jié)省大量功耗和等待時(shí)間?？梢钥吹礁骷倚酒絹?lái)越拼SRAM容量本質(zhì)是在拼“在低功耗下能吃下多大的模型、多大batch的數(shù)據(jù)”。SRAM越大模型本地化程度越高外部?jī)?nèi)存訪問(wèn)越少功耗表現(xiàn)越好。但SRAM是芯片成本的敏感部分不可能無(wú)限擴(kuò)大所以每一代芯片都要在這上面做權(quán)衡。3. 落地場(chǎng)景需求分化的實(shí)測(cè)觀察3.1 語(yǔ)音場(chǎng)景低功耗AI芯片的“基本盤(pán)”在所有低功耗AI應(yīng)用場(chǎng)景中語(yǔ)音是量最大的一個(gè)也是技術(shù)成熟度最高的一個(gè)。從喚醒詞檢測(cè)到語(yǔ)音命令識(shí)別再到本地轉(zhuǎn)寫(xiě)語(yǔ)音AI對(duì)算力的要求并不高但對(duì)功耗和延遲極其敏感。一個(gè)典型的低功耗語(yǔ)音方案需要一顆常開(kāi)的音頻前端DSP搭配N(xiāo)PU麥克風(fēng)陣列采集音頻后先做回聲消除、波束成形、降噪再做喚醒詞識(shí)別。在這個(gè)過(guò)程中AI芯片的平均功耗通常要被控制在10mW以內(nèi)喚醒響應(yīng)延遲則要控制在100ms以內(nèi)。超過(guò)這個(gè)水平用戶體驗(yàn)就會(huì)明顯下降。我實(shí)測(cè)過(guò)的低功耗語(yǔ)音SoC在實(shí)現(xiàn)“始終在線監(jiān)聽(tīng)本地喚醒”時(shí)整機(jī)功耗可以壓到3mA 3.7V左右也就是說(shuō)一個(gè)500mAh的電池可以撐將近一周的純待機(jī)。當(dāng)然如果要跑更復(fù)雜的全雙工語(yǔ)音交互功耗會(huì)往上走一個(gè)臺(tái)階。3.2 視覺(jué)場(chǎng)景門(mén)鎖、安防到智能眼鏡視覺(jué)類(lèi)應(yīng)用的算力需求比語(yǔ)音高一個(gè)數(shù)量級(jí)但在低功耗前提下做視覺(jué)任務(wù)挑戰(zhàn)主要在ISP、內(nèi)存帶寬和NPU的協(xié)同配合。智能門(mén)鎖是最典型的量產(chǎn)場(chǎng)景。一顆人臉識(shí)別模組要做的包括人臉檢測(cè)、活體檢測(cè)、人臉比對(duì)整個(gè)流程快要好持續(xù)功耗還要低。門(mén)鎖是電池供電的不可能像攝像頭那樣一直開(kāi)。合理的做法是使用低功耗人體傳感器激活激活后系統(tǒng)在幾百毫秒內(nèi)完成檢測(cè)和識(shí)別然后立刻進(jìn)入休眠。整個(gè)過(guò)程中的平均功耗必須控制在毫瓦級(jí)別。智能眼鏡是更大的挑戰(zhàn)。眼鏡的電池容量通常只有幾百毫安時(shí)但需要在長(zhǎng)時(shí)間待命的同時(shí)隨時(shí)響應(yīng)拍照和識(shí)別需求。要求AI芯片的待機(jī)功耗極低單次識(shí)別功耗低、延遲低同時(shí)芯片面積和高度都要壓縮到適合眼鏡結(jié)構(gòu)的程度。目前這一場(chǎng)景的量產(chǎn)芯片不多但競(jìng)爭(zhēng)極其激烈因?yàn)檠坨R被視為下一波智能硬件的重要載體。3.3 工業(yè)與家電場(chǎng)景藏在角落里的大市場(chǎng)除了消費(fèi)電子低功耗AI芯片在工業(yè)狀態(tài)監(jiān)測(cè)、智能家電、能源管理等領(lǐng)域也在快速滲透。這些場(chǎng)景的特點(diǎn)是單品價(jià)值不高但總量巨大對(duì)成本極敏感。以空調(diào)為例新一代空調(diào)引入了AI節(jié)能算法讓壓縮機(jī)根據(jù)環(huán)境溫度、使用習(xí)慣、電費(fèi)時(shí)段進(jìn)行智能調(diào)節(jié)。控制算法的計(jì)算量并不大但要求極低的成本和極低功耗通常整機(jī)增加的成本不能超過(guò)十幾元。這對(duì)芯片廠商的壓力相當(dāng)大考驗(yàn)的是極致性價(jià)比能力。工業(yè)場(chǎng)景則更看重可靠性和惡劣環(huán)境適應(yīng)能力比如工業(yè)振動(dòng)傳感器要在高溫環(huán)境下連續(xù)工作AI芯片需要在極端溫度下保持算法識(shí)別的穩(wěn)定性。我測(cè)試過(guò)幾顆工業(yè)級(jí)芯片在85℃環(huán)境下的識(shí)別準(zhǔn)確率和25℃相比有所下降這種溫漂問(wèn)題在設(shè)計(jì)散熱方案時(shí)必須提前考慮。場(chǎng)景典型算力需求平均功耗預(yù)算核心痛點(diǎn)成本敏感度語(yǔ)音喚醒/TWS耳機(jī)0.1-0.5 TOPS毫瓦級(jí)待機(jī)響應(yīng)延遲、功耗高智能門(mén)鎖/可視門(mén)鈴0.5-1 TOPS事件觸發(fā)后低功耗喚醒準(zhǔn)確率、漏報(bào)中高智能眼鏡/AR1-4 TOPS極低待機(jī)短期高算力散熱、體積、續(xù)航中工業(yè)監(jiān)測(cè)/傳感器0.1-0.2 TOPS電池用兩年以上溫漂、穩(wěn)定性中高智能家電0.1-1 TOPS待機(jī)功耗符合國(guó)標(biāo)成本、PWM控制極高4. 市場(chǎng)博弈里的“明爭(zhēng)”與“暗斗”4.1 老牌廠商的降維打擊低功耗AI芯片這個(gè)市場(chǎng)既有玩家做“明爭(zhēng)”——拼產(chǎn)品定位、拼Roadmap、拼發(fā)布節(jié)奏也有大量“暗斗”——SDK里夾帶私貨、基準(zhǔn)測(cè)試挑項(xiàng)目、開(kāi)發(fā)者被生態(tài)綁架等。這些現(xiàn)象在這個(gè)行業(yè)里屢見(jiàn)不鮮對(duì)選型影響巨大。頭部SoC廠商的做法最典型把AI能力直接集成進(jìn)主控芯片里不再單獨(dú)賣(mài)一顆AI協(xié)處理器。這樣做的優(yōu)勢(shì)很明顯主控芯片集成了NPU客戶不用多貼一顆芯片物料清單成本下降板上面積節(jié)省可靠性還提高了。對(duì)于做智能門(mén)鎖、家電控制板的客戶來(lái)說(shuō)這幾乎是無(wú)法拒絕的理由。但集成方案也有讓人頭疼的地方。最典型的就是SDK綁定和生態(tài)鎖定。一旦你選了某個(gè)主控平臺(tái)并在上面完成了全部算法適配后面如果要換平臺(tái)基本意味著整個(gè)軟件棧重寫(xiě)。廠商清楚這一點(diǎn)所以會(huì)在前期以非常優(yōu)惠的合作條件拉客戶進(jìn)來(lái)后面逐漸提高依賴(lài)程度。這種現(xiàn)象在市場(chǎng)上很常見(jiàn)是典型的商業(yè)博弈策略。4.2 初創(chuàng)團(tuán)隊(duì)的生存縫隙低功耗AI芯片的初創(chuàng)團(tuán)隊(duì)沒(méi)法在通用市場(chǎng)和老牌廠商正面對(duì)抗所以通常選擇非常垂直的細(xì)分場(chǎng)景切入。常見(jiàn)策略包括專(zhuān)注超低功耗語(yǔ)音喚醒、專(zhuān)注健康監(jiān)測(cè)的體征信號(hào)處理器、專(zhuān)注邊緣側(cè)圖像識(shí)別模塊等。這類(lèi)團(tuán)隊(duì)的優(yōu)勢(shì)在于反應(yīng)速度快、定制能力強(qiáng)、服務(wù)響應(yīng)及時(shí)。一個(gè)大客戶對(duì)算法或接口有特殊需求初創(chuàng)團(tuán)隊(duì)幾周就能調(diào)整SDK和硬件適配這種靈活度是超大廠很難做到的。但劣勢(shì)也很明顯團(tuán)隊(duì)規(guī)模有限工具鏈、文檔、技術(shù)支持這類(lèi)“看不見(jiàn)的投入”往往跟不上。我接觸過(guò)不少初創(chuàng)芯片的方案硬件指標(biāo)看起來(lái)很好實(shí)際開(kāi)發(fā)起來(lái)才發(fā)現(xiàn)缺少成熟的編譯器、算子庫(kù)、示例工程算法人員要花大量時(shí)間做手工算子移植整個(gè)項(xiàng)目周期被拖得很長(zhǎng)。所以選擇這種方案時(shí)一定要先評(píng)估的是軟件團(tuán)隊(duì)匹配度而不僅僅是芯片參數(shù)。4.3 軟件生態(tài)真正的護(hù)城河很多團(tuán)隊(duì)選芯片時(shí)最關(guān)注的是算力、功耗和價(jià)格但實(shí)際項(xiàng)目做下來(lái)決定生死的往往是工具鏈和軟件生態(tài)。低功耗AI芯片的軟件生態(tài)包含幾個(gè)關(guān)鍵部分深度學(xué)習(xí)框架對(duì)接能力、模型訓(xùn)練后的量化工具、算子編譯器、GPU仿真器或FPGA原型驗(yàn)證環(huán)境、調(diào)試與性能分析工具、量產(chǎn)燒錄與OTA升級(jí)機(jī)制。任何一個(gè)環(huán)節(jié)薄弱都可能讓項(xiàng)目停滯。我見(jiàn)過(guò)一個(gè)團(tuán)隊(duì)芯片算力足夠、功耗也達(dá)標(biāo)、價(jià)格還便宜但量化工具非常難用導(dǎo)出的模型跑起來(lái)精度掉了5個(gè)點(diǎn)以上。算法同事反復(fù)調(diào)整了一周也沒(méi)解決最后只能更換芯片平臺(tái)前面幾個(gè)月的工作幾乎報(bào)廢。這種案例在行業(yè)里并不少見(jiàn)。所以說(shuō)低功耗AI芯片的競(jìng)爭(zhēng)早就超出了芯片本身。最終能跑量的產(chǎn)品一定是那些“芯片SDK工具鏈技術(shù)文檔現(xiàn)場(chǎng)支持”整體解決方案過(guò)硬的廠商。這也解釋了為什么很多團(tuán)隊(duì)選型后很快又開(kāi)始看下一家因?yàn)楹芏喈a(chǎn)品只把功夫下在了芯片參數(shù)上軟件生態(tài)卻一塌糊涂。5. 芯片選型評(píng)估的實(shí)操方法論5.1 從Datasheet里讀出真實(shí)信息評(píng)估一顆低功耗AI芯片第一步是看懂Datasheet。我的習(xí)慣是先看幾個(gè)最關(guān)鍵指標(biāo)再找官方評(píng)估板實(shí)測(cè)。算力要看INT8實(shí)數(shù)算力不要只看主頻。很多芯片宣傳的TOPS是FP16算力換成INT8后大打折扣。對(duì)低功耗AI芯片來(lái)說(shuō)主流商用量產(chǎn)模型基本還是INT8量化為主所以INT8算力才是你需要關(guān)心的。能效比看TOPS/W但要注意是在什么條件下測(cè)的。如果標(biāo)稱(chēng)條件下是理想稀疏化或混合精度那和真實(shí)跑卷積網(wǎng)絡(luò)的效果是兩個(gè)世界。內(nèi)存子系統(tǒng)是關(guān)鍵。重點(diǎn)看片上SRAM大小、是否有DDR控制器、內(nèi)存帶寬多大。對(duì)端側(cè)AI推理來(lái)說(shuō)數(shù)據(jù)搬運(yùn)經(jīng)常是瓶頸足夠大的SRAM能提升實(shí)際能效。低功耗模式要看得非常仔細(xì)。芯片有幾級(jí)睡眠模式各級(jí)的喚醒時(shí)間是多少待機(jī)電流分別是多少喚醒后迅速跑一次模型再睡回去整個(gè)過(guò)程的平均功耗是多少這些信息對(duì)電池供電產(chǎn)品至關(guān)重要。還有一個(gè)我反復(fù)強(qiáng)調(diào)的是外設(shè)集成度。芯片自帶的音頻編解碼器、ISP圖像處理單元、電源管理單元質(zhì)量如何如果外設(shè)集成度高且質(zhì)量好可以省掉一堆外圍芯片整機(jī)成本和面積都會(huì)更優(yōu)化。5.2 我常用的選型評(píng)估表下面這張表可以幫團(tuán)隊(duì)在選型階段快速形成評(píng)估結(jié)論評(píng)估維度指標(biāo)參考實(shí)測(cè)方法算力INT8 TOPS、有效算力非峰值跑目標(biāo)模型測(cè)幀率能效TOPS/W、運(yùn)行功耗電流探頭測(cè)運(yùn)行平均電流待機(jī)深睡電流、喚醒時(shí)間評(píng)估板配合精密電流計(jì)實(shí)測(cè)內(nèi)存SRAM大小、DDR帶寬跑不同大小模型驗(yàn)證工具鏈編譯成功率、算子覆蓋率把目標(biāo)模型完整移植一遍生態(tài)文檔質(zhì)量、示例工程、論壇活躍度讓工程師按文檔獨(dú)立跑通Demo成本單價(jià)、BOM總成本、NRE費(fèi)用結(jié)合生命周期量級(jí)預(yù)估交付供貨周期、長(zhǎng)期供貨承諾、第二供應(yīng)商由采購(gòu)側(cè)調(diào)研5.3 如何做真實(shí)的功耗測(cè)量評(píng)測(cè)功耗是選型的關(guān)鍵也是很多團(tuán)隊(duì)最容易范error的地方。我總結(jié)了幾個(gè)經(jīng)驗(yàn)。不能只測(cè)跑Division算力的功耗因?yàn)檎鎸?shí)產(chǎn)品里的AI運(yùn)行單位和測(cè)試工具不一樣。正確做法是把你最終要跑的模型完整移植到評(píng)估板上讓它以目標(biāo)流程運(yùn)行比如“待機(jī)-喚醒-采集-推理-決策-休眠”完整循環(huán)然后測(cè)整個(gè)循環(huán)的平均電流。測(cè)量工具要配齊。常見(jiàn)的測(cè)量?jī)x表包括高精度萬(wàn)用表、專(zhuān)用電流探頭、示波器和電子負(fù)載。測(cè)待機(jī)微安級(jí)電流時(shí)要保證采樣精度不能只用普通萬(wàn)用表因?yàn)槠胀ū淼牡自刖涂赡艽笥谛酒乃唠娏?。我?xí)慣在待機(jī)時(shí)想辦法串聯(lián)一個(gè)大電阻配合高精度表同時(shí)要注意電源噪聲對(duì)芯片的影響必要時(shí)在測(cè)量引腳加去耦電容。多次測(cè)量取均值。芯片在不同溫度、不同電壓下的功耗表現(xiàn)差異較大最好在25℃、45℃、70℃幾個(gè)溫度點(diǎn)分別測(cè)試。實(shí)測(cè)中發(fā)現(xiàn)有些芯片在高溫下因?yàn)槁╇娫黾雍凸?jié)流機(jī)制功耗變化高達(dá)30%以上。6. 項(xiàng)目實(shí)戰(zhàn)中的避坑經(jīng)驗(yàn)6.1 工具鏈的三座大山算子、量化、仿真這幾年用過(guò)多家低功耗AI芯片的開(kāi)發(fā)流程踩坑最多的永遠(yuǎn)是工具鏈已經(jīng)不是一次兩次了而是常態(tài)。第一座大山是算子覆蓋。目標(biāo)模型里的每個(gè)算子在NPU工具鏈里不一定都有高效的映射實(shí)現(xiàn)。比如一些動(dòng)態(tài)形狀或者不規(guī)則卷積算子在GPU上運(yùn)行良好到了NPU上可能根本編譯不過(guò)或者被降級(jí)到CPU執(zhí)行導(dǎo)致性能驟降。我的習(xí)慣是在選型階段就把目標(biāo)模型的算子列表導(dǎo)出逐一核對(duì)工具鏈支持情況提前發(fā)現(xiàn)不支持的算子并提前修改模型結(jié)構(gòu)。第二座大山是量化精度。很多低功耗芯片不擅長(zhǎng)處理浮點(diǎn)需要把模型量化到INT8。量化過(guò)程中一個(gè)常見(jiàn)的錯(cuò)誤是使用不當(dāng)?shù)男?zhǔn)數(shù)據(jù)集導(dǎo)致量化后精度下降嚴(yán)重。建議收集盡量與實(shí)際業(yè)務(wù)分布接近的數(shù)據(jù)并對(duì)比量化前后每一層輸出的誤差分布。如果某一層誤差特別大就要考慮對(duì)那部分做混合精度處理或者修改模型結(jié)構(gòu)。第三座大山是仿真與實(shí)測(cè)不一致。芯片廠商提供的模擬器PC端跑出來(lái)的性能數(shù)據(jù)和真實(shí)芯片往往有較大差距原因包括訪存延遲沒(méi)有被準(zhǔn)確建模、NPU調(diào)度策略模擬不完全、編譯器的實(shí)際執(zhí)行結(jié)果不同等。所以我的經(jīng)驗(yàn)是仿真結(jié)果只用來(lái)驗(yàn)證功能性能數(shù)字還是以開(kāi)發(fā)板實(shí)測(cè)為準(zhǔn)。6.2 我踩過(guò)的幾個(gè)具體坑分享幾個(gè)真實(shí)踩過(guò)的坑希望后來(lái)者不要再犯。曾經(jīng)遇到一個(gè)項(xiàng)目芯片標(biāo)稱(chēng)INT8算力很高但在跑目標(biāo)網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)問(wèn)題模型里的5×5卷積在NPU上的效率極低實(shí)際幀率只有預(yù)期的三分之一。原因是這種卷積操作的數(shù)據(jù)重用特性與NPU的硬件數(shù)據(jù)流不匹配導(dǎo)致計(jì)算單元大量等待數(shù)據(jù)搬運(yùn)。后來(lái)我們把5×5卷積改成兩個(gè)3×3卷積串聯(lián)幀率提升了兩倍多。這個(gè)小改動(dòng)完全來(lái)自實(shí)測(cè)只看paper永遠(yuǎn)也意識(shí)不到。還有一個(gè)項(xiàng)目芯片體積、功耗都很滿意但是SDK只支持兩種指定的編譯器版本和特定的操作系統(tǒng)內(nèi)核版本。我們現(xiàn)有產(chǎn)品線用的是另一套嵌入式框架軟件團(tuán)隊(duì)針對(duì)芯片的使用限制糾結(jié)了一個(gè)多月最后還是只能在最小化的混合架構(gòu)里做了妥協(xié)。再有就是喚醒延遲的問(wèn)題。有一款芯片的睡眠模式看起來(lái)很有吸引力待機(jī)電流低至微安級(jí)但實(shí)際測(cè)試發(fā)現(xiàn)從睡眠到NPU可運(yùn)行的時(shí)間需要60毫秒再加上模型推理時(shí)間整個(gè)語(yǔ)音交互的響應(yīng)速度明顯偏慢。后來(lái)改用不同級(jí)別的低功耗模式組合快速啟動(dòng)模式保持關(guān)鍵數(shù)據(jù)狀態(tài)把真正的深度睡眠留給機(jī)會(huì)極少的場(chǎng)景總算把延遲壓縮到了可接受范圍。6.3 系統(tǒng)級(jí)功耗優(yōu)化的幾個(gè)技巧芯片本身選好了系統(tǒng)級(jí)功耗優(yōu)化也會(huì)深刻影響最終產(chǎn)品續(xù)航。以下幾點(diǎn)是我在項(xiàng)目里反復(fù)用的經(jīng)驗(yàn)。第一盡量讓工作負(fù)載顯得“稀疏”。低功耗產(chǎn)品里AI推理不一定是每幀都做。比如人體傳感器檢測(cè)到有活動(dòng)才觸發(fā)識(shí)別攝像頭可以被限制在一個(gè)低幀率。把三個(gè)不同工作負(fù)載交織運(yùn)行避免整套系統(tǒng)始終滿負(fù)荷。第二盡可能利用異構(gòu)單元。很多芯片內(nèi)部除了NPU還有DSP或低功耗協(xié)處理器某些預(yù)處理任務(wù)可以放到這類(lèi)低功耗單元上運(yùn)行。比如音頻前端算法在DSP上跑NPU只跑神經(jīng)網(wǎng)絡(luò)推理整體功耗會(huì)比全部塞給NPU更低。有芯片的能效差距能到50%以上。第三精心調(diào)校電源管理策略。要充分利用芯片的多個(gè)電源域不用的外設(shè)及時(shí)下電。但要注意下電順序和等待時(shí)間避免在模塊尚未停止時(shí)就切斷時(shí)鐘芯片可能死機(jī)或數(shù)據(jù)損壞。需要在極端環(huán)境下做長(zhǎng)穩(wěn)定性驗(yàn)證。第四利用廠商提供的功耗分析工具在開(kāi)發(fā)階段就持續(xù)識(shí)別功耗熱點(diǎn)。有一個(gè)項(xiàng)目我們?cè)陂_(kāi)發(fā)板上直接焊了電流采樣電阻配合示波器看各個(gè)階段待機(jī)、喚醒、推理、通信、休眠的電流波形很快發(fā)現(xiàn)了藍(lán)牙模塊的空閑掃描電流異常偏高最后通過(guò)調(diào)整掃描策略省下了將近三分之一的平均功耗。6.4 建議的低功耗AI項(xiàng)目開(kāi)發(fā)節(jié)奏根據(jù)這些經(jīng)驗(yàn)我認(rèn)為一個(gè)穩(wěn)健的低功耗AI產(chǎn)品開(kāi)發(fā)流程應(yīng)該是這樣的。需求定義階段先做功耗預(yù)算將整機(jī)可用功耗拆解到每個(gè)模塊確定AI芯片的功耗窗口、算力下限和成本上限。這個(gè)階段一定要把測(cè)量工具準(zhǔn)備好不要等到方案確定了才想起來(lái)。選型評(píng)估階段拿到評(píng)估板立刻跑通目標(biāo)模型實(shí)測(cè)功耗、幀率和延遲。重點(diǎn)測(cè)完整業(yè)務(wù)循環(huán)而不是只測(cè)設(shè)計(jì)公司的演示模型。同時(shí)進(jìn)行軟件SDK的深度評(píng)估不要只看文檔。原型驗(yàn)證階段用開(kāi)發(fā)板搭出接近真實(shí)產(chǎn)品的外設(shè)環(huán)境充分模擬真實(shí)交互流確認(rèn)功耗數(shù)據(jù)和系統(tǒng)穩(wěn)定性。溫度和電源波動(dòng)測(cè)試在這個(gè)階段就應(yīng)該開(kāi)始。量產(chǎn)優(yōu)化階段結(jié)合產(chǎn)品結(jié)構(gòu)做整機(jī)功耗調(diào)優(yōu)特別注意外部電源轉(zhuǎn)換效率、傳感器功耗、無(wú)線通信的占空比。同時(shí)復(fù)核AI模型在量產(chǎn)固件上的精度變化情況。這幾輪下來(lái)產(chǎn)品基本能做到續(xù)航和功能可兼顧。我也見(jiàn)過(guò)不少項(xiàng)目為了搶進(jìn)度跳過(guò)前面的評(píng)估步驟結(jié)果拿到真正量產(chǎn)階段才暴露出功耗超標(biāo)、工具鏈?zhǔn)芟?、模型效果不達(dá)標(biāo)等問(wèn)題最后往往得不償失。寫(xiě)在最后的幾句實(shí)在話低功耗AI芯片領(lǐng)域的明爭(zhēng)暗斗說(shuō)到底爭(zhēng)的不是誰(shuí)家的名字響、發(fā)布會(huì)熱鬧、PPT參數(shù)最漂亮而是誰(shuí)能在真實(shí)產(chǎn)品里用最少的電、最小的芯片面積、最友好的開(kāi)發(fā)體驗(yàn)把AI模型穩(wěn)定地跑起來(lái)。我見(jiàn)過(guò)太多看似參數(shù)很美的芯片最后折在工具鏈、生態(tài)和真實(shí)場(chǎng)景的功耗細(xì)節(jié)上。作為從業(yè)者我深知紙面數(shù)據(jù)和量產(chǎn)表現(xiàn)之間隔著的是無(wú)數(shù)個(gè)加班夜和厚厚的實(shí)測(cè)報(bào)告。我個(gè)人最深的體會(huì)是芯片選型這件事永遠(yuǎn)不要只依賴(lài)原廠提供的基準(zhǔn)數(shù)據(jù)和評(píng)測(cè)模板。你的模型、你的場(chǎng)景、你的結(jié)構(gòu)限制只有你自己最清楚。把核心模型跑上開(kāi)發(fā)板用電流表實(shí)測(cè)功耗讓軟件工程師完整走一遍工具鏈再做決定。芯片戰(zhàn)爭(zhēng)輸贏其實(shí)與你無(wú)關(guān)但你自己的產(chǎn)品能不能在時(shí)間和預(yù)算內(nèi)落地是你必須負(fù)責(zé)到底的事。如果你正準(zhǔn)備啟動(dòng)一個(gè)低功耗AI終端項(xiàng)目我的建議是先把功耗預(yù)算表做出來(lái)把模型算子梳理清楚再帶著這些維度的標(biāo)準(zhǔn)去挑選芯片。你會(huì)發(fā)現(xiàn)很多看起來(lái)很大的“差距”在真實(shí)需求面前根本無(wú)關(guān)緊要而很多不起眼的“暗斗”恰恰是決定你項(xiàng)目生死的關(guān)鍵。祝你們的第一塊開(kāi)發(fā)板一次點(diǎn)亮第一版固件一次跑通。