1. 智能家居音頻設(shè)計(jì)到底在解決什么問題1.1 音頻系統(tǒng)在智慧家庭中的角色智能家居發(fā)展到今天音頻已經(jīng)不是“能響就行”的附屬功能了。你現(xiàn)在走進(jìn)展廳看到的那一堆智能音箱、智能中控屏、智能門鎖、樓宇對講凡是帶語音交互的核心體驗(yàn)全部壓在音頻鏈路上。用戶說了一句“離家模式”設(shè)備如果聽不清后面所有智能聯(lián)動都無從談起門鈴響了你在臥室想通過中控屏看看是誰如果麥克風(fēng)拾音一團(tuán)糟這個(gè)功能基本就是擺設(shè)。所以音頻鏈路在智慧家庭里的價(jià)值就是讓機(jī)器在真實(shí)家庭環(huán)境下依然能“聽清人、聽懂人、回好話”。它具體解決三類問題第一類叫拾音設(shè)備需要在兩三米之外、有空調(diào)聲和冰箱噪聲的環(huán)境下捕捉到有效人聲第二類叫處理需要把麥克風(fēng)信號里的回聲、混響、環(huán)境噪聲壓下去把有效語音提取出來第三類叫播報(bào)揚(yáng)聲器放出來的提示音和語音回復(fù)要自然、清晰、不破音。這三件事不是各自獨(dú)立的而是環(huán)環(huán)相扣。前端拾音做得差后端跑再多算法、再強(qiáng)的模型效果也好不到哪兒去。這也是我特別建議入門者從TI德州儀器這套生態(tài)入手的原因——TI的音頻ADC、Codec、DSP、D類功放覆蓋了從麥克風(fēng)進(jìn)來到最后喇叭出去的全鏈路參考設(shè)計(jì)給得又完整照著學(xué)一遍基本上能避開大部分新手會踩的坑。1.2 一條完整的音頻信號鏈長什么樣音頻信號鏈聽起來很玄拆開看其實(shí)就那么幾個(gè)環(huán)節(jié)模擬麥克風(fēng)先產(chǎn)生非常微弱的電信號經(jīng)過前置放大和ADC采樣變成數(shù)字量數(shù)字音頻通過I2S或TDM總線送到處理器在DSP或MCU里做降噪、回聲消除、波束成形等處理處理完之后送進(jìn)DAC還原成模擬信號再由功放把信號放大到足夠驅(qū)動揚(yáng)聲器的功率最后揚(yáng)聲器發(fā)聲。這里面最容易忽略的是前置放大這一級。普通MEMS麥克風(fēng)在正常說話距離下的輸出信號幅度只有幾毫伏到幾十毫伏而很多主控內(nèi)置ADC的參考電壓可能是3.3V甚至更高如果把麥克風(fēng)信號直接接到這種ADC量化出來的數(shù)據(jù)量級非常小有效位都被底噪吃掉了。所以正經(jīng)設(shè)計(jì)里要么加一級獨(dú)立的模擬放大器要么直接用帶可編程增益放大器PGA的音頻Codec。TI的TLV320ADC3100就內(nèi)置了0到36dB的PGA可以配置成差分輸入直接接模擬MEMS麥克風(fēng)省掉不少外圍電路。數(shù)字處理端的選擇余地比較大。低端方案用一顆帶FPU和DSP指令的MCU比如STM32H7跑跑噪聲抑制和簡單回聲消除夠用復(fù)雜一點(diǎn)的四麥克風(fēng)陣列、遠(yuǎn)場語音識別就得上獨(dú)立DSP。TI的C5515、C6748這些低功耗DSP在智能音頻產(chǎn)品里用得很廣耗電低算法資源也夠。處理完的數(shù)字流再送到DAC或者直接把I2S數(shù)據(jù)送到數(shù)字輸入的D類功放整個(gè)鏈路就閉合了。1.3 設(shè)計(jì)目標(biāo)從“能響”到“能聽清”我見過太多死在音頻這關(guān)的項(xiàng)目原因就是一開始只圍繞“能響”做設(shè)計(jì)等語音交互系統(tǒng)聯(lián)調(diào)時(shí)才暴露問題。真正做語音交互的智能家居設(shè)備設(shè)計(jì)目標(biāo)必須落到幾個(gè)可量化的指標(biāo)上。喚醒率就是一個(gè)典型指標(biāo)在正常家庭噪聲環(huán)境下三米距離喚醒率能不能做到95%以上誤喚醒指標(biāo)同樣重要不能家里喊一句普通詞就把設(shè)備激活了還有回聲消除指標(biāo)設(shè)備正在播報(bào)或放音樂時(shí)麥克風(fēng)還必須準(zhǔn)確接收用戶新下達(dá)的指令不能因?yàn)樽约悍帕艘魳肪汀皝G耳朵”。除了交互指標(biāo)音質(zhì)指標(biāo)也跑不掉。最大音量播報(bào)時(shí)有沒有破音待機(jī)狀態(tài)下設(shè)備底噪能不能做到人耳基本不可聞從用戶說完喚醒詞到設(shè)備回應(yīng)指令的端到端延時(shí)能不能控制在200毫秒以內(nèi)。這幾個(gè)指標(biāo)互相拉扯拾音增益調(diào)大了遠(yuǎn)場是聽清了但底噪也上來了回聲消除做猛了人聲也被削掉一部分識別率反而下降。所以入門階段別急著堆算法先把信號鏈每一級的動態(tài)范圍、信噪比對清楚把TI評估板在原廠例程下跑出來的底數(shù)摸透后面再優(yōu)化才有基準(zhǔn)線。2. 核心硬件怎么選麥克風(fēng)、編解碼器與功放2.1 麥克風(fēng)選型MEMS還是駐極體麥克風(fēng)是音頻入口選型一旦出錯(cuò)后面全盤皆輸。智能家居產(chǎn)品里目前絕大多數(shù)用MEMS麥克風(fēng)原因是它體積小可以貼片安裝在很窄的邊框或者很薄的LCD模組旁邊一致性好批次和批次之間的靈敏度差異很小做麥克風(fēng)陣列的時(shí)候不用每個(gè)聲道單獨(dú)校準(zhǔn)而且耐高溫、抗振動回流焊不容易損壞。駐極體麥克風(fēng)也不是不能用但它在批量上的靈敏度一致性差溫度漂移也明顯用在單麥克風(fēng)的低成本對講機(jī)上可能無所謂用在智能中控屏這種需要大量生產(chǎn)、出聲質(zhì)量要求高的產(chǎn)品上調(diào)試成本會非常高。選MEMS麥克風(fēng)的時(shí)候要重點(diǎn)看幾個(gè)參數(shù)靈敏度、信噪比、聲學(xué)過載點(diǎn)AOP和供電方式。信噪比至少要63dBA以上低于這個(gè)值遠(yuǎn)場拾音基本上就廢了AOP則決定了靠近麥克風(fēng)大喊時(shí)會不會嚴(yán)重削波一般在120dB SPL以上比較穩(wěn)妥。接口方面數(shù)字MEMS麥克風(fēng)輸出PDM信號可以直接接到MCU或DSP的PDM接口但PDM是過采樣數(shù)據(jù)流MCU還得做抽取濾波模擬MEMS麥克風(fēng)則需要配Codec的ADC。我個(gè)人的習(xí)慣是優(yōu)先選模擬MEMS加音頻Codec的方案因?yàn)門I這類Codec內(nèi)部已經(jīng)處理好了偏置、增益和ADC寄存器一配就能出干凈的數(shù)字流調(diào)試效率高很多。2.2 音頻編解碼器與麥克風(fēng)陣列Codec是整條音頻鏈路的咽喉它的ADC分辨率和動態(tài)范圍直接決定系統(tǒng)能拿到多少有效語音信息。選Codec不是越貴越好而是看它夠不夠匹配你的拾音拓?fù)?。做單麥克風(fēng)近場通話一顆低成本的TLV320ADC3100或者更傳統(tǒng)的AIC3204就夠了做四麥克風(fēng)遠(yuǎn)場語音交互建議直接上TLV320ADC6140它支持4通道同步采樣分辨率24bit動態(tài)范圍108dB采樣率最高能到96kHz。四路麥克風(fēng)的數(shù)據(jù)全部打進(jìn)同一條TDM總線由主控或DSP讀出這樣各聲道的幀對齊天然一致省掉很多軟件校準(zhǔn)的麻煩。對于音頻回放部分如果產(chǎn)品只需要提示音和簡單的TTS播報(bào)Codec帶個(gè)立體聲DAC就夠。但如果你想在Codec內(nèi)部做一些音頻后處理比如EQ、動態(tài)范圍壓縮、音量平滑那就看帶MiniDSP的TLV320AIC3254這類器件。AIC3254內(nèi)部有可配置的MiniDSP可以用TI的PurePath Console工具以圖形化方式拖拽信號流生成寄存器配置再通過I2C寫到芯片里。這個(gè)工作模式對嵌入式開發(fā)很友好因?yàn)橹骺刂恍枰?fù)責(zé)業(yè)務(wù)邏輯音效算法全在Codec內(nèi)部跑主控和DSP負(fù)荷都小系統(tǒng)整體也更省電。2.3 低功耗Class-D功放與Speaker保護(hù)功放部分最常見的誤區(qū)是只看輸出功率不看供電條件和揚(yáng)聲器阻抗。智能面板、智能門鎖這類設(shè)備往往不是12V大電源直供而是由PoE、USB-C或鋰電池供電電壓通常只有5V或者更低。這時(shí)候如果選一顆需要12V供電的傳統(tǒng)AB類功放就會多出來一顆升壓芯片不僅成本上去效率還掉下來。常規(guī)做法是選集成升壓或者支持低電壓供電的D類功放比如TI的TPA2016D2一顆支持單節(jié)鋰電池供電的2.8W立體聲D類功放非常適合便攜智能設(shè)備功率需求再大一點(diǎn)TPA3116D2這類高電壓器件則適合固定安裝的中控屏。D類功放的增益不是軟件能隨便調(diào)的通常由電路外部的增益電阻決定。我見過不少工程師在產(chǎn)品里猛調(diào)Codec的音量寄存器把音頻信號放大到接近滿幅結(jié)果功放前端一削波滿音量破音刺耳。正確的做法是把模擬鏈路的總增益分配到多個(gè)環(huán)節(jié)Codec PGA負(fù)責(zé)麥克風(fēng)側(cè)DAC輸出到功放之間的電平要留出余量功放的增益電阻按reference design里的推薦值設(shè)置最后在UI里限制最大音量輸出這樣才能保證從最小音量到最大音量都不失真。Speaker保護(hù)也不能省特別是小腔體面板喇叭散熱差長時(shí)間播報(bào)會燒音圈。TI很多功放內(nèi)置了SpeakerGuard這類溫度預(yù)測保護(hù)能實(shí)時(shí)限制輸出功率最好直接把這類功放定下來別拿普通功放硬扛。2.4 主控與DSP的配合STM32與TI各司其職在智能家居產(chǎn)品里主控和音頻處理器的分工已經(jīng)越來越清晰。STM32憑借豐富的生態(tài)和性價(jià)比承擔(dān)網(wǎng)絡(luò)協(xié)議、UI交互、外設(shè)管理、應(yīng)用層邏輯這些任務(wù)TI的DSP或音頻Codec則專注于音頻信號鏈。比如STM32通過I2C向Codec寫入配置寄存器通過I2S把要播放的音頻流發(fā)送給Codec/DSP同時(shí)接收處理完的麥克風(fēng)數(shù)據(jù)。這樣音頻算法的實(shí)時(shí)性要求不會反過來折磨主控主控死機(jī)或升級固件的時(shí)候音頻鏈路還能獨(dú)立保底音頻通路也能更穩(wěn)定。如果你是剛?cè)腴T用一塊TI的評估板跑通音頻鏈路再接到自己熟悉的STM32開發(fā)板上聯(lián)調(diào)這個(gè)路徑會順很多。TI的EVM板一般會配套一個(gè)USB接口插上電腦就能被PurePath Console識別可以在PC端實(shí)時(shí)調(diào)節(jié)寄存器、看ADC波形、調(diào)試音效。等調(diào)好參數(shù)把生成的寄存器配置數(shù)組存下來在STM32工程里通過I2C寫進(jìn)去即可。大部分情況下你并不需要深刻理解音頻信號處理的每一個(gè)公式先把TI這套參考流程走通再回頭補(bǔ)理論效果遠(yuǎn)比死磕教科書好。3. 從原理圖到代碼TI方案落地過程3.1 典型參考設(shè)計(jì)分析與器件選型TI官網(wǎng)的參考設(shè)計(jì)資料是最值得利用的資源很多初學(xué)者不知道從哪下手其實(shí)完全可以反過來先確定產(chǎn)品形態(tài)再去TI官網(wǎng)搜“Reference Design”。搜索關(guān)鍵詞可以是“smart speaker”、“voice interface”、“audio panel”這些搜索結(jié)果里通常會有完整的硬件框圖、原理圖PDF、BOM表、layout指南和軟件例程?？丛韴D的時(shí)候不要只看音頻部分把電源樹和時(shí)鐘樹一起看因?yàn)橐纛l對電源和時(shí)鐘非常敏感。以一臺帶屏智能語音中控為例典型信號鏈大概是四顆模擬MEMS麥克風(fēng)進(jìn)TLV320ADC6140的四通道ADC經(jīng)過TDM總線進(jìn)入主控DSP或獨(dú)立DSPDSP做完波束成形和回聲消除后把干凈的語音流交給主控跑識別回復(fù)音頻由主控通過I2S送給TLV320AIC3254做DAC再送到TPA2016D2驅(qū)動揚(yáng)聲器。我在實(shí)際抄參考設(shè)計(jì)時(shí)學(xué)到最重要的一點(diǎn)是音頻芯片的模擬供電引腳附近一定不能省去耦電容且布局時(shí)要盡量讓模擬地和數(shù)字地分開再單點(diǎn)匯合。不少網(wǎng)友照著畫完板子發(fā)現(xiàn)底噪大十有八九就是省了這幾個(gè)電容。3.2 CCS安裝與工程環(huán)境搭建如果你選了TI的DSPIDE通常繞不開Code Composer Studio。CCS的安裝在TI官網(wǎng)有逐步向?qū)螺d離線包裝上之后需要注意幾個(gè)問題第一安裝路徑里不要有中文和空格TI的編譯工具鏈對路徑比較敏感路徑帶空格有時(shí)會引發(fā)莫名其妙的編譯錯(cuò)誤第二新裝的CCS不一定包含所有TI芯片的編譯器支持比如用C6748需要額外安裝C6000編譯器這在“App Center”里有選項(xiàng)別漏掉第三仿真器驅(qū)動在Windows下有時(shí)會被攔截遇到連接不上仿真器的問題先去設(shè)備管理器里看看驅(qū)動有沒有正常識別。建工程時(shí)強(qiáng)烈建議直接導(dǎo)入TI提供的example工程而不是從空白工程開始。因?yàn)橐纛l工程里不僅有基本的main函數(shù)還要配置中斷向量、Linker Command文件里的內(nèi)存分配、DSPLIB庫的路徑這些東西手拼起來十分痛苦。導(dǎo)入example之后先編譯、下載、在例程上確認(rèn)硬件環(huán)境正常再逐步改動為自己需要的功能這是最穩(wěn)的前進(jìn)方式。3.3 TLV320ADC3100/ADC6140的配置流程Codec配置的流程看起來長其實(shí)套路固定。先初始化I2C通信把Codec從復(fù)位狀態(tài)釋放然后配置PLL和主時(shí)鐘確定MCLK、BCLK、LRCLK和采樣率的比例關(guān)系接著配置ADC/DAC采樣率、數(shù)據(jù)格式、字長再設(shè)置PGA增益和通道映射最后使能通路和設(shè)置音量。每一步在TI的數(shù)據(jù)手冊里都能找到對應(yīng)寄存器如果使用PurePath Console很多步驟會自動幫你算好再生成配置代碼。硬件上要特別注意主從關(guān)系。常見做法是MCU做I2S主機(jī)產(chǎn)生BCLK和LRCLK同時(shí)給Codec提供一個(gè)MCLK也可以由Codec自身產(chǎn)生時(shí)鐘MCU做從機(jī)但需要額外配置Codec的時(shí)鐘輸出。TDM模式下幾路麥克風(fēng)數(shù)據(jù)會被編進(jìn)同一幀的不同時(shí)隙主控需要按照片選通道解包數(shù)據(jù)通道順序別弄反。調(diào)試時(shí)如果你聽到聲音的“語速”不對聽起來像磁帶加速或減速那多半是PLL配置或者M(jìn)CLK與采樣率比例不匹配導(dǎo)致的優(yōu)先檢查這里。3.4 音頻鏈路調(diào)試音量、增益、噪聲調(diào)試音頻鏈路本質(zhì)上是在確認(rèn)信號在每一級有沒有出現(xiàn)增益過大、削波、噪聲抬升。我的習(xí)慣是先灌入一個(gè)1kHz正弦波幅度到-20dBFS左右沿鏈路逐級觀察波形。從Codec的ADC輸入到DSP處理算法再到DAC輸出最后到功放輸出每一級都應(yīng)該看到清晰的、無削波的正弦波。然后再關(guān)閉輸入源測量輸出底噪判斷是否符合規(guī)格書上的本底噪聲指標(biāo)。如果底噪高出很多優(yōu)先懷疑電源去耦和layout。音量調(diào)試的部分最容易犯的錯(cuò)誤是音響系統(tǒng)的“滿幅焦慮”。有人總覺得數(shù)字音量越大越好結(jié)果Codec輸出已經(jīng)接近0dBFS了后面再經(jīng)功放放大一到大動態(tài)就破音。正確做法是給系統(tǒng)留足夠的headroom。比如你錄制一條標(biāo)準(zhǔn)語音在正常說話音量下最好讓ADC輸入峰值落在-26dBFS到-20dBFS之間這樣既能保證信噪比又能在大聲說話或者環(huán)境噪聲突然增大時(shí)不會立即削波。增益分配也一定要均衡不要單靠Codec的PGA拉到最大也不要單靠功放增益去湊要在每一級都留出余量。4. 語音交互與本地推理音頻設(shè)計(jì)的進(jìn)階方向4.1 喚醒詞檢測與麥克風(fēng)陣列波束成形語音交互的第一個(gè)門檻是喚醒詞檢測。用戶在客廳喊一句喚醒詞設(shè)備必須低功耗、低延遲地識別出來并進(jìn)入工作狀態(tài)。這意味著喚醒模型往往要跑在一顆功耗很低的DSP上TI的C5505、C5535低功耗DSP就是為這種常開場景設(shè)計(jì)的一顆芯片可以在毫瓦級功耗下不斷跑語音活動檢測和輕量級關(guān)鍵詞識別一旦檢測到喚醒詞再喚醒主控跑更復(fù)雜的任務(wù)。這種“喚醒低功耗、識別再滿負(fù)荷”的分層設(shè)計(jì)是智能家居設(shè)備續(xù)航和交互體驗(yàn)兼顧的關(guān)鍵。遠(yuǎn)場語音的另一大基礎(chǔ)是麥克風(fēng)陣列。雙麥克風(fēng)做近場拾音夠用要做到客廳級別的遠(yuǎn)場至少需要四麥克風(fēng)陣列配合波束成形。波束成形的基本原理是給麥克風(fēng)陣列各通道施加不同延時(shí)和權(quán)重使目標(biāo)方向上的語音同相疊加非目標(biāo)方向上的噪聲異相抵消。這個(gè)過程依賴于各通道嚴(yán)格的時(shí)間同步正因如此我前面不斷強(qiáng)調(diào)用TDM方式把多路ADC數(shù)據(jù)打包進(jìn)同一總線的重要性——硬件層面的同步做好了算法才有施展空間。TI的TLV320ADC6140天然支持TDM輸出四路麥克風(fēng)數(shù)據(jù)能在同一幀里按序送到DSP這比用多顆獨(dú)立ADC再用軟件對齊要靠譜得多。4.2 本地語音助手的算力挑戰(zhàn)從qwen到本地GPU這兩年本地跑大模型的熱度很高有人想用qwen這類7B參數(shù)級別的大語言模型把家里的智能音箱變成完全本地推理的語音助手。這個(gè)方向在技術(shù)上確實(shí)可行但落到硬件選型上要冷靜。一個(gè)7B模型即使量化到INT4權(quán)重也要占掉接近4GB顯存推理過程中還需要大量的內(nèi)存帶寬和計(jì)算能力。我在自己搭的PC上試過用4060 Ti 16G跑這類模型16G顯存是足夠裝下量化模型的推理速度也能跑到每秒幾token到幾十token但整機(jī)功耗動輒一兩百瓦機(jī)箱體積和散熱都不是嵌入式智能家居節(jié)點(diǎn)能承受的。所以真正合理的產(chǎn)品架構(gòu)不是把大模型塞進(jìn)墻上的面板而是分層部署。設(shè)備本地的TI DSP完成喚醒詞、降噪、波束成形和簡單的離線指令識別把決定性的音頻前端做好等到用戶確實(shí)要和助手對話了再把壓縮后的音頻或文本發(fā)送到家里的本地推理服務(wù)器由一臺裝了4060 Ti 16G甚至更強(qiáng)顯卡的PC跑大模型理解語義、生成回復(fù)最后把TTS音頻流推回設(shè)備播放。這種結(jié)構(gòu)既保留了低延遲、即可響應(yīng)的本地交互體驗(yàn)又獲得了大模型復(fù)雜語義理解能力而且隱私數(shù)據(jù)不出家庭網(wǎng)關(guān)實(shí)際落地性也遠(yuǎn)高于把一切都塞進(jìn)邊緣設(shè)備。4.3 TI 邊緣AI器件與算法怎么搭TI這些年也在往邊緣AI方向布局AM62A、TDA4系列處理器集成了NPU可以跑輕量級的語音和視覺模型。不過對純音頻交互設(shè)備來說直接用帶NPU的SoC做語音成本不一定劃算傳統(tǒng)低功耗DSP配合輕量級神經(jīng)網(wǎng)絡(luò)反而是更常見的組合。TI官方提供Edge AI Toolbox里面有包括語音喚醒、語音識別、異常聲音檢測等模型示例并給出了模型在TI器件上的性能和資源占用評估是很好的選型參考。這里想提醒一句在家搭一套“PCGPU大模型”的演示系統(tǒng)和做一臺可以批量生產(chǎn)的智能家居音頻產(chǎn)品完全是兩回事。前者可以不用關(guān)心功耗、體積、量產(chǎn)一致性、高溫可靠性后者則要被成本、散熱、85℃環(huán)溫測試、工廠校準(zhǔn)這些現(xiàn)實(shí)問題反復(fù)折磨。我的建議是入門者先把TI的EVM板跑起來用TI官方的降噪、喚醒、回聲消除demo走通一遍真實(shí)信號鏈再用自己的數(shù)據(jù)做測試。這個(gè)過程積累的硬件和算法手感比單純聊大模型要實(shí)在得多。等哪天真有產(chǎn)品需求了再用分層架構(gòu)把本地GPU拉進(jìn)來也完全來得及。5. 最小可用的智能音頻節(jié)點(diǎn)手把手實(shí)操實(shí)錄5.1 硬件清單與接線要點(diǎn)想做一套最小可用的智能音頻節(jié)點(diǎn)不一定非要花大價(jià)錢買高端開發(fā)板。用一塊TI的音頻EVM加一塊STM32開發(fā)板就能把前面講的鏈路完整跑起來。我常用的配置是TLV320ADC3100EVM作為模擬麥克風(fēng)輸入和ADC一塊STM32F407開發(fā)板作為主控負(fù)責(zé)I2C配置Codec和接收I2S數(shù)據(jù)。如果你還想做播報(bào)可以再接一個(gè)TPA2016D2功放EVM和一只小揚(yáng)聲器。接線的時(shí)候要注意I2S有四根信號線MCLK、BCLK、LRCLK、DIN/DOUT再加上I2C的SCL和SDA電源和地。MCLK可以由STM32提供也可以由Codec的外部晶振或Codec內(nèi)部PLL產(chǎn)生。我在第一次接線時(shí)踩過坑STM32的MCLK和BCLK很容易被接到一起導(dǎo)致Codec分不清主時(shí)鐘和位時(shí)鐘音頻數(shù)據(jù)完全錯(cuò)位。建議先在紙上把信號流向標(biāo)清楚再用萬用表測杜邦線連通性不要憑記憶亂插。5.2 環(huán)境搭建與最小工程導(dǎo)入軟件環(huán)境分兩邊STM32這邊用STM32CubeMX生成基礎(chǔ)和I2S外設(shè)代碼TI的Codec配置則用PurePath Console生成寄存器表。在STM32CubeMX里把I2S配置成主機(jī)模式、飛利浦格式、24bit數(shù)據(jù)寬度、采樣率48kHzMCLK使用外部PLL生成。生成工程后在main函數(shù)里通過I2C把TI Codec的寄存器數(shù)組寫入芯片然后開啟DMA接收I2S數(shù)據(jù)數(shù)據(jù)流會源源不斷進(jìn)到內(nèi)存緩沖區(qū)。TI這邊如果你用的是DSP方案則在CCS里導(dǎo)入TI例程如果你只用Codec其實(shí)不需要CCSPurePath Console就夠了。CCS主要給C5515、C6748這些DSP做算法開發(fā)用。初次導(dǎo)入例程時(shí)建議先編譯一次原封不動的工程確認(rèn)沒有報(bào)錯(cuò)再改動例程里的音頻參數(shù)。很多人一上來就急著改代碼結(jié)果編譯環(huán)境都沒弄對白白消耗了大量時(shí)間。5.3 跑通一個(gè)基本的回聲消除Demo回聲消除是語音交互不可缺少的一環(huán)。設(shè)備播放音樂時(shí)揚(yáng)聲器聲音會被麥克風(fēng)重新拾取如果不做回聲消除遠(yuǎn)端用戶聽到的就是自己的聲音不斷被重復(fù)。TI的音頻DSP例程里經(jīng)常自帶AEC模塊你只需要把參考信號即播放給揚(yáng)聲器的信號和麥克風(fēng)信號同時(shí)送進(jìn)AEC算法算法會把揚(yáng)聲器通路產(chǎn)生的回聲成分估計(jì)出來并從麥克風(fēng)信號中減去。實(shí)測跑AEC時(shí)我建議先拿一個(gè)固定頻率的正弦波做播放觀察AEC收斂曲線和回波抵消量。TI的例程通常提供調(diào)試界面可以實(shí)時(shí)看到殘余誤差信號的能量。如果AEC收斂很慢或者回波抵消有限先檢查參考信號和麥克風(fēng)信號是否時(shí)間對齊。很多時(shí)候是I2S的左右聲道交叉接反或者DSP讀到的兩個(gè)數(shù)據(jù)流起點(diǎn)不同導(dǎo)致訓(xùn)練序列錯(cuò)位。把對齊問題解決AEC性能通常立刻會有不小的改善。5.4 系統(tǒng)聯(lián)調(diào)讓語音節(jié)點(diǎn)真正可用單板跑通不算完還要做系統(tǒng)聯(lián)調(diào)。把STM32、Codec、功放和揚(yáng)聲器都接在一起先播放一段測試音頻確認(rèn)回放通路正常再打開麥克風(fēng)數(shù)據(jù)在PC上通過串口打印ADC數(shù)值確認(rèn)拾音通路正常最后打開AEC和降噪功能用手機(jī)播放噪聲作為干擾對著麥克風(fēng)說話觀察串口輸出的語音數(shù)據(jù)是否干凈。聯(lián)調(diào)階段最需要注意的是引入“系統(tǒng)級增益”的概念處理完的語音信號在送給語音識別API或者本地模型之前應(yīng)該統(tǒng)一做音量歸一化和采樣率對齊。我見過很多項(xiàng)目麥克風(fēng)出的是48kHz數(shù)據(jù)主控做識別卻用16kHz模型直接把數(shù)據(jù)降采樣時(shí)又沒有做抗混疊濾波結(jié)果識別率掉得很明顯。這個(gè)環(huán)節(jié)其實(shí)不復(fù)雜但特別容易被人忽略也是我覺得“入門者尤其要留個(gè)心眼”的地方。6. 常見問題與排查技巧速查表6.1 底噪、爆音、沒有聲音先用分段定位法音頻問題最忌諱一上來就懷疑芯片壞了。我的排查思路永遠(yuǎn)是把鏈路切成段逐級定位。沒有聲音的時(shí)候先看Codec的ADC有沒有接收到信號再量功放輸入引腳有沒有波形最后看揚(yáng)聲器兩端有沒有電壓。只要把一段一段的信號測出來問題出在哪一級立刻清楚了。下面的表格是我自己經(jīng)常用的排查參考現(xiàn)象可能原因排查方向完全沒聲音未正確使能Codec通路、數(shù)字信號未到位用示波器查I2S信號讀Codec寄存器確認(rèn)通路開關(guān)狀態(tài)底噪大模擬電源去耦不足、增益分配不合理檢查模擬電源電容降低PGA增益觀察底噪變化有聲音但破音信號鏈某級削波從ADC輸入到功放輸入逐級看波形找出削波點(diǎn)留headroom聲音變速采樣率與MCLK比例不匹配檢查PLL配置和MCLK、BCLK、LRCLK頻率比例左聲道右聲道串音差分信號接反、layout耦合核對麥克風(fēng)或Codec的左右聲道連接檢查PCB布線6.2 I2S時(shí)序、PLL時(shí)鐘與采樣率問題I2S時(shí)序是數(shù)字音頻最基礎(chǔ)也最容易出錯(cuò)的點(diǎn)。I2S要求位時(shí)鐘BCLK頻率是采樣率乘以字長乘以聲道數(shù)48kHz、24bit、雙聲道對應(yīng)的典型BCLK就是2.304MHzMCLK則一般是采樣率的256倍或512倍也就是12.288MHz或24.576MHz。如果你的MCU沒法產(chǎn)生精確的MCLK也可以由Codec內(nèi)部PLL根據(jù)BCLK恢復(fù)時(shí)鐘但前提是BCLK頻率必須穩(wěn)定且符合Codec允許范圍。很多代碼里直接寫個(gè)固定值板間晶振誤差一大考試就掛了。排查這類問題的實(shí)用方法是用示波器測量LRCLK和BCLK正常情況下LRCLK頻率應(yīng)等于采樣率BCLK應(yīng)為LRCLK的整數(shù)倍。如果示波器粗測沒問題再用邏輯分析儀看I2S幀結(jié)構(gòu)確認(rèn)每個(gè)采樣點(diǎn)的位序是24bit還是16bit、數(shù)據(jù)對齊是左對齊還是右對齊Codec側(cè)格式和主控側(cè)格式必須完全一致。格式不匹配常見表現(xiàn)是聲音正常但音量極低或者有大量爆音。6.3 低功耗喚醒的取舍與多電源管理低功耗喚醒是智能家居設(shè)備的老大難。待在機(jī)狀態(tài)一直開著DSP跑喚醒模型功耗可能幾百毫瓦到一兩瓦電池供電的產(chǎn)品撐不了幾天。通常做法是分兩級電源管理一顆超低功耗的MCU或DSP一直保持極低功耗通過麥克風(fēng)通路上的VAD檢測到語音活動后再打開主DSP和應(yīng)用處理器。TI的低功耗DSP在VAD模式下可以做到很低功耗同時(shí)保持麥克風(fēng)通路可用比較適合這種場景。但我發(fā)現(xiàn)很多人忽略了一個(gè)細(xì)節(jié)喚醒后切換到主系統(tǒng)音頻鏈路重新上電時(shí)需要一段穩(wěn)定時(shí)間包括電源穩(wěn)定、Codec上電、DSP加載算法固件等。如果在這段時(shí)間里馬上處理音頻很可能會把上電瞬態(tài)噪聲當(dāng)成語音信號觸發(fā)誤喚醒。因此設(shè)計(jì)時(shí)要在軟件流程里預(yù)留一個(gè)“音頻就緒”標(biāo)志在上電穩(wěn)定和Codec初始化完成之后才開啟識別任務(wù)。這個(gè)細(xì)節(jié)在低功耗喚醒項(xiàng)目里幾乎是必踩的坑提前注意能省不少排查時(shí)間。6.4 布板與電磁干擾改動一次彌補(bǔ)不了的坑音頻設(shè)備的PCB布局屬于“抄得了原理圖抄不了layout”的部分。官方的EVM布局往往是經(jīng)過反復(fù)調(diào)優(yōu)的參考設(shè)計(jì)里的Layout Guide甚至比原理圖更重要。我記得印象最深的一句話是音頻電路里的地是一個(gè)敏感信號模擬地和數(shù)字地要在ADC芯片下方單點(diǎn)連接不要跨區(qū)鋪銅。如果分割處有高速數(shù)字線跨過那數(shù)字噪聲就會耦合到模擬地底噪問題怎么都消不掉。另外揚(yáng)聲器輸出走線和麥克風(fēng)輸入走線絕對不能長距離平行。D類功放的輸出是PWM波富含高頻能量哪怕線粗到能承載電流它也會通過空間和地平面輻射噪聲。我的經(jīng)驗(yàn)是麥克風(fēng)差分輸入線盡量短并且加濾波電容D類功放輸出端在靠近芯片處放LC濾波電源走線要寬模擬電源和數(shù)字電源的濾波電容各歸其位。這些規(guī)則很難在事后用飛線彌補(bǔ)所以layout階段必須仔細(xì)檢查。結(jié)尾一點(diǎn)個(gè)人體會做音頻設(shè)計(jì)和做純軟件開發(fā)最大的不同是很多問題不是邏輯上的而是物理上的。信號鏈上一丁點(diǎn)電源紋波、一根走線的寄生電容、一段沒有對齊的I2S時(shí)序都可能讓整個(gè)系統(tǒng)表現(xiàn)得很“玄學(xué)”。也正因?yàn)槿绱宋姨貏e推薦入門者從TI這類有完整硬件參考、工具鏈和EVM支持的生態(tài)入手先照著一套成熟方案做出來再逐步理解每一級的原理。等你親手把一塊“能響”的板子調(diào)到“能聽清、能交互”再回頭看那些數(shù)據(jù)手冊里的指標(biāo)會突然明白當(dāng)初那些參數(shù)為什么要這么定。這個(gè)過程沒有捷徑但確實(shí)能讓你少走很長一段彎路。