1. 從實(shí)驗(yàn)室的一個(gè)老課題說起為什么聲音分析值得再做一版先交代一下背景。之前在某高校實(shí)驗(yàn)室做一個(gè)聲學(xué)相關(guān)的課題時(shí)我們手里有一套老舊的采集方案麥克風(fēng)接聲卡、聲卡進(jìn)電腦、然后用某商業(yè)軟件做頻譜分析。這套方案應(yīng)付課堂演示還行一旦涉及多通道同步采集、長時(shí)間連續(xù)記錄、或者要跟其他傳感器數(shù)據(jù)做聯(lián)動(dòng)分析就各種不順手——不是采樣率不夠用就是數(shù)據(jù)格式封閉導(dǎo)不出來再不然就是價(jià)格讓人肉疼。后來決定自己動(dòng)手用開放式工具鏈重新搭一套聲音采集與分析系統(tǒng)。標(biāo)題里有個(gè)升級版本和可用于各類信號分析這兩點(diǎn)也正是這次重寫的核心思路采集層不再局限于聲卡加麥克風(fēng)而是通過模塊化設(shè)計(jì)同一套框架可以接不同的采集硬件分析層不只做頻譜圖把時(shí)域、頻域、濾波、峰值檢測、批量處理都納入進(jìn)來讓這套系統(tǒng)真正能當(dāng)通用信號分析工具用。說白了最后做出來的東西不再是一個(gè)只能看聲音波形的小工具而是一個(gè)數(shù)據(jù)采集加處理的工作臺。這篇文章就把整體架構(gòu)、關(guān)鍵模塊設(shè)計(jì)、實(shí)測效果和踩過的坑寫清楚給同樣想做信號采集分析系統(tǒng)的朋友一個(gè)可以直接參考的版本。適合的讀者有一定嵌入式或Python基礎(chǔ)、想從零搭一套采集分析系統(tǒng)的開發(fā)者或者手頭有設(shè)備、想自己處理聲學(xué)/振動(dòng)/生物電等信號的科研人員和工程師。2. 系統(tǒng)架構(gòu)拆解采集端、傳輸層、分析端的職責(zé)劃分這一版在設(shè)計(jì)之初就定了三個(gè)核心原則硬件可替換、數(shù)據(jù)格式統(tǒng)一、分析模塊解耦。整個(gè)系統(tǒng)順著數(shù)據(jù)流方向分成三層——采集端、傳輸層、分析端每一層職責(zé)單一這樣后面換設(shè)備、加功能都不需要推倒重來。2.1 采集端設(shè)計(jì)用統(tǒng)一接口屏蔽硬件差異采集端是所有數(shù)據(jù)的源頭。我們?nèi)粘＝佑|的信號來源五花八門駐極體麥克風(fēng)輸出的是模擬電壓信號某些工業(yè)振動(dòng)傳感器輸出的是4-20mA電流信號還有不少儀器直接輸出數(shù)字信號。如果每一種信號源都單獨(dú)寫一套驅(qū)動(dòng)那代碼很快就失控了。所以這一版采集端抽象出一個(gè)數(shù)據(jù)源接口每種硬件只需要實(shí)現(xiàn)統(tǒng)一的幾個(gè)方法初始化、讀取數(shù)據(jù)、停止采集、釋放資源。不管底層是聲卡、USB數(shù)據(jù)采集卡還是串口讀取的傳感器上層看到的都是同樣的接口。class BaseDataSource: 所有采集設(shè)備的統(tǒng)一抽象接口 def __init__(self, sample_rate: int, channels: int): self.sample_rate sample_rate self.channels channels self.buffer deque(maxlen8192) def open(self): raise NotImplementedError def read_chunk(self, block_size: int) - np.ndarray: raise NotImplementedError def close(self): raise NotImplementedError實(shí)際項(xiàng)目里我們主要適配了三類數(shù)據(jù)源聲卡通過跨平臺的音頻庫讀取、USB數(shù)據(jù)采集卡讀取振動(dòng)傳感器輸入、以及文件回放把之前錄好的數(shù)據(jù)當(dāng)作實(shí)時(shí)數(shù)據(jù)源。文件回放這個(gè)功能特別關(guān)鍵它讓整個(gè)分析端不依賴硬件也能完整調(diào)試——你甚至可以在沒有采集設(shè)備的時(shí)候用這段代碼跑分析流程。2.2 傳輸層和數(shù)據(jù)封裝時(shí)間戳、通道信息、元數(shù)據(jù)采集端把原始數(shù)據(jù)拿回來之后不能直接就丟給分析端中間至少有四件事必須做第一統(tǒng)一數(shù)據(jù)幀結(jié)構(gòu)。每個(gè)數(shù)據(jù)包包含采集時(shí)間戳、通道編號、采樣率、實(shí)際數(shù)據(jù)數(shù)組。這樣下游分析模塊看到的數(shù)據(jù)永遠(yuǎn)是帶完整上下文的不會(huì)出現(xiàn)我記得這組數(shù)據(jù)是48kHz采的但代碼里沒記錄這種窘境。第二多通道對齊。如果用兩塊采集卡同步采集硬件時(shí)鐘天然不同步必須靠軟件把時(shí)間戳對齊。這版系統(tǒng)在傳輸層維護(hù)一個(gè)全局時(shí)間基準(zhǔn)所有設(shè)備的數(shù)據(jù)都換算到這個(gè)基準(zhǔn)上。第三緩沖管理。聲卡一次可能給1024個(gè)采樣點(diǎn)分析模塊可能一次要處理4096個(gè)點(diǎn)兩者節(jié)奏不一致。于是傳輸層內(nèi)部維護(hù)了一個(gè)環(huán)形緩沖分析端想取多少就取多少取不到就等待新數(shù)據(jù)進(jìn)來。第四數(shù)據(jù)持久化。原始數(shù)據(jù)必須落盤保存并且保存格式要易讀、跨平臺。我們統(tǒng)一用多通道的WAV文件加JSON元數(shù)據(jù)副本來存儲。WAV的好處是隨便什么軟件都能打開JSON則是記錄采樣率、通道說明、設(shè)備參數(shù)這些附加信息。2.3 分析端模塊化每個(gè)算法就是一個(gè)可插拔處理器分析端整體采用數(shù)據(jù)流管道 算法插件的模式。原始數(shù)據(jù)從傳輸層進(jìn)來后會(huì)依次經(jīng)過預(yù)處理、特征提取、結(jié)果輸出三個(gè)階段的處理器。每個(gè)處理器只做一件事比如帶通濾波就是一個(gè)獨(dú)立的處理器過零率計(jì)算又是另一個(gè)處理器。class Processor: def __init__(self): self.config {} def configure(self, **kwargs): self.config.update(kwargs) def process(self, data: np.ndarray, sample_rate: int, **kwargs) - dict: raise NotImplementedError分析結(jié)果統(tǒng)一返回字典結(jié)構(gòu)這樣不管是什么算法下游的保存、繪圖、報(bào)表模塊都能用同一套代碼處理。這也是后面擴(kuò)展各類信號分析的基礎(chǔ)——新增一種分析功能只需要新寫一個(gè)Processor注冊進(jìn)去就能用不需要改其他任何代碼。這種架構(gòu)選擇不是拍腦袋如果有一天想從分析聲音擴(kuò)展到分析心電信號采集端換一個(gè)放大器和數(shù)據(jù)采集卡分析端加一個(gè)心率計(jì)算處理器其余所有部分——數(shù)據(jù)封裝、存儲、繪圖、報(bào)表——全部可以復(fù)用。3. 信號分析核心算法解析頻譜、濾波與特征提取的工程落地分析端是整個(gè)系統(tǒng)的靈魂。這版我們做了五個(gè)核心分析模塊時(shí)域波形分析、FFT頻譜分析、濾波處理、峰值檢測、過零率與能量分析。逐個(gè)說一下每塊的實(shí)現(xiàn)要點(diǎn)和踩過的坑。3.1 FFT頻譜分析加窗、分辨率和譜泄漏處理頻譜分析可能是一提到聲音分析大家最本能想到的功能。但實(shí)際寫代碼之前必須回答幾個(gè)工程問題FFT點(diǎn)數(shù)選多少用什么窗函數(shù)結(jié)果怎么歸一化FFT點(diǎn)數(shù)決定了頻率分辨率。分辨率等于采樣率除以FFT點(diǎn)數(shù)。如果采樣率是48000HzFFT取1024點(diǎn)那么頻率分辨率大約46.9Hz——這個(gè)精度對很多語音分析場景太粗了你根本分不清相鄰兩個(gè)音高。這時(shí)候就需要取更大的FFT。但點(diǎn)數(shù)大了計(jì)算量大、實(shí)時(shí)性下降所以必須根據(jù)具體場景權(quán)衡。窗函數(shù)的選擇直接影響頻譜質(zhì)量。矩形窗主瓣最窄、分辨率最高但旁瓣泄漏最嚴(yán)重漢寧窗旁瓣低但主瓣變寬適合對頻率精度要求不是極端苛刻、更看重穩(wěn)定性的場景。實(shí)測下來通用分析場景用漢寧窗最不容易出問題。下面這段是FFT頻譜分析的參考實(shí)現(xiàn)import numpy as np def compute_spectrum(data: np.ndarray, sample_rate: int, fft_size: int 4096): 計(jì)算功率譜返回頻率軸和功率值 window np.hanning(min(fft_size, len(data))) if len(data) fft_size: data np.pad(data, (0, fft_size - len(data))) else: data data[:fft_size] spec np.fft.rfft(data * window, nfft_size) power np.abs(spec) ** 2 # 幅度歸一化加窗補(bǔ)償系數(shù) power / (window.sum() ** 2) freqs np.fft.rfftfreq(fft_size, d1.0/sample_rate) return freqs, power這里有一個(gè)特別容易踩的坑做FFT之前一定要檢查數(shù)據(jù)長度是否滿足FFT點(diǎn)數(shù)要求不夠就補(bǔ)零夠了就截?cái)唷Ｈ绻蛔鲞@個(gè)處理數(shù)據(jù)長度不是2的冪時(shí)FFT計(jì)算效率會(huì)驟降甚至報(bào)錯(cuò)。我們在第一版里就是直接把整段音頻丟給FFT接口結(jié)果某次錄音兩小時(shí)那個(gè)數(shù)據(jù)量直接導(dǎo)致內(nèi)存占用爆炸。程序當(dāng)場就卡死了。3.2 濾波器設(shè)計(jì)線性相位Butterworth實(shí)際項(xiàng)目中的選擇濾波器看起來是調(diào)用一個(gè)現(xiàn)成函數(shù)但參數(shù)選不好會(huì)得到完全不可用的結(jié)果。這版我們內(nèi)置了低通、高通、帶通三類Butterworth濾波器階數(shù)默認(rèn)4階。之所以選Butterworth是因?yàn)樗耐◣ё钇教箾]有波紋適合絕大多數(shù)信號分析場景。濾波器的設(shè)計(jì)參數(shù)有兩個(gè)截止頻率和階數(shù)。階數(shù)越高過渡帶越窄濾波效果越陡但相位失真也越嚴(yán)重而且計(jì)算開銷變大。對于需要保持波形形態(tài)的分析比如后面要做峰值檢測相位失真會(huì)直接導(dǎo)致特征點(diǎn)位置偏移。這種情況下一般用更高階的零相位濾波——先正向?yàn)V波一次再反向?yàn)V波一次兩次濾波的相位偏移剛好抵消。from scipy import signal def bandpass_filter(data: np.ndarray, sample_rate: int, low: float, high: float, order: int 4): 帶通濾波返回濾波后的數(shù)據(jù) b, a signal.butter(order, [low, high], btypeband, fssample_rate) # 零相位濾波避免相位偏移影響后續(xù)特征檢測 return signal.filtfilt(b, a, data)多說一句filtfilt要求數(shù)據(jù)長度至少是濾波器階數(shù)的三倍否則邊界效應(yīng)會(huì)污染整個(gè)結(jié)果。如果你只是做實(shí)時(shí)監(jiān)控、不關(guān)心波形形態(tài)用sosfilt就夠了效率更高一旦要做精確的特征點(diǎn)定位零相位濾波幾乎是必須的。我們在做聲音觸發(fā)延時(shí)測量時(shí)候由于一開始用了普通濾波測出來的延遲總是比真實(shí)值偏大將近一個(gè)固定量后來才發(fā)現(xiàn)是濾波器相位延遲造成的。3.3 峰值檢測閾值、最小間距和精細(xì)化定位峰值檢測最樸素的做法是找局部最大值但實(shí)際信號里噪聲毛刺太多了直接找局部最大值會(huì)滿屏都是峰。所以工程上要加兩個(gè)約束條件最小峰高閾值、最小峰間距。最小峰高閾值用來過濾噪聲。閾值怎么定最簡單的做法是取信號標(biāo)準(zhǔn)差的若干倍比如3倍標(biāo)準(zhǔn)差作為閾值。這個(gè)倍數(shù)也可以調(diào)信號越干凈閾值可以越低噪聲大的信號則需要提高閾值來避免誤檢。最小峰間距則用來消除同一個(gè)波峰附近的多個(gè)疑似峰。因?yàn)椴蓸狱c(diǎn)離散化之后一個(gè)實(shí)際峰值周圍可能有多個(gè)相近的采樣點(diǎn)各自滿足局部最大值條件。如果不設(shè)置最小間距一個(gè)峰會(huì)被重復(fù)識別成三五個(gè)峰。def detect_peaks(signal_data: np.ndarray, sample_rate: int, min_height: float, min_distance_ms: float): 檢測信號峰值點(diǎn)返回每個(gè)峰的位置和高度 min_distance int(sample_rate * min_distance_ms / 1000.0) peaks, properties signal.find_peaks( signal_data, heightmin_height, distancemin_distance ) return peaks, properties[peak_heights]還有一個(gè)更精確的定位方法——拋物插值。如果峰值附近信號形態(tài)接近拋物線可以用峰值點(diǎn)及其左右兩個(gè)采樣點(diǎn)擬合拋物線然后求拋物線的頂點(diǎn)這樣定位精度可以遠(yuǎn)高于單個(gè)采樣間隔。比如采樣率48000Hz時(shí)采樣間隔約20.8微秒拋物插值之后定位精度可以做到微秒級。這個(gè)技巧在做超聲波飛行時(shí)間測量、聲音定位時(shí)非常有用我強(qiáng)烈建議需要高精度定位的讀者把這一步加上。3.4 時(shí)域特征過零率、RMS能量與短時(shí)能量時(shí)域分析看起來簡單但它在某些場景比頻域分析更直觀。過零率——單位時(shí)間內(nèi)信號穿過零軸的次數(shù)——可以用來區(qū)分清音和濁音、檢測噪聲突發(fā)。RMS能量則能反映信號強(qiáng)度變化適合做響度檢測和語音活動(dòng)檢測。工程實(shí)現(xiàn)上有一個(gè)細(xì)節(jié)值得注意計(jì)算過零率時(shí)由于零點(diǎn)附近可能持續(xù)有微小抖動(dòng)直接數(shù)正負(fù)符號變化次數(shù)會(huì)得到偏大的數(shù)值。所以要先做一個(gè)小的滯回判斷只有信號從正向區(qū)域越過一個(gè)負(fù)閾值、或者從負(fù)向區(qū)域越過一個(gè)正閾值時(shí)才算一次穿越。這個(gè)滯回窗口的大小通常取信號標(biāo)準(zhǔn)差的很小比例比如0.05到0.1倍。def zero_crossing_rate(data: np.ndarray, sample_rate: int, hysteresis: float 0.0): 計(jì)算過零率用滯回閾值抗噪聲 if hysteresis 0: prev_pos data[0] hysteresis crossings 0 for val in data[1:]: cur_pos val hysteresis if prev_pos ! cur_pos and abs(val) hysteresis: crossings 1 prev_pos cur_pos return crossings / (len(data) / sample_rate) else: return np.sum(np.diff(np.signbit(data)) ! 0) / (len(data) / sample_rate)短時(shí)能量則是對信號分幀后每幀計(jì)算平方和。分的幀長通常取10到30毫秒。幀太短了能量波動(dòng)太劇烈、不穩(wěn)定幀太長了反應(yīng)遲鈍快速變化的語音信號會(huì)被抹平。我們常用的配置是幀長25毫秒、幀移10毫秒這也是語音識別領(lǐng)域很常見的配置直接參考沒問題。4. 實(shí)時(shí)采集與文件回放的完整實(shí)現(xiàn)流程理論說完了現(xiàn)在把整個(gè)系統(tǒng)的完整跑通流程寫一遍。無論你是想接聲卡實(shí)時(shí)分析還是打算用回放模式先試試流程下面這套步驟都是可以直接照著操作的。4.1 設(shè)備初始化與參數(shù)設(shè)置第一步是初始化采集中。先創(chuàng)建采集設(shè)備對象然后配置采樣率、通道數(shù)、數(shù)據(jù)塊大小。這三個(gè)參數(shù)各有關(guān)鍵影響采樣率決定了能分析的頻率范圍。根據(jù)奈奎斯特定理可分析的最高頻率是采樣率的一半。要分析人聲到8000Hz采樣率至少16000Hz要做超聲分析到40kHz采樣率至少80kHz。當(dāng)然采樣率高了數(shù)據(jù)量也大了存儲和計(jì)算壓力都上來。我們?nèi)粘Ｂ晫W(xué)分析常用44100Hz或48000Hz通用性最好。通道數(shù)單聲道是1雙聲道是2。如果需要測聲源方位至少需要兩個(gè)通道。多通道采集要在初始化時(shí)明確指定后續(xù)所有數(shù)據(jù)幀都是按通道排列的。數(shù)據(jù)塊大小相當(dāng)于一次讀入多少個(gè)采樣點(diǎn)。塊越大單次處理的數(shù)據(jù)越多CPU占用率相對越低但實(shí)時(shí)性變差——分析延遲變高。塊越小延遲低但CPU開銷和調(diào)度開銷都上去了。實(shí)測下來聲卡設(shè)備用1024或2048個(gè)采樣點(diǎn)比較均衡。采集卡速度快的可以選512。# 初始化的參考演示 from sound_system import AudioSource, RingBuffer, Pipeline source AudioSource(sample_rate48000, channels2, block_size2048) source.open() buffer RingBuffer(capacity48000 * 5) # 緩沖5秒數(shù)據(jù) pipeline Pipeline([ BandpassProcessor(low300, high3400), # 語音分析常用300~3400Hz頻段 RmsEnergyProcessor(frame_size_ms25, hop_ms10), PeakDetectionProcessor(min_height_ms50, min_distance_ms30), ])4.2 數(shù)據(jù)流循環(huán)與實(shí)時(shí)處理在實(shí)時(shí)采集模式下系統(tǒng)會(huì)持續(xù)從設(shè)備讀取數(shù)據(jù)塊推入環(huán)形緩沖然后由分析管道消費(fèi)。這里要注意的是讀取和分析不能在同一個(gè)線程里死等否則采集卡緩沖溢出會(huì)導(dǎo)致數(shù)據(jù)丟失。所以我們會(huì)把采集循環(huán)和分析循環(huán)拆成兩個(gè)線程中間用環(huán)形緩沖連接。def acquisition_loop(source, buffer, stop_event): while not stop_event.is_set(): chunk source.read_chunk() # 假設(shè)返回 np.ndarray buffer.append(chunk) def processing_loop(pipeline, buffer, stop_event): while not stop_event.is_set(): data buffer.get_latest(4096) if data is None: time.sleep(0.01) continue result pipeline.process(data, sample_rate48000) plot_spectrum(result[spectrum]) update_energy_display(result[rms_energy])線程之間的同步是本系統(tǒng)最容易出問題的地方。如果緩沖區(qū)的讀位置追上了寫位置說明分析速度跟不上采集速度這時(shí)候要優(yōu)先丟棄舊數(shù)據(jù)還是阻塞等待新數(shù)據(jù)我們的選擇是實(shí)時(shí)監(jiān)控模式丟棄舊數(shù)據(jù)優(yōu)先保證最新數(shù)據(jù)被處理離線分析模式則要確保不丟點(diǎn)所以緩沖區(qū)要開得足夠大并且分析線程按順序消費(fèi)所有數(shù)據(jù)。4.3 文件回放模式和離線批處理文件回放模式是為調(diào)試和批量分析服務(wù)的。把之前錄制的音頻當(dāng)作實(shí)時(shí)數(shù)據(jù)源重新喂給分析管道可以回放任何歷史數(shù)據(jù)跟實(shí)時(shí)采集的代碼路徑完全一致。這意味著算法的調(diào)試不需要反復(fù)錄音、不需要守著設(shè)備可以完全在桌面上完成。批量分析則是對一批音頻文件依次執(zhí)行同樣的分析流程輸出統(tǒng)一格式的結(jié)果。我們做過的場景里有一個(gè)是對某類機(jī)械設(shè)備的運(yùn)行聲音做振動(dòng)特征提取——幾十個(gè)錄音文件每個(gè)都可能幾個(gè)小時(shí)全自動(dòng)批量提取RMS能量和峰值頻率最后合并成一張總表。這個(gè)功能在執(zhí)行效率上的優(yōu)勢非常明顯。def batch_analyze(file_list, pipeline, result_dir): for i, fpath in enumerate(file_list): data, sr load_audio(fpath) result pipeline.process(data, sr) save_result_json(result, os.path.join(result_dir, fresult_{i:03d}.json))4.4 可視化模塊波形和頻譜隨動(dòng)刷新可視化這塊當(dāng)時(shí)也花了心思。實(shí)時(shí)模式下波形圖和頻譜圖需要每秒刷新幾次如果刷新線程和數(shù)據(jù)處理線程搶鎖畫面會(huì)嚴(yán)重卡頓。我們的方案是分析線程只產(chǎn)生數(shù)據(jù)繪圖線程在空閑時(shí)取最新的結(jié)果繪制也就是生產(chǎn)者-消費(fèi)者模式。繪圖用常規(guī)的繪圖庫接口就能實(shí)現(xiàn)。波形圖用線圖頻譜圖用對數(shù)功率譜兩個(gè)子圖同步刷新。界面交互上用戶可以選擇當(dāng)前顯示的通道、切換不同的濾波器參數(shù)、暫停數(shù)據(jù)滾動(dòng)。暫停功能看似簡單實(shí)際調(diào)試時(shí)非常有用——可以把某一幀數(shù)據(jù)停住慢慢看頻譜細(xì)節(jié)不用一直盯著一閃而過的畫面。5. 實(shí)測案例電機(jī)異常噪聲檢測與聲源定位Demo這一段是系統(tǒng)在真實(shí)場景下的驗(yàn)證記錄一方面驗(yàn)證系統(tǒng)的可靠性另一方面也展示各類信號分析到底能擴(kuò)展到什么程度。5.1 電機(jī)異常噪聲的頻率特征識別第一個(gè)實(shí)測案例是對某型號電機(jī)的異常噪聲進(jìn)行識別。電機(jī)正常運(yùn)行時(shí)有穩(wěn)定的基頻和對應(yīng)的諧波但當(dāng)軸承出現(xiàn)磨損會(huì)產(chǎn)生特征性的高頻沖擊信號在頻譜上會(huì)表現(xiàn)為特定頻段的能量上升。我們用一個(gè)聲音傳感器貼近電機(jī)外殼采集采樣率48000Hz讀取3秒信號然后對比正常狀態(tài)和異常狀態(tài)的頻譜。正常狀態(tài)的頻譜在基頻及其整數(shù)倍處有清晰的窄峰高頻段能量很低。異常狀態(tài)則在高頻區(qū)域出現(xiàn)明顯平坦抬升同時(shí)某個(gè)頻段出現(xiàn)周期性沖擊能量圖上看就是尖峰簇。自動(dòng)檢測算法通過監(jiān)控2kHz以上的能量占比是否超過預(yù)設(shè)閾值就能實(shí)現(xiàn)初步的異常報(bào)警。這個(gè)案例的價(jià)值在于同樣的分析流程如果換到振動(dòng)加速度傳感器上也能正常工作——驗(yàn)證了系統(tǒng)對各類信號的適應(yīng)能力。電機(jī)振動(dòng)信號雖然不像聲音那樣容易被環(huán)境噪聲污染但有自身的特點(diǎn)——振動(dòng)信號低頻成分極強(qiáng)如果不做高通濾波頻譜會(huì)被極低頻的大幅值淹沒細(xì)節(jié)完全看不清。5.2 雙通道聲源定位Demo與時(shí)間延遲估計(jì)第二個(gè)案例是雙通道聲源定位。兩個(gè)話筒相距固定距離當(dāng)聲源不在正前方時(shí)聲音到達(dá)兩個(gè)話筒的時(shí)間有先后之差由這個(gè)時(shí)間差可以估算聲源的方位角。時(shí)間差估計(jì)的核心是計(jì)算兩路信號的互相關(guān)函數(shù)找到峰值對應(yīng)的延遲點(diǎn)數(shù)。這一步如果直接對原始信號做互相關(guān)噪聲和混響會(huì)嚴(yán)重干擾結(jié)果。所以要先把兩路信號都做帶通濾波只保留聲源頻率范圍內(nèi)的成分然后再計(jì)算互相關(guān)。我們用濾波之后的語音信號做測試延遲估計(jì)的穩(wěn)定性比直接計(jì)算好很多。實(shí)測下來采樣率48000Hz、話筒間距10-20厘米時(shí)方位角估計(jì)精度可以達(dá)到幾度以內(nèi)。這個(gè)精度對一般的課堂演示、安防系統(tǒng)原型已經(jīng)夠用了。如果想要更高的精度需要用更高的采樣率和更復(fù)雜的廣義互相關(guān)方法那就是另一個(gè)話題了。5.3 驗(yàn)證過程中暴露的問題和規(guī)避方案整個(gè)實(shí)測過程暴露了不少問題挑三個(gè)典型的說第一個(gè)是聲音采集的空間混響。室內(nèi)環(huán)境中聲波碰到墻壁會(huì)反射到達(dá)話筒的路徑是多條疊加的導(dǎo)致頻譜出現(xiàn)很多假的波峰波谷。做電機(jī)噪聲檢測時(shí)一開始在普通房間采集頻譜高頻段雜亂無章怎么都找不到特征。后來移到半消音環(huán)境或至少拉上厚重窗簾、鋪上吸音墊再采集頻譜才干凈起來。所以強(qiáng)烈建議做聲學(xué)分析實(shí)驗(yàn)時(shí)注意環(huán)境混響對結(jié)果的影響。如果無法改變環(huán)境至少讓采集位置靠近聲源、遠(yuǎn)離反射面。第二個(gè)是供電干擾。聲卡和采集卡在電源不干凈時(shí)常常會(huì)引入50Hz及其整數(shù)倍的工頻干擾處理做頻譜分析時(shí)會(huì)在低頻段看到一系列等間隔的尖峰非常容易誤判成信號特征。解決辦法一是硬件上用電池供電或者用帶隔離的電源適配器二是軟件上做陷波濾波。工程上更建議兩者結(jié)合——硬件上盡量干凈軟件上再做兜底。第三個(gè)是數(shù)據(jù)對齊。兩個(gè)通道之間的時(shí)間延遲如果來自硬件本身例如聲卡的雙通道ADC轉(zhuǎn)換時(shí)間不一致會(huì)直接污染聲源定位結(jié)果而且這個(gè)誤差是固定的。簡單的校準(zhǔn)方法用同一個(gè)揚(yáng)聲器播放一個(gè)瞬態(tài)脈沖分別測量兩個(gè)通道檢測到脈沖的時(shí)間差把這個(gè)固定偏差在后續(xù)計(jì)算中扣除。我們當(dāng)時(shí)沒做校準(zhǔn)定位結(jié)果總是整體往一個(gè)方向偏校準(zhǔn)后精度立刻提升了一大截。6. 一次完整的踩坑實(shí)錄多線程緩沖溢出導(dǎo)致數(shù)據(jù)丟失前面提到線程模型的設(shè)計(jì)原則但真正的坑往往在細(xì)節(jié)里。這里把一次典型的排障過程完整寫出來這個(gè)經(jīng)驗(yàn)比任何代碼片段都值錢。6.1 問題現(xiàn)象與初步排查某個(gè)版本跑實(shí)時(shí)采集時(shí)分析結(jié)果偶爾會(huì)出現(xiàn)丟段波形圖上某些時(shí)段突然少了一塊數(shù)據(jù)頻譜分析結(jié)果也跟著跳變。一開始以為是聲卡偶爾沒數(shù)據(jù)重啟聲卡、換USB接口都沒用。后來把緩沖區(qū)寫入位置和讀取位置打點(diǎn)記錄才發(fā)現(xiàn)讀位置常常超前于寫位置——也就是說分析線程準(zhǔn)備取數(shù)據(jù)時(shí)緩沖區(qū)的數(shù)據(jù)還沒寫完于是程序按默認(rèn)邏輯返回了舊數(shù)據(jù)或空數(shù)據(jù)畫面就會(huì)卡一下。問題本質(zhì)是采集線程和分析線程之間的同步邏輯不嚴(yán)謹(jǐn)。環(huán)形緩沖的讀寫位置是分屬兩個(gè)線程的如果不加鎖或者鎖的范圍不對同一時(shí)刻可能讀到半截?cái)?shù)據(jù)造成數(shù)據(jù)錯(cuò)亂。6.2 根因定位與修復(fù)方案排查代碼后發(fā)現(xiàn)問題出在緩沖區(qū)容量按幀數(shù)算而不是按秒算。初始化時(shí)我把緩沖區(qū)設(shè)置為存儲幀數(shù)為8192的環(huán)形緩沖聽起來夠大了。但實(shí)際調(diào)試時(shí)采集線程每次讀入2048個(gè)采樣點(diǎn)分析線程每次要取4096個(gè)采樣點(diǎn)采集線程的寫入頻率和分析線程的讀取頻率在Windows和Linux下的調(diào)度抖動(dòng)差異很大一旦分析線程在短時(shí)間內(nèi)連續(xù)取好幾次數(shù)據(jù)緩沖區(qū)就追上了寫入位置讀取返回舊數(shù)據(jù)。修復(fù)分兩步。第一步把緩沖區(qū)容量從幀數(shù)改為時(shí)間直接設(shè)置為5秒、10秒等時(shí)長——換算成幀數(shù)時(shí)統(tǒng)一乘以采樣率。這樣在任何采樣率下緩沖區(qū)都能容納足夠時(shí)長的數(shù)據(jù)不會(huì)因?yàn)椴蓸勇首兓霈F(xiàn)看起來很大、其實(shí)只夠零點(diǎn)幾秒的尷尬。第二步在讀取位置追近寫入位置時(shí)明確返回?cái)?shù)據(jù)不足而不是返回舊數(shù)據(jù)。分析線程收到這個(gè)信號后可以選擇等待或者跳過當(dāng)前刷新周期。實(shí)時(shí)監(jiān)控場景下我們選擇跳過舊數(shù)據(jù)因?yàn)楫嬅婵ㄒ幌卤蕊@示過時(shí)數(shù)據(jù)更可接受。def get_latest(self, n_frames: int): 從環(huán)形緩沖中獲取最近 n_frames 個(gè)數(shù)據(jù)點(diǎn) 如果緩沖區(qū)中的可用數(shù)據(jù)不足返回 None available (self.write_pos - self.read_pos) % self.capacity if available n_frames: return None start (self.write_pos - n_frames) % self.capacity idx np.arange(start, start n_frames) % self.capacity return self.buffer[idx]6.3 修復(fù)后的驗(yàn)證與性能表現(xiàn)修復(fù)之后連續(xù)測試了4小時(shí)實(shí)時(shí)采集數(shù)據(jù)點(diǎn)一個(gè)都沒丟波形連續(xù)無跳變。處理性能方面在普通筆記本上以48000Hz采樣率、2048塊大小做實(shí)時(shí)頻譜加能量分析CPU占用大約百分之十幾內(nèi)存占用穩(wěn)定在幾百M(fèi)B以下。如果打開批量文件分析模式處理速度大約能到實(shí)時(shí)采集速度的幾十倍瓶頸主要在磁盤讀取。這也是為什么我們堅(jiān)持緩沖容量按時(shí)間配置、同步邏輯顯式處理的原因——所有看似不起眼的細(xì)節(jié)在長時(shí)間運(yùn)行、多線程切換的情況下都會(huì)被放大最終決定系統(tǒng)穩(wěn)不穩(wěn)定。7. 配置選型對照不同采樣率和分析頻段的推薦組合很多讀者可能會(huì)問這些參數(shù)到底怎么選我直接在文末給一個(gè)方便速查的對照表方便不同領(lǐng)域的讀者按需取值。應(yīng)用場景推薦采樣率分析頻段FFT點(diǎn)數(shù)備注語音分析人聲16k-48kHz300-3400Hz2048重點(diǎn)關(guān)注基頻和諧波不需要超高采樣率音樂音頻分析44.1k-48kHz20-20000Hz4096需要覆蓋全頻段建議用大FFT點(diǎn)數(shù)提高低頻分辨率機(jī)械振動(dòng)分析4k-51.2kHz基頻和高次諧波4096-8192注意低頻段過強(qiáng)務(wù)必加高通濾波超聲檢測至少300kHz20k-150kHz8192采樣率要滿足奈奎斯特定理硬件成本較高電力信號分析50Hz1k-4kHz50Hz及其諧波4096重點(diǎn)關(guān)注工頻整倍數(shù)頻點(diǎn)避免頻譜泄漏必須說明這不是一個(gè)萬能公式而是一個(gè)合理起點(diǎn)。每個(gè)場景的最終參數(shù)還要結(jié)合實(shí)際信號特征微調(diào)。經(jīng)驗(yàn)是先用推薦的參數(shù)跑一遍看效果再根據(jù)頻譜圖的深淺做小幅調(diào)整——直接一步到位是不現(xiàn)實(shí)的。8. 寫在最后兩個(gè)讓這套系統(tǒng)更好用的小技巧最后分享兩個(gè)我們實(shí)測受益很大的細(xì)節(jié)這些小技巧往往文檔里不會(huì)寫但能省很多事。第一個(gè)技巧把分析結(jié)果統(tǒng)一保存成JSON加元數(shù)據(jù)。很多人做信號分析時(shí)喜歡把結(jié)果直接打印在終端或畫在圖上看完了就完了。但我們這套系統(tǒng)把每次分析的結(jié)果連同采集參數(shù)、時(shí)間戳、濾波器配置一起保存成結(jié)構(gòu)化的JSON文件。這樣后續(xù)做對比分析、自動(dòng)生成報(bào)告、復(fù)現(xiàn)實(shí)驗(yàn)結(jié)果時(shí)所有信息都找得到省去了這個(gè)結(jié)果是什么條件下測的這種靈魂拷問。第二個(gè)技巧加一個(gè)信號發(fā)生器測試模式。雖然系統(tǒng)主要做采集分析但我們在分析端內(nèi)置了一個(gè)信號發(fā)生器可以輸出正弦波、方波、掃頻信號。調(diào)試分析模塊時(shí)不需要真的對著麥克風(fēng)喊話或者找聲源直接用發(fā)生器喂給分析管道就能快速驗(yàn)證濾波、峰值檢測等模塊是否工作正常。這個(gè)方法極其實(shí)用尤其在沒有任何采集設(shè)備在場的時(shí)候它能幫你把幾乎所有軟件的bug都暴露出來。這一版系統(tǒng)的開發(fā)最大的體會(huì)是信號分析系統(tǒng)的難點(diǎn)從來不在單一算法而在于把所有模塊可靠地串起來。硬件要能換、數(shù)據(jù)要能存、流程要能跑、參數(shù)要能調(diào)四者缺一不可。希望這篇記錄能給準(zhǔn)備做類似系統(tǒng)的朋友一些啟發(fā)至少別在同樣的坑里再摔一次。