簡(jiǎn)介這份資源是面向語(yǔ)音識(shí)別初學(xué)者與進(jìn)階開(kāi)發(fā)者的中文語(yǔ)音識(shí)別系統(tǒng)完整源碼包采用Python與神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)可用于課程設(shè)計(jì)、畢業(yè)項(xiàng)目或算法復(fù)現(xiàn)練習(xí)。系統(tǒng)由聲學(xué)模型與語(yǔ)言模型兩部分構(gòu)成聲學(xué)模型涵蓋GRU-CTC結(jié)構(gòu)、基于科大訊飛DFCNN改造的CNN-CTC模型以及使用時(shí)頻圖輸入的inception卷積方案并新增pluse版數(shù)據(jù)集訓(xùn)練腳本語(yǔ)言模型則移植了曾用于谷歌聲音合成的CBHG結(jié)構(gòu)形成端到端的神經(jīng)網(wǎng)絡(luò)建模思路。壓縮包共88個(gè)文件以30個(gè)py源碼、30個(gè)txt說(shuō)明、22個(gè)lst數(shù)據(jù)列表為主另含tsv、pkl等配置與模型文件整體約34.55MB目錄按acoustic_model與language_model分模塊組織便于對(duì)照閱讀。目前已有188人學(xué)習(xí)下載適合希望理解聲學(xué)與語(yǔ)言模型協(xié)同流程、動(dòng)手訓(xùn)練中文識(shí)別模型的讀者參考。1. 中文語(yǔ)音識(shí)別系統(tǒng)落地從源碼到可復(fù)現(xiàn)的工程路徑拿到一份「Python 實(shí)現(xiàn)基于深度學(xué)習(xí)的中文語(yǔ)音識(shí)別系統(tǒng)源碼 說(shuō)明文檔」的壓縮包很多人第一反應(yīng)是解壓、裝依賴、跑train.py然后被一連串的采樣率不匹配、詞表越界、顯存爆炸按在地上摩擦。中文語(yǔ)音識(shí)別ASR和英文最大的差別不在模型結(jié)構(gòu)而在數(shù)據(jù)處理鏈路漢字字符集動(dòng)輒幾千上萬(wàn)、沒(méi)有天然空格分詞、標(biāo)點(diǎn)與語(yǔ)氣詞混雜、方言口音分布極不均勻。這套源碼真正值錢(qián)的地方是它把「音頻 → 特征 → 聲學(xué)模型 → 解碼 → 中文文本」這條鏈路完整串了起來(lái)而不是某個(gè)炫技的網(wǎng)絡(luò)結(jié)構(gòu)。這篇文章面向三類(lèi)人想拿它當(dāng)畢業(yè)設(shè)計(jì)或課程設(shè)計(jì)底座的學(xué)生、想把中文 ASR 接進(jìn)自己產(chǎn)品的后端工程師、以及想搞懂端到端語(yǔ)音識(shí)別到底怎么跑通的算法初學(xué)者。我會(huì)按「先講清每個(gè)模塊為什么這么設(shè)計(jì)再給能直接抄的命令和參數(shù)」的節(jié)奏推進(jìn)重點(diǎn)放在數(shù)據(jù)準(zhǔn)備、聲學(xué)模型訓(xùn)練、解碼與語(yǔ)言模型融合、以及那些只有真跑過(guò)才會(huì)遇到的坑。讀完你應(yīng)該能獨(dú)立把這套系統(tǒng)在本地或云平臺(tái)上跑起來(lái)并知道每一步出問(wèn)題時(shí)該看哪個(gè)日志、調(diào)哪個(gè)參數(shù)。2. 拆解中文 ASR 源碼數(shù)據(jù)管線與聲學(xué)模型選型2.1 先看清目錄結(jié)構(gòu)再動(dòng)手別急著 pip install一份成熟的端到端中文 ASR 工程目錄通常長(zhǎng)這樣不同項(xiàng)目命名略有差異但職責(zé)劃分基本一致asr_project/ ├── data/ # 原始音頻與標(biāo)注 │ ├── wav/ # 16k 單聲道 wav │ └── transcript.txt # 音頻名 中文文本 ├── conf/ # 配置文件 │ ├── train.yaml │ └── decode.yaml ├── src/ │ ├── dataset.py # 數(shù)據(jù)加載與特征提取 │ ├── model.py # 聲學(xué)模型定義 │ ├── decoder.py # CTC/Attention 解碼 │ └── tokenizer.py # 中文分詞/字表構(gòu)建 ├── train.py ├── infer.py └── requirements.txt先別急著裝依賴。打開(kāi)requirements.txt和conf/train.yaml確認(rèn)三件事Python 版本常見(jiàn) 3.83.10、深度學(xué)習(xí)框架PyTorch 居多少數(shù)用 TensorFlow、以及特征類(lèi)型fbank 還是 MFCC。這三項(xiàng)決定了你后面環(huán)境怎么配。我一般會(huì)先pip install -r requirements.txt到一個(gè)獨(dú)立虛擬環(huán)境再單獨(dú)確認(rèn)torch和torchaudio版本是否匹配——這兩個(gè)包版本錯(cuò)位是新手翻車(chē)率最高的地方。2.2 中文文本處理字表構(gòu)建比模型結(jié)構(gòu)更影響上限中文 ASR 的第一道坎是「把一句話變成模型能學(xué)的標(biāo)簽序列」。英文用 BPE 或字符就行中文常見(jiàn)三種方案方案詞表規(guī)模優(yōu)點(diǎn)缺點(diǎn)單字char30006000實(shí)現(xiàn)簡(jiǎn)單、OOV 少序列長(zhǎng)、語(yǔ)義弱詞word幾萬(wàn)幾十萬(wàn)語(yǔ)義強(qiáng)分詞錯(cuò)誤傳播、OOV 多子詞BPE/Unigram500010000平衡長(zhǎng)度與語(yǔ)義需要額外訓(xùn)練分詞器源碼里如果用的是單字方案tokenizer.py通常會(huì)做這幾步讀transcript.txt、去掉標(biāo)點(diǎn)和空白、統(tǒng)計(jì)字頻、保留高頻字、把低頻字映射到unk最后生成vocab.txt。這里有個(gè)血淚經(jīng)驗(yàn)別把標(biāo)點(diǎn)符號(hào)混進(jìn)字表。很多開(kāi)源項(xiàng)目訓(xùn)練時(shí)把「。」也當(dāng)標(biāo)簽結(jié)果模型學(xué)會(huì)在句尾亂吐標(biāo)點(diǎn)解碼后文本慘不忍睹。正確做法是訓(xùn)練前統(tǒng)一清洗標(biāo)點(diǎn)交給后處理或標(biāo)點(diǎn)恢復(fù)模型。# tokenizer.py 核心邏輯示意 from collections import Counter def build_vocab(transcript_path, min_freq2): counter Counter() with open(transcript_path, encodingutf-8) as f: for line in f: _, text line.strip().split(\t, 1) # 只保留中文與字母數(shù)字剔除標(biāo)點(diǎn) cleaned .join(ch for ch in text if ch.isalnum()) counter.update(cleaned) # 過(guò)濾低頻字避免詞表過(guò)大導(dǎo)致輸出層參數(shù)爆炸 vocab [ch for ch, c in counter.items() if c min_freq] vocab [blank, unk] sorted(vocab) # CTC 需要 blank return {ch: i for i, ch in enumerate(vocab)}min_freq是關(guān)鍵參數(shù)設(shè)太小詞表膨脹輸出層 softmax 計(jì)算量上升設(shè)太大低頻字全變unk專(zhuān)有名詞識(shí)別率下降。中文場(chǎng)景我一般從 2 起步數(shù)據(jù)量超過(guò) 100 小時(shí)再考慮調(diào)到 35。2.3 聲學(xué)模型CTC、Attention 還是 Conformer源碼用的網(wǎng)絡(luò)結(jié)構(gòu)決定了你后面怎么調(diào)。常見(jiàn)三類(lèi)CTC CNN/RNN結(jié)構(gòu)簡(jiǎn)單、對(duì)齊不需要強(qiáng)制訓(xùn)練穩(wěn)定適合入門(mén)和中小數(shù)據(jù)集。缺點(diǎn)是輸出條件獨(dú)立假設(shè)強(qiáng)語(yǔ)言建模能力弱。Attention Encoder-Decoder建模能力強(qiáng)但需要更多數(shù)據(jù)和調(diào)參訓(xùn)練容易不收斂。Conformer / Transformer當(dāng)前主流卷積 自注意力兼顧局部與全局效果好但顯存吃緊。判斷源碼屬于哪類(lèi)看model.py里有沒(méi)有CTC相關(guān)的 loss 或nn.CTCLoss有沒(méi)有TransformerEncoder。如果是 Conformer注意它的d_model、num_heads、conv_kernel_size這幾個(gè)參數(shù)d_model一般 144512num_heads取 4 或 8conv_kernel_size常見(jiàn) 1531。這些值直接決定顯存占用8G 顯存跑d_model512的 Conformer 基本要開(kāi)梯度累積。2.4 特征提取fbank 的 3 個(gè)必調(diào)參數(shù)語(yǔ)音特征我一般用 80 維 fbank比 MFCC 保留更多信息配合 SpecAugment 效果更穩(wěn)。提取時(shí)三個(gè)參數(shù)必須和訓(xùn)練配置對(duì)齊import torchaudio import torchaudio.compliance.kaldi as kaldi def extract_fbank(wav_path, sample_rate16000): waveform, sr torchaudio.load(wav_path) if sr ! sample_rate: waveform torchaudio.transforms.Resample(sr, sample_rate)(waveform) # 關(guān)鍵與訓(xùn)練配置保持一致 feat kaldi.fbank( waveform, num_mel_bins80, # 梅爾濾波器組數(shù)量 frame_length25, # 幀長(zhǎng) 25ms frame_shift10, # 幀移 10ms dither0.0, # 推理時(shí)關(guān)閉抖動(dòng) sample_frequencysample_rate, ) return featnum_mel_bins、frame_length、frame_shift這三個(gè)值訓(xùn)練和推理必須完全一致否則模型聽(tīng)到的「聲音」和訓(xùn)練時(shí)分布不同識(shí)別結(jié)果會(huì)莫名其妙變差。這是最隱蔽的坑之一因?yàn)榇a不會(huì)報(bào)錯(cuò)只是準(zhǔn)確率悄悄掉。3. 從零跑通訓(xùn)練環(huán)境、數(shù)據(jù)與第一個(gè) checkpoint3.1 環(huán)境配置CUDA、PyTorch、torchaudio 的版本對(duì)齊環(huán)境是新手第一道墻。我推薦的組合是 CUDA 11.8 PyTorch 2.02.1 torchaudio 對(duì)應(yīng)版本Python 3.9 或 3.10。安裝命令# 創(chuàng)建獨(dú)立環(huán)境避免污染系統(tǒng) Python conda create -n asr python3.10 -y conda activate asr # 按 CUDA 版本裝 PyTorch這里以 cu118 為例 pip install torch2.1.0 torchaudio2.1.0 --index-url https://download.pytorch.org/whl/cu118 # 其余依賴 pip install -r requirements.txt裝完立刻驗(yàn)證 GPU 是否可用import torch print(torch.__version__, torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only)如果cuda.is_available()返回 False八成是 PyTorch 裝成了 CPU 版或者驅(qū)動(dòng)版本低于 CUDA 要求。別硬扛重裝對(duì)應(yīng)版本比排查驅(qū)動(dòng)快得多。3.2 數(shù)據(jù)準(zhǔn)備音頻格式統(tǒng)一與標(biāo)注清洗源碼一般要求 16kHz、單聲道、16bit PCM 的 wav。用 ffmpeg 批量轉(zhuǎn)換# 批量轉(zhuǎn) 16k 單聲道-ar 采樣率 -ac 聲道數(shù) for f in raw_audio/*.mp3; do name$(basename $f .mp3) ffmpeg -i $f -ar 16000 -ac 1 -sample_fmt s16 data/wav/${name}.wav done標(biāo)注文件transcript.txt格式通常是「音頻文件名\t中文文本」。清洗時(shí)注意去掉文本里的空格、統(tǒng)一全角半角、剔除空標(biāo)注和超長(zhǎng)標(biāo)注超過(guò) 30 秒的句子訓(xùn)練時(shí)容易 OOM。我一般會(huì)寫(xiě)個(gè)腳本統(tǒng)計(jì)音頻時(shí)長(zhǎng)分布把超過(guò) 20 秒的切分或丟棄。3.3 啟動(dòng)訓(xùn)練命令行參數(shù)與日志觀察典型訓(xùn)練命令python train.py \ --config conf/train.yaml \ --data_root data/ \ --batch_size 16 \ --epochs 50 \ --lr 0.001 \ --gpu 0啟動(dòng)后重點(diǎn)看三處日志loss 是否穩(wěn)定下降、CTC loss 有沒(méi)有出現(xiàn)inf、以及每個(gè) epoch 的驗(yàn)證集 CER字錯(cuò)誤率。CTC loss 變inf通常是標(biāo)簽里有超出詞表索引的字符或者音頻長(zhǎng)度短于下采樣后的幀數(shù)。驗(yàn)證 CER 長(zhǎng)期不降先檢查特征參數(shù)是否和訓(xùn)練配置一致再考慮調(diào)學(xué)習(xí)率。提示第一次訓(xùn)練建議先用 100200 條數(shù)據(jù)跑 2 個(gè) epoch確認(rèn)整條鏈路能通、能存 checkpoint、能推理再上全量數(shù)據(jù)。全量跑一半發(fā)現(xiàn)數(shù)據(jù)格式錯(cuò)那種后悔藥沒(méi)地方買(mǎi)。3.4 checkpoint 管理與斷點(diǎn)續(xù)訓(xùn)訓(xùn)練腳本一般會(huì)保存best.pt和last.pt。斷點(diǎn)續(xù)訓(xùn)靠--resume參數(shù)python train.py --config conf/train.yaml --resume checkpoints/last.pt注意last.pt里除了模型權(quán)重還應(yīng)該存 optimizer 狀態(tài)和當(dāng)前 epoch否則續(xù)訓(xùn)后學(xué)習(xí)率調(diào)度會(huì)錯(cuò)亂。如果源碼只存了模型權(quán)重續(xù)訓(xùn)時(shí)學(xué)習(xí)率會(huì)從頭開(kāi)始效果可能倒退這點(diǎn)要提前確認(rèn)。4. 解碼與語(yǔ)言模型融合讓識(shí)別結(jié)果像人話4.1 CTC 解碼貪心 vs 前綴束搜索訓(xùn)練完只是有了聲學(xué)模型真正出文本靠解碼。CTC 最基礎(chǔ)的是貪心解碼每幀取概率最大的標(biāo)簽合并重復(fù)、去掉 blank。實(shí)現(xiàn)簡(jiǎn)單但效果一般。前綴束搜索prefix beam search保留多條候選路徑效果明顯更好def ctc_greedy_decode(log_probs, vocab, blank_id0): # log_probs: (T, V) ids log_probs.argmax(dim-1).tolist() result, prev [], None for i in ids: if i ! prev and i ! blank_id: result.append(i) prev i idx2char {v: k for k, v in vocab.items()} return .join(idx2char.get(i, ) for i in result)blank_id必須和訓(xùn)練時(shí)一致通常是 0。束寬beam size一般取 1050越大越準(zhǔn)但越慢實(shí)時(shí)場(chǎng)景取 10 左右。4.2 語(yǔ)言模型融合淺融合與熱詞增強(qiáng)純聲學(xué)模型容易把同音字搞混比如「識(shí)別」和「試別」。加一個(gè)中文語(yǔ)言模型n-gram 或神經(jīng)網(wǎng)絡(luò) LM做淺融合在解碼時(shí)把聲學(xué)分?jǐn)?shù)和語(yǔ)言分?jǐn)?shù)加權(quán)相加score alpha * log_p_acoustic beta * log_p_lmalpha和beta是融合權(quán)重常見(jiàn)alpha0.7、beta0.3起步再在驗(yàn)證集上網(wǎng)格搜索。如果源碼沒(méi)帶 LM可以用 KenLM 訓(xùn)練一個(gè)字符級(jí) n-gram或者直接接 HuggingFace 的中文 GPT 做重打分。熱詞增強(qiáng)則是把領(lǐng)域詞人名、產(chǎn)品名單獨(dú)加權(quán)適合客服、醫(yī)療等垂直場(chǎng)景。4.3 推理腳本單文件與批量識(shí)別推理入口一般長(zhǎng)這樣# 單文件 python infer.py --checkpoint checkpoints/best.pt --wav test.wav --config conf/decode.yaml # 批量 python infer.py --checkpoint checkpoints/best.pt --wav_dir test_wavs/ --output result.txt推理時(shí)記得把模型切到eval()并torch.no_grad()否則 dropout 和 BN 會(huì)讓結(jié)果每次都不一樣。批量推理注意 padding 后的 mask別讓 padding 幀參與解碼。5. 避坑與排查那些讓 CER 悄悄變高的細(xì)節(jié)5.1 采樣率不匹配模型「聽(tīng)不清」現(xiàn)象訓(xùn)練 loss 正常下降但推理結(jié)果全是亂碼或空。原因推理音頻采樣率不是 16k特征提取時(shí)沒(méi)重采樣fbank 分布和訓(xùn)練完全錯(cuò)位。解決在extract_fbank里強(qiáng)制重采樣并在推理前用ffprobe確認(rèn)音頻采樣率。5.2 詞表越界導(dǎo)致 CTC loss 為 inf現(xiàn)象訓(xùn)練幾個(gè) step 后 loss 變nan或inf。原因標(biāo)注文本里有字符不在vocab.txt里標(biāo)簽索引超出輸出維度。解決訓(xùn)練前用腳本掃描所有標(biāo)注把未登錄字替換成unk或直接過(guò)濾該條樣本。5.3 顯存爆炸batch_size 與序列長(zhǎng)度的權(quán)衡現(xiàn)象CUDA out of memory調(diào)小 batch 后仍偶發(fā)。原因同一 batch 內(nèi)音頻長(zhǎng)度差異大padding 到最長(zhǎng)后顯存被撐爆。解決用長(zhǎng)度分桶bucket采樣把相近長(zhǎng)度的樣本放一個(gè) batch或開(kāi)梯度累積用小 batch 模擬大 batch。5.4 過(guò)擬合訓(xùn)練 CER 很低驗(yàn)證 CER 很高現(xiàn)象訓(xùn)練集字錯(cuò)誤率降到 5% 以下驗(yàn)證集還在 30%。原因數(shù)據(jù)量太小、模型太大、沒(méi)有正則。解決加 SpecAugment時(shí)間掩蔽 頻率掩蔽、調(diào)大 dropout、早停。數(shù)據(jù)少于 50 小時(shí)時(shí)別上太大的 Conformer。5.5 解碼結(jié)果重復(fù)吐字現(xiàn)象識(shí)別結(jié)果出現(xiàn)「我我我我要要要」這類(lèi)重復(fù)。原因CTC 貪心解碼對(duì) blank 處理不當(dāng)或模型沒(méi)訓(xùn)充分。解決換前綴束搜索檢查 blank_id 設(shè)置確認(rèn)訓(xùn)練 epoch 足夠。6. 進(jìn)階技巧用 CER 熱力圖定位模型弱點(diǎn)并做定向優(yōu)化跑通之后真正拉開(kāi)差距的是「知道模型錯(cuò)在哪」。我習(xí)慣做一個(gè)字符級(jí)混淆分析把驗(yàn)證集的預(yù)測(cè)和標(biāo)注按字對(duì)齊統(tǒng)計(jì)每個(gè)字的錯(cuò)誤率畫(huà)成熱力圖。這樣能一眼看出模型是分不清前后鼻音in/ing、an/ang還是對(duì)某些聲母zh/z、ch/c、sh/s系統(tǒng)性犯錯(cuò)。具體做法是先用編輯距離對(duì)齊預(yù)測(cè)與標(biāo)注再累計(jì)每個(gè)目標(biāo)字的替換、插入、刪除次數(shù)import numpy as np from collections import defaultdict def char_error_stats(preds, refs): stats defaultdict(lambda: {total: 0, error: 0}) for p, r in zip(preds, refs): # 簡(jiǎn)化版按位置對(duì)齊實(shí)際應(yīng)用編輯距離對(duì)齊 for i, ch in enumerate(r): stats[ch][total] 1 if i len(p) or p[i] ! ch: stats[ch][error] 1 # 輸出錯(cuò)誤率最高的 20 個(gè)字 ranked sorted(stats.items(), keylambda x: x[1][error] / max(x[1][total], 1), reverseTrue) return ranked[:20]拿到高頻錯(cuò)字后定向優(yōu)化有三條路一是針對(duì)這些字補(bǔ)充訓(xùn)練數(shù)據(jù)比如專(zhuān)門(mén)錄前后鼻音對(duì)比的語(yǔ)料二是在語(yǔ)言模型里給這些字的正確組合加權(quán)三是如果錯(cuò)字集中在特定領(lǐng)域詞直接上熱詞表。我一般先看數(shù)據(jù)夠不夠數(shù)據(jù)問(wèn)題永遠(yuǎn)優(yōu)先于模型問(wèn)題。另一個(gè)實(shí)用技巧是分段評(píng)估把驗(yàn)證集按音頻時(shí)長(zhǎng)分成短3s、中310s、長(zhǎng)10s三檔分別算 CER。很多時(shí)候短句 CER 很低長(zhǎng)句 CER 飆升說(shuō)明模型在長(zhǎng)序列上的注意力或記憶能力不足這時(shí)候考慮加位置編碼改進(jìn)或換 Conformer 結(jié)構(gòu)比盲目加數(shù)據(jù)更有效。最后說(shuō)個(gè)習(xí)慣每次改完參數(shù)我都會(huì)固定用同一批 200 條驗(yàn)證集跑一遍記錄 CER 和 RTF實(shí)時(shí)率存成表格。沒(méi)有這個(gè)基線你根本分不清某次改動(dòng)是真提升還是隨機(jī)波動(dòng)。語(yǔ)音識(shí)別這行玄學(xué)不少但可復(fù)現(xiàn)的評(píng)估流程是唯一的后悔藥。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取