AuK 一鍵去噪、分人聲、拆伴奏語音增強與分離的后期工作流實測【免費下載鏈接】AuK項目地址: https://ai.gitcode.com/tencent_hunyuan/AuK語音后期處理長期是一門工具拼裝學去噪要開 iZotope RX去混響要掛插件拆伴奏要單獨跑 UVR 或 Demucs修電話音質、去口水音又得換一套專用模型——每換一個處理環(huán)節(jié)就換一次工具、對一次參數(shù)、導一次軌。騰訊混元開源的 AuK1.5B 參數(shù)、MIT 協(xié)議把這一切壓縮成一句自然語言指令同一套接口既能只保留歌聲、其余聲音都去掉也能保留所有說話人、去除噪聲和混響還能在拆出的干聲上繼續(xù)改歌詞、調音高。本文以增強與分離為主線拆解官方 Cookbook 中的指令模板與真實工程參數(shù)梳理一條從去噪 → 拆伴奏 → 改歌詞的可落地后期鏈路。從插件矩陣到一句話指令AuK 想統(tǒng)一的事AuK 是騰訊混元與上海交大聯(lián)合開源的基礎模型1.5B 參數(shù)、訓練于數(shù)百萬小時音頻數(shù)據(jù)把零樣本 TTS、內容/聲學/副語言編輯、語音增強與音源分離等 16 類任務統(tǒng)一到一個自然語言指令 音頻上下文的接口之下見 README.md 的任務總表。增強與分離是其中獨立的一大類含四項語音增強Speech Enhancement、說話人分離Speech Separation、音樂分離Music Separation、目標說話人提取Target Speaker Extraction。支撐這套統(tǒng)一能力的架構在倉庫 config.yaml 里有直接的工程證據(jù)語義編碼Qwen2.5-Omni-3B 多模態(tài)語言模型負責把指令翻譯成生成條件對應配置text_encoder.text_encoder_path: ckpts/Qwen2.5-Omni-3B生成主干混合整流流 Transformer雙流 MMDiT 塊 單流 DiT 塊backbone: Flux2Edit配置arch.dim: 1536、heads: 24、num_layers: 10、num_single_layers: 20聲學編解碼BigVGANFlow VAEtarget_sample_rate: 24000輸出 24kHz 音頻、downsample_rate: 480、latent_dim: 64。按 arXiv 技術報告的數(shù)據(jù)訓練階段構建了約30.3 億條指令-音頻實例、195 萬小時有效監(jiān)督橫跨語音生成、內容編輯、增強與分離、副語言編輯、聲學編輯五大任務族。后訓練還疊加了人評偏好優(yōu)化編輯類與基于獎勵的強化學習生成類并以一致性初始化 任務路由的 Decoupled DMD 蒸餾出 4 步無 CFG 推理的 AuK-Flash。這條統(tǒng)一指令 統(tǒng)一主干的路線正是它能把增強、分離與編輯放進同一條流水線的原因——它們共享同一套輸入輸出協(xié)議。增強與分離的指令寫法Cookbook 第 5 節(jié)拆解官方 Cookbookdocs/COOKBOOK.md把增強與分離歸為第 5 節(jié)所有任務都是等長輸出——保留源音頻時長因此調用時不需要顯式指定gen_seconds這是它和 TTS、內容編輯最顯著的使用差異。四類任務的中文指令模板如下任務指令寫法中文作用去噪請只去除背景噪聲保留其他內容輸出等長結果。僅清理底噪不動人聲細節(jié)去混響請只去除房間混響保留其他內容輸出等長結果。針對環(huán)境反射聲語音增強請保留所有說話人去除噪聲和混響輸出等長的純凈語音。綜合降噪 去混響質量修復請修復這段音頻的{電話感/悶聲/削波/丟包}恢復自然清晰的人聲。面向老錄音、電話音質素材說話人分離只保留第{序號}個開始說話的人去掉其余說話人。按發(fā)言順序保留單聲道音樂分離請只保留歌聲其余聲音都去掉。拆出人聲干聲伴奏靜音音樂分離請保留所有人聲包括說話和歌唱其余聲音都去掉。保留全部人聲去掉器樂目標說話人提取請只保留說{內容}的人去掉其他說話人。按說了什么定位聲紋關鍵在指令粒度去噪與去混響是分離的兩個旋鈕可以單獨擰也可以合并成增強一步到位質量修復甚至能針對電話感、悶聲、削波、丟包這類具體損傷分別下指令。CLI 與 Python 用法完全同構例如拆伴奏auk-infer \ --audio assets/demo-input-audio/vocal-extraction/vocal-1-input.wav \ --instruction 請只保留歌聲其余聲音都去掉。 \ --output out_vocal.wavPython 側只是換一層封裝run_auk(instruction, output_path, audio_path...)核心是把指令與音頻組裝成 ChatML 風格消息交給AukInfer.generate()。這種消息即任務的設計意味著在代碼層面去噪、分離、編輯沒有任何接口差異差異只在指令文本里。歌曲場景實測從拆伴奏到改歌詞的完整鏈路人聲/伴奏分離在歌曲場景的價值不止于得到一條干聲而是它解鎖了后續(xù)編輯。這一點官方文檔是明確閉環(huán)的Cookbook 的歌詞編輯Lyric Editing一節(jié)直接聲明輸入必須是純人聲a cappella錄音如果原曲帶伴奏請先用音樂分離提取人聲。也就是說官方推薦的標準歌曲后期鏈路是請只保留歌聲其余聲音都去掉?！?得到無伴奏干聲對干聲做增強或修復如有底噪/混響殘留請保留所有說話人去除噪聲和混響輸出等長的純凈語音。進入編輯階段把這段歌詞中的{原歌詞}改成{新歌詞}。改詞、將音調升高{1/2/3}個半音。調性、將語速調整為{1.25}倍。時長干聲處理完再與伴奏在 DAW 里重新合軌。這條鏈路的工程價值在于全程不換工具、不重新對齊時間軸——分離和編輯都是同一模型對同一段音頻的等長或可控時長重渲染杜絕了傳統(tǒng)方案中UVR 拆出來 → 拖進編輯器 → 音高修正器再處理的多次編解碼損耗。技術上分離任務依賴模型對歌聲 vs 伴奏的聲學分布建模而等長輸出保證了 24kHz 干聲與伴奏的逐幀對齊為后續(xù)合軌省去對齊步驟。需要客觀標注的邊界是社區(qū)實測普遍反映模型存在約 30 秒的源/參考加目標時長預算ComfyUI 集成會顯式校驗這一約束長素材需要切片處理同時后訓練基準中情緒編輯成功率僅約 9.94%說明 AuK 的強項在信號級任務增強、分離、修復語義級生成情緒遷移、復雜改寫仍在爬坡。就增強與分離這一主題而言它處于技術報告的競爭力最強區(qū)間——官方表述是在信號級恢復任務上保持競爭力。與現(xiàn)有后期工具的協(xié)同三種部署形態(tài)與工程參數(shù)AuK 提供了 CLIauk-infer、Web UIauk-gradio、ComfyUI 節(jié)點AuK Model Loader AuK Generate/Edit內置可復用工作流三種形態(tài)可以直接嵌進現(xiàn)有后期管線批處理/腳本化CLI 適合對一批素材跑統(tǒng)一的去噪、拆伴奏任務輸出等長 wav 直接進工程目錄可視化流水線ComfyUI 把分離 → 編輯 → 重合成串成節(jié)點圖適合邊看波形邊調整服務化SGLang-Omni、vLLM-Omni 已提供 AuK/AuK-Flash 的 Day-0 支持可把增強與分離作為 API 嵌入自動化的播客、直播后處理系統(tǒng)。工程資源占用是實際落地最關心的數(shù)字。官方 README 在 A800-SXM4-80GB、bf16 下實測AuK 處理 1.5 秒文本指令輸出峰值顯存 24.78 GiB開啟--cpu_offload后降到 16.75 GiB節(jié)省約 32%帶 5 秒?yún)⒖家纛l時為 25.00 → 16.98 GiB社區(qū) PR 還通過降低編碼器占用進一步省下約 7.5 GiB消費級 GPU 本地推理的門檻正在被持續(xù)壓低。追求速度則換 AuK-Flash固定 NFE4、CFG0官方口徑是同條件下比完整模型提速 4.5 倍。多平臺適配Apple Silicon MLX、audio.cpp GGUF 離線推理讓后期人員可以在自己手頭最順手的設備上跑。與現(xiàn)有工具協(xié)同的最后一環(huán)是定制AuK 微調采用統(tǒng)一的 JSONL 格式每行一條指令 源音頻 → 目標音頻全部 16 類任務共用同一格式只是指令和音頻對不同。這意味著可以用一批帶底噪的播客錄音 → 干凈干聲數(shù)據(jù)微調出專門面向直播/播客/ASMR 場景的去噪模型也可以積累中文流行歌 → 干聲數(shù)據(jù)強化中文拆伴奏效果——這也是它作為 ICASSP 2027 Audio Editing Challenge 單模型賽道官方基線的底氣所在。模型與權重均以 MIT 協(xié)議開放見 LICENSE商用無授權障礙。后期工作流的對話化拐點把傳統(tǒng)鏈路和 AuK 鏈路并排看變化是結構性的過去每個處理環(huán)節(jié)對應一個專用模型、一套參數(shù)、一次導出流程越長工具鏈的摩擦越大現(xiàn)在增強、分離、修復、編輯共享一個 1.5B 模型和同一套消息接口后期人員的工作從調工具變成寫指令。這不是把幾個開源模型拼在一起而是讓我要什么結果直接成為模型輸入——拆伴奏、留人聲、修電話音質本質都是同一句請保留……去掉……的自然語言。對創(chuàng)作者和后期人員而言這意味著從素材到成品的最短路徑正在被壓縮成一條可復現(xiàn)、可批處理、可微調的指令流水線。當然落地前值得把三個數(shù)字記在心頭24kHz 的輸出采樣率決定了它適合作為后期中間件而非最終母帶工具約 30 秒的時長預算要求長素材先切片情緒等語義級任務的成功率仍有限信號級任務才是它當前最鋒利的刀。把這三點納入流程設計AuK 在語音后期工作流里的位置就會非常清晰所有清理與拆分的臟活交給它人類只負責寫指令、做審美判斷。【免費下載鏈接】AuK項目地址: https://ai.gitcode.com/tencent_hunyuan/AuK創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 AuK 一鍵去噪、分人聲、拆伴奏：語音增強與分離的后期工作流實測
AuK 一鍵去噪、分人聲、拆伴奏語音增強與分離的后期工作流實測【免費下載鏈接】AuK項目地址: https://ai.gitcode.com/tencent_hunyuan/AuK語音后期處理長期是一門工具拼裝學去噪要開 iZotope RX去混響要掛插件拆伴奏要單獨跑 UVR 或 Demucs修電話音質、去口水音又得換一套專用模型——每換一個處理環(huán)節(jié)就換一次工具、對一次參數(shù)、導一次軌。騰訊混元開源的 AuK1.5B 參數(shù)、MIT 協(xié)議把這一切壓縮成一句自然語言指令同一套接口既能只保留歌聲、其余聲音都去掉也能保留所有說話人、去除噪聲和混響還能在拆出的干聲上繼續(xù)改歌詞、調音高。本文以增強與分離為主線拆解官方 Cookbook 中的指令模板與真實工程參數(shù)梳理一條從去噪 → 拆伴奏 → 改歌詞的可落地后期鏈路。從插件矩陣到一句話指令AuK 想統(tǒng)一的事AuK 是騰訊混元與上海交大聯(lián)合開源的基礎模型1.5B 參數(shù)、訓練于數(shù)百萬小時音頻數(shù)據(jù)把零樣本 TTS、內容/聲學/副語言編輯、語音增強與音源分離等 16 類任務統(tǒng)一到一個自然語言指令 音頻上下文的接口之下見 README.md 的任務總表。增強與分離是其中獨立的一大類含四項語音增強Speech Enhancement、說話人分離Speech Separation、音樂分離Music Separation、目標說話人提取Target Speaker Extraction。支撐這套統(tǒng)一能力的架構在倉庫 config.yaml 里有直接的工程證據(jù)語義編碼Qwen2.5-Omni-3B 多模態(tài)語言模型負責把指令翻譯成生成條件對應配置text_encoder.text_encoder_path: ckpts/Qwen2.5-Omni-3B生成主干混合整流流 Transformer雙流 MMDiT 塊 單流 DiT 塊backbone: Flux2Edit配置arch.dim: 1536、heads: 24、num_layers: 10、num_single_layers: 20聲學編解碼BigVGANFlow VAEtarget_sample_rate: 24000輸出 24kHz 音頻、downsample_rate: 480、latent_dim: 64。按 arXiv 技術報告的數(shù)據(jù)訓練階段構建了約30.3 億條指令-音頻實例、195 萬小時有效監(jiān)督橫跨語音生成、內容編輯、增強與分離、副語言編輯、聲學編輯五大任務族。后訓練還疊加了人評偏好優(yōu)化編輯類與基于獎勵的強化學習生成類并以一致性初始化 任務路由的 Decoupled DMD 蒸餾出 4 步無 CFG 推理的 AuK-Flash。這條統(tǒng)一指令 統(tǒng)一主干的路線正是它能把增強、分離與編輯放進同一條流水線的原因——它們共享同一套輸入輸出協(xié)議。增強與分離的指令寫法Cookbook 第 5 節(jié)拆解官方 Cookbookdocs/COOKBOOK.md把增強與分離歸為第 5 節(jié)所有任務都是等長輸出——保留源音頻時長因此調用時不需要顯式指定gen_seconds這是它和 TTS、內容編輯最顯著的使用差異。四類任務的中文指令模板如下任務指令寫法中文作用去噪請只去除背景噪聲保留其他內容輸出等長結果。僅清理底噪不動人聲細節(jié)去混響請只去除房間混響保留其他內容輸出等長結果。針對環(huán)境反射聲語音增強請保留所有說話人去除噪聲和混響輸出等長的純凈語音。綜合降噪 去混響質量修復請修復這段音頻的{電話感/悶聲/削波/丟包}恢復自然清晰的人聲。面向老錄音、電話音質素材說話人分離只保留第{序號}個開始說話的人去掉其余說話人。按發(fā)言順序保留單聲道音樂分離請只保留歌聲其余聲音都去掉。拆出人聲干聲伴奏靜音音樂分離請保留所有人聲包括說話和歌唱其余聲音都去掉。保留全部人聲去掉器樂目標說話人提取請只保留說{內容}的人去掉其他說話人。按說了什么定位聲紋關鍵在指令粒度去噪與去混響是分離的兩個旋鈕可以單獨擰也可以合并成增強一步到位質量修復甚至能針對電話感、悶聲、削波、丟包這類具體損傷分別下指令。CLI 與 Python 用法完全同構例如拆伴奏auk-infer \ --audio assets/demo-input-audio/vocal-extraction/vocal-1-input.wav \ --instruction 請只保留歌聲其余聲音都去掉。 \ --output out_vocal.wavPython 側只是換一層封裝run_auk(instruction, output_path, audio_path...)核心是把指令與音頻組裝成 ChatML 風格消息交給AukInfer.generate()。這種消息即任務的設計意味著在代碼層面去噪、分離、編輯沒有任何接口差異差異只在指令文本里。歌曲場景實測從拆伴奏到改歌詞的完整鏈路人聲/伴奏分離在歌曲場景的價值不止于得到一條干聲而是它解鎖了后續(xù)編輯。這一點官方文檔是明確閉環(huán)的Cookbook 的歌詞編輯Lyric Editing一節(jié)直接聲明輸入必須是純人聲a cappella錄音如果原曲帶伴奏請先用音樂分離提取人聲。也就是說官方推薦的標準歌曲后期鏈路是請只保留歌聲其余聲音都去掉?！?得到無伴奏干聲對干聲做增強或修復如有底噪/混響殘留請保留所有說話人去除噪聲和混響輸出等長的純凈語音。進入編輯階段把這段歌詞中的{原歌詞}改成{新歌詞}。改詞、將音調升高{1/2/3}個半音。調性、將語速調整為{1.25}倍。時長干聲處理完再與伴奏在 DAW 里重新合軌。這條鏈路的工程價值在于全程不換工具、不重新對齊時間軸——分離和編輯都是同一模型對同一段音頻的等長或可控時長重渲染杜絕了傳統(tǒng)方案中UVR 拆出來 → 拖進編輯器 → 音高修正器再處理的多次編解碼損耗。技術上分離任務依賴模型對歌聲 vs 伴奏的聲學分布建模而等長輸出保證了 24kHz 干聲與伴奏的逐幀對齊為后續(xù)合軌省去對齊步驟。需要客觀標注的邊界是社區(qū)實測普遍反映模型存在約 30 秒的源/參考加目標時長預算ComfyUI 集成會顯式校驗這一約束長素材需要切片處理同時后訓練基準中情緒編輯成功率僅約 9.94%說明 AuK 的強項在信號級任務增強、分離、修復語義級生成情緒遷移、復雜改寫仍在爬坡。就增強與分離這一主題而言它處于技術報告的競爭力最強區(qū)間——官方表述是在信號級恢復任務上保持競爭力。與現(xiàn)有后期工具的協(xié)同三種部署形態(tài)與工程參數(shù)AuK 提供了 CLIauk-infer、Web UIauk-gradio、ComfyUI 節(jié)點AuK Model Loader AuK Generate/Edit內置可復用工作流三種形態(tài)可以直接嵌進現(xiàn)有后期管線批處理/腳本化CLI 適合對一批素材跑統(tǒng)一的去噪、拆伴奏任務輸出等長 wav 直接進工程目錄可視化流水線ComfyUI 把分離 → 編輯 → 重合成串成節(jié)點圖適合邊看波形邊調整服務化SGLang-Omni、vLLM-Omni 已提供 AuK/AuK-Flash 的 Day-0 支持可把增強與分離作為 API 嵌入自動化的播客、直播后處理系統(tǒng)。工程資源占用是實際落地最關心的數(shù)字。官方 README 在 A800-SXM4-80GB、bf16 下實測AuK 處理 1.5 秒文本指令輸出峰值顯存 24.78 GiB開啟--cpu_offload后降到 16.75 GiB節(jié)省約 32%帶 5 秒?yún)⒖家纛l時為 25.00 → 16.98 GiB社區(qū) PR 還通過降低編碼器占用進一步省下約 7.5 GiB消費級 GPU 本地推理的門檻正在被持續(xù)壓低。追求速度則換 AuK-Flash固定 NFE4、CFG0官方口徑是同條件下比完整模型提速 4.5 倍。多平臺適配Apple Silicon MLX、audio.cpp GGUF 離線推理讓后期人員可以在自己手頭最順手的設備上跑。與現(xiàn)有工具協(xié)同的最后一環(huán)是定制AuK 微調采用統(tǒng)一的 JSONL 格式每行一條指令 源音頻 → 目標音頻全部 16 類任務共用同一格式只是指令和音頻對不同。這意味著可以用一批帶底噪的播客錄音 → 干凈干聲數(shù)據(jù)微調出專門面向直播/播客/ASMR 場景的去噪模型也可以積累中文流行歌 → 干聲數(shù)據(jù)強化中文拆伴奏效果——這也是它作為 ICASSP 2027 Audio Editing Challenge 單模型賽道官方基線的底氣所在。模型與權重均以 MIT 協(xié)議開放見 LICENSE商用無授權障礙。后期工作流的對話化拐點把傳統(tǒng)鏈路和 AuK 鏈路并排看變化是結構性的過去每個處理環(huán)節(jié)對應一個專用模型、一套參數(shù)、一次導出流程越長工具鏈的摩擦越大現(xiàn)在增強、分離、修復、編輯共享一個 1.5B 模型和同一套消息接口后期人員的工作從調工具變成寫指令。這不是把幾個開源模型拼在一起而是讓我要什么結果直接成為模型輸入——拆伴奏、留人聲、修電話音質本質都是同一句請保留……去掉……的自然語言。對創(chuàng)作者和后期人員而言這意味著從素材到成品的最短路徑正在被壓縮成一條可復現(xiàn)、可批處理、可微調的指令流水線。當然落地前值得把三個數(shù)字記在心頭24kHz 的輸出采樣率決定了它適合作為后期中間件而非最終母帶工具約 30 秒的時長預算要求長素材先切片情緒等語義級任務的成功率仍有限信號級任務才是它當前最鋒利的刀。把這三點納入流程設計AuK 在語音后期工作流里的位置就會非常清晰所有清理與拆分的臟活交給它人類只負責寫指令、做審美判斷。【免費下載鏈接】AuK項目地址: https://ai.gitcode.com/tencent_hunyuan/AuK創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考