源全雙工語(yǔ)音決策模型)
人工智能語(yǔ)音音頻基礎(chǔ)模型本地部署【免費(fèi)下載鏈接】tyger項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點(diǎn)擊查看免費(fèi)下載TYGER是 NineNineSix 開(kāi)源的全雙工語(yǔ)音決策模型open-weight專為實(shí)時(shí)語(yǔ)音對(duì)話設(shè)計(jì)它一邊通過(guò)內(nèi)置的 NVIDIA Nemotron 流式語(yǔ)音識(shí)別聽(tīng)你說(shuō)什么一邊實(shí)時(shí)判斷何時(shí)該回復(fù)、何時(shí)繼續(xù)聽(tīng)、何時(shí)被打斷、何時(shí)該嗯嗯附和。對(duì)于想構(gòu)建自然語(yǔ)音助手的開(kāi)發(fā)者這是一個(gè)開(kāi)箱即用的耳朵 對(duì)話節(jié)奏控制器。為什么語(yǔ)音助手需要全雙工大多數(shù)語(yǔ)音助手還是對(duì)講機(jī)模式半雙工你說(shuō)完 → 等它想 → 它說(shuō)完 → 你再開(kāi)口。對(duì)話雙方輪流占線體驗(yàn)生硬。而真正自然的對(duì)話像打電話一樣——全雙工雙方可以幾乎同時(shí)說(shuō)話。這要求系統(tǒng)實(shí)時(shí)回答三個(gè)難題話輪結(jié)束檢測(cè)Endpoint用戶真的說(shuō)完了嗎該我接話了。?打斷識(shí)別Barge-in用戶在助手說(shuō)話時(shí)插話要立刻停下讓位。附和Backchannel用戶還在長(zhǎng)句中間助手適時(shí)mm-hm一下表示在聽(tīng)。TYGER 就是為這三個(gè)決策而生的模型。它同時(shí)接收兩路對(duì)齊的 16 kHz 單聲道音頻用戶麥克風(fēng) 助手的播放聲逐幀輸出四種話輪狀態(tài)LISTEN / HOLD / SPEAK / BACKCHANNEL和 endpoint、barge-in、backchannel 分?jǐn)?shù)。 倉(cāng)庫(kù)本身只包含權(quán)重與配置不含推理代碼配套的開(kāi)源語(yǔ)音助手項(xiàng)目 tyger-s2s 用它作為耳朵瀏覽器里即可對(duì)話詳見(jiàn)下文上手路徑。架構(gòu)拆解Nemotron ASR 一個(gè) 14M 參數(shù)的小 GRUTYGER 的巧妙之處在于大模型聽(tīng)聲小模型做決策組件說(shuō)明語(yǔ)音識(shí)別NVIDIA Nemotron 3.5 ASR Streaming 0.6B約 638M 參數(shù)原封不動(dòng)復(fù)用話輪決策因果 GRU3 層、寬度 768約 14M 參數(shù)從零訓(xùn)練總參數(shù)量652MFP32 權(quán)重約 2.61 GB輸入兩路對(duì)齊的 16 kHz 單聲道流用戶麥克風(fēng) 助手播放幀粒度80 ms 一幀無(wú)前瞻l(fā)ookahead流式策略320 ms 一跳Nemotron 每次對(duì) 8 秒窗口重編碼會(huì)話狀態(tài)每路對(duì)話僅需 9 KiB 的 GRU 狀態(tài)語(yǔ)言英文Nemotron 側(cè)輸出第 15 層的 1,024 維聲學(xué)特征加上能量歸一化信號(hào)后喂給 GRUGRU 的每個(gè)時(shí)間步同時(shí)產(chǎn)出 5 個(gè)頭話輪狀態(tài)、即將開(kāi)口的 hazard、讓話 yield、附和 backchannel、endpoint。架構(gòu)配置都記錄在 config.json 里Nemotron 的前端配置和分詞器完整保留在 nemotron/ 目錄。Nemotron ASR 部分的編碼器結(jié)構(gòu)如下圖所示FastConformer 編碼器 語(yǔ)言編碼融合 RNN-T 解碼器值得注意的細(xì)節(jié)狀態(tài)輸入只使用真實(shí)值助手在聽(tīng)就標(biāo) LISTEN助手在說(shuō)就標(biāo) SPEAK不讓模型用自己的猜測(cè)做狀態(tài)避免自我強(qiáng)化偏差內(nèi)置防誤觸發(fā)護(hù)欄6 幀熱身、至少 350 ms 高于 -50 dB 的語(yǔ)音、附和間隔不少于 1.2 s、靜默 1.2 s 強(qiáng)制兜底 endpoint。三大核心事件與默認(rèn)閾值TYGER 對(duì)外表現(xiàn)為三類(lèi)事件應(yīng)用側(cè)直接消費(fèi)即可事件觸發(fā)時(shí)機(jī)應(yīng)用動(dòng)作默認(rèn)閾值Endpoint話尾用戶說(shuō)完了開(kāi)始回答0.91Barge-in打斷助手說(shuō)話時(shí)用戶插話立刻停止回答0.50Backchannel附和用戶說(shuō)話間隙適合嗯嗯播放附和話輪仍歸用戶0.40其中 barge-in 和 backchannel 的默認(rèn)值比離線評(píng)測(cè)用的更寬松0.93 / 0.80官方建議在你的應(yīng)用里自行調(diào)節(jié)——tyger-s2s 的網(wǎng)頁(yè)上就提供了對(duì)應(yīng)的滑桿。實(shí)測(cè)表現(xiàn)決策有多快、多準(zhǔn)離線評(píng)測(cè)在 Open Yap 1K 測(cè)試集、Full-Duplex-Bench v1.0CANDOR 子集及內(nèi)部集上進(jìn)行閾值在開(kāi)發(fā)集上選定并凍結(jié)。endpoint 延遲從用戶說(shuō)完全計(jì)時(shí)如下評(píng)測(cè)集話輪數(shù)延遲中位 / 均值過(guò)早打斷1.2 s 內(nèi)無(wú) endpointOpen Yap 1K 測(cè)試1,000252.5 / 465.0 ms29.90%7.40%FDB v1.0 CANDOR119307.5 / 383.0 ms25.21%5.04%內(nèi)部集未公開(kāi)242252.5 / 286.5 ms12.40%0.00%其他關(guān)鍵指標(biāo)Open Yap 1K 測(cè)試集 話輪狀態(tài) macro-F10.9436 Endpoint ROC-AUC / AP0.9839 / 0.8149 Barge-in ROC-AUC / AP0.9797 / 0.6657? 速度GRU 決策部分在 RTX 4090 上中位僅0.805 ms/幀峰值顯存 108.76 MiB全部數(shù)字與口徑定義見(jiàn) evaluation/metrics.json 和 evaluation/README.md。?? 注意官方對(duì)局限性的坦誠(chéng)聲明這些只是離線診斷不是實(shí)時(shí)語(yǔ)音助手基準(zhǔn)僅一個(gè)訓(xùn)練種子內(nèi)部集不可復(fù)現(xiàn)。ASR 前端識(shí)別準(zhǔn)確率與多語(yǔ)言能力TYGER 的耳朵——Nemotron 3.5 ASR 0.6B——本身就是一款流式識(shí)別模型官方卡片中給出了多組參考數(shù)據(jù)。流式分塊越大識(shí)別準(zhǔn)確率越高延遲相應(yīng)增加在 FLEURS 多語(yǔ)言基準(zhǔn)上按語(yǔ)言覆蓋分層的平均 WER 對(duì)比TYGER 本體面向英文NVIDIA 原始模型卡含更多圖表與許可說(shuō)明完整保留在 upstream/NVIDIA_MODEL_CARD.md。資源占用與部署一張消費(fèi)級(jí)顯卡夠不夠僅 GRU 決策頭0.8 ms/幀級(jí)開(kāi)銷(xiāo)可忽略整套模型含 Nemotron在 tyger-s2s 中4 路并發(fā)對(duì)話約占 4 GB 顯存部署方式官方建議直接使用 tyger-s2sApache-2.0提供的 Docker 鏡像或在瀏覽器/通話場(chǎng)景中作為語(yǔ)音后端 API。Nemotron 前端在單張 H100 上的并發(fā)能力參考分塊越大可支撐并行流越多 上手路徑git clone https://link.gitcode.com/i/4106b4461a67f023aa6042609bf6a7d3倉(cāng)庫(kù)內(nèi)容速覽文件作用model.safetensorsTYGER 全部權(quán)重Nemotron GRU約 2.6 GBconfig.json模型結(jié)構(gòu)、前端參數(shù)、默認(rèn)策略閾值、去抖、護(hù)欄manifest.json每個(gè)文件的字節(jié)數(shù)與 SHA-256 校驗(yàn)值nemotron/Nemotron 前端配置與分詞器evaluation/評(píng)測(cè)協(xié)議與全部指標(biāo)upstream/、licenses/NVIDIA 原始模型卡、圖表與 OpenMDW-1.1 許可證許可與致謝權(quán)重與文件采用OpenMDW-1.1許可見(jiàn) LICENSE.md 與 NOTICE.md、licenses/OpenMDW-1.1.txtNVIDIA Nemotron 的原始許可、模型卡原樣保留未做改動(dòng)訓(xùn)練數(shù)據(jù)來(lái)自 Open Yap 1K v1.01,395 訓(xùn)練 / 107 開(kāi)發(fā) / 100 測(cè)試對(duì)話標(biāo)簽由雙方發(fā)言時(shí)間自動(dòng)生成無(wú)需人工標(biāo)注。一句話總結(jié)TYGER 一個(gè)會(huì)聽(tīng)的 0.6B 流式 ASR 一個(gè) 14M 參數(shù)的 GRU 決策器以 252 ms 級(jí)中位延遲判斷話尾、以 0.98 ROC-AUC 區(qū)分打斷與附和是構(gòu)建全雙工語(yǔ)音 Agent 的一個(gè)輕量、可復(fù)現(xiàn)、許可清晰的開(kāi)源起點(diǎn) ?贊分享人工智能語(yǔ)音音頻基礎(chǔ)模型本地部署【免費(fèi)下載鏈接】tyger項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Intern-Decision-2B 是什么一文讀懂 InternLM 開(kāi)源多模態(tài)結(jié)構(gòu)化決策大模型Intern Decision 2B 是什么一文讀懂 InternLM 開(kāi)源多模態(tài)結(jié)構(gòu)化決策大模型 Intern Decision 2B 是 InternLM人工智能大模型多模態(tài)微調(diào)本地部署Macaron-V1-Tall 是什么一文讀懂 MindLab 開(kāi)源 Mixture of LoRA 個(gè)人智能模型Macaron V1 Tall 是什么一文讀懂 MindLab 開(kāi)源 Mixture of LoRA 個(gè)人智能模型 Macaron V1 Tall 是 Min端側(cè)大模型初體驗(yàn)一文讀懂 Qwen3-8B_rai_1.8.0_npu_4K 是什么端側(cè)大模型初體驗(yàn)一文讀懂 Qwen3 8B_rai_1.8.0_npu_4K 是什么 Qwen3 8B_rai_1.8.0_npu_4K 是 AMD 官方發(fā)布創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 TYGER 是什么？一文讀懂 NineNineSix 開(kāi)源全雙工語(yǔ)音決策模型
人工智能語(yǔ)音音頻基礎(chǔ)模型本地部署【免費(fèi)下載鏈接】tyger項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點(diǎn)擊查看免費(fèi)下載TYGER是 NineNineSix 開(kāi)源的全雙工語(yǔ)音決策模型open-weight專為實(shí)時(shí)語(yǔ)音對(duì)話設(shè)計(jì)它一邊通過(guò)內(nèi)置的 NVIDIA Nemotron 流式語(yǔ)音識(shí)別聽(tīng)你說(shuō)什么一邊實(shí)時(shí)判斷何時(shí)該回復(fù)、何時(shí)繼續(xù)聽(tīng)、何時(shí)被打斷、何時(shí)該嗯嗯附和。對(duì)于想構(gòu)建自然語(yǔ)音助手的開(kāi)發(fā)者這是一個(gè)開(kāi)箱即用的耳朵 對(duì)話節(jié)奏控制器。為什么語(yǔ)音助手需要全雙工大多數(shù)語(yǔ)音助手還是對(duì)講機(jī)模式半雙工你說(shuō)完 → 等它想 → 它說(shuō)完 → 你再開(kāi)口。對(duì)話雙方輪流占線體驗(yàn)生硬。而真正自然的對(duì)話像打電話一樣——全雙工雙方可以幾乎同時(shí)說(shuō)話。這要求系統(tǒng)實(shí)時(shí)回答三個(gè)難題話輪結(jié)束檢測(cè)Endpoint用戶真的說(shuō)完了嗎該我接話了。?打斷識(shí)別Barge-in用戶在助手說(shuō)話時(shí)插話要立刻停下讓位。附和Backchannel用戶還在長(zhǎng)句中間助手適時(shí)mm-hm一下表示在聽(tīng)。TYGER 就是為這三個(gè)決策而生的模型。它同時(shí)接收兩路對(duì)齊的 16 kHz 單聲道音頻用戶麥克風(fēng) 助手的播放聲逐幀輸出四種話輪狀態(tài)LISTEN / HOLD / SPEAK / BACKCHANNEL和 endpoint、barge-in、backchannel 分?jǐn)?shù)。 倉(cāng)庫(kù)本身只包含權(quán)重與配置不含推理代碼配套的開(kāi)源語(yǔ)音助手項(xiàng)目 tyger-s2s 用它作為耳朵瀏覽器里即可對(duì)話詳見(jiàn)下文上手路徑。架構(gòu)拆解Nemotron ASR 一個(gè) 14M 參數(shù)的小 GRUTYGER 的巧妙之處在于大模型聽(tīng)聲小模型做決策組件說(shuō)明語(yǔ)音識(shí)別NVIDIA Nemotron 3.5 ASR Streaming 0.6B約 638M 參數(shù)原封不動(dòng)復(fù)用話輪決策因果 GRU3 層、寬度 768約 14M 參數(shù)從零訓(xùn)練總參數(shù)量652MFP32 權(quán)重約 2.61 GB輸入兩路對(duì)齊的 16 kHz 單聲道流用戶麥克風(fēng) 助手播放幀粒度80 ms 一幀無(wú)前瞻l(fā)ookahead流式策略320 ms 一跳Nemotron 每次對(duì) 8 秒窗口重編碼會(huì)話狀態(tài)每路對(duì)話僅需 9 KiB 的 GRU 狀態(tài)語(yǔ)言英文Nemotron 側(cè)輸出第 15 層的 1,024 維聲學(xué)特征加上能量歸一化信號(hào)后喂給 GRUGRU 的每個(gè)時(shí)間步同時(shí)產(chǎn)出 5 個(gè)頭話輪狀態(tài)、即將開(kāi)口的 hazard、讓話 yield、附和 backchannel、endpoint。架構(gòu)配置都記錄在 config.json 里Nemotron 的前端配置和分詞器完整保留在 nemotron/ 目錄。Nemotron ASR 部分的編碼器結(jié)構(gòu)如下圖所示FastConformer 編碼器 語(yǔ)言編碼融合 RNN-T 解碼器值得注意的細(xì)節(jié)狀態(tài)輸入只使用真實(shí)值助手在聽(tīng)就標(biāo) LISTEN助手在說(shuō)就標(biāo) SPEAK不讓模型用自己的猜測(cè)做狀態(tài)避免自我強(qiáng)化偏差內(nèi)置防誤觸發(fā)護(hù)欄6 幀熱身、至少 350 ms 高于 -50 dB 的語(yǔ)音、附和間隔不少于 1.2 s、靜默 1.2 s 強(qiáng)制兜底 endpoint。三大核心事件與默認(rèn)閾值TYGER 對(duì)外表現(xiàn)為三類(lèi)事件應(yīng)用側(cè)直接消費(fèi)即可事件觸發(fā)時(shí)機(jī)應(yīng)用動(dòng)作默認(rèn)閾值Endpoint話尾用戶說(shuō)完了開(kāi)始回答0.91Barge-in打斷助手說(shuō)話時(shí)用戶插話立刻停止回答0.50Backchannel附和用戶說(shuō)話間隙適合嗯嗯播放附和話輪仍歸用戶0.40其中 barge-in 和 backchannel 的默認(rèn)值比離線評(píng)測(cè)用的更寬松0.93 / 0.80官方建議在你的應(yīng)用里自行調(diào)節(jié)——tyger-s2s 的網(wǎng)頁(yè)上就提供了對(duì)應(yīng)的滑桿。實(shí)測(cè)表現(xiàn)決策有多快、多準(zhǔn)離線評(píng)測(cè)在 Open Yap 1K 測(cè)試集、Full-Duplex-Bench v1.0CANDOR 子集及內(nèi)部集上進(jìn)行閾值在開(kāi)發(fā)集上選定并凍結(jié)。endpoint 延遲從用戶說(shuō)完全計(jì)時(shí)如下評(píng)測(cè)集話輪數(shù)延遲中位 / 均值過(guò)早打斷1.2 s 內(nèi)無(wú) endpointOpen Yap 1K 測(cè)試1,000252.5 / 465.0 ms29.90%7.40%FDB v1.0 CANDOR119307.5 / 383.0 ms25.21%5.04%內(nèi)部集未公開(kāi)242252.5 / 286.5 ms12.40%0.00%其他關(guān)鍵指標(biāo)Open Yap 1K 測(cè)試集 話輪狀態(tài) macro-F10.9436 Endpoint ROC-AUC / AP0.9839 / 0.8149 Barge-in ROC-AUC / AP0.9797 / 0.6657? 速度GRU 決策部分在 RTX 4090 上中位僅0.805 ms/幀峰值顯存 108.76 MiB全部數(shù)字與口徑定義見(jiàn) evaluation/metrics.json 和 evaluation/README.md。?? 注意官方對(duì)局限性的坦誠(chéng)聲明這些只是離線診斷不是實(shí)時(shí)語(yǔ)音助手基準(zhǔn)僅一個(gè)訓(xùn)練種子內(nèi)部集不可復(fù)現(xiàn)。ASR 前端識(shí)別準(zhǔn)確率與多語(yǔ)言能力TYGER 的耳朵——Nemotron 3.5 ASR 0.6B——本身就是一款流式識(shí)別模型官方卡片中給出了多組參考數(shù)據(jù)。流式分塊越大識(shí)別準(zhǔn)確率越高延遲相應(yīng)增加在 FLEURS 多語(yǔ)言基準(zhǔn)上按語(yǔ)言覆蓋分層的平均 WER 對(duì)比TYGER 本體面向英文NVIDIA 原始模型卡含更多圖表與許可說(shuō)明完整保留在 upstream/NVIDIA_MODEL_CARD.md。資源占用與部署一張消費(fèi)級(jí)顯卡夠不夠僅 GRU 決策頭0.8 ms/幀級(jí)開(kāi)銷(xiāo)可忽略整套模型含 Nemotron在 tyger-s2s 中4 路并發(fā)對(duì)話約占 4 GB 顯存部署方式官方建議直接使用 tyger-s2sApache-2.0提供的 Docker 鏡像或在瀏覽器/通話場(chǎng)景中作為語(yǔ)音后端 API。Nemotron 前端在單張 H100 上的并發(fā)能力參考分塊越大可支撐并行流越多 上手路徑git clone https://link.gitcode.com/i/4106b4461a67f023aa6042609bf6a7d3倉(cāng)庫(kù)內(nèi)容速覽文件作用model.safetensorsTYGER 全部權(quán)重Nemotron GRU約 2.6 GBconfig.json模型結(jié)構(gòu)、前端參數(shù)、默認(rèn)策略閾值、去抖、護(hù)欄manifest.json每個(gè)文件的字節(jié)數(shù)與 SHA-256 校驗(yàn)值nemotron/Nemotron 前端配置與分詞器evaluation/評(píng)測(cè)協(xié)議與全部指標(biāo)upstream/、licenses/NVIDIA 原始模型卡、圖表與 OpenMDW-1.1 許可證許可與致謝權(quán)重與文件采用OpenMDW-1.1許可見(jiàn) LICENSE.md 與 NOTICE.md、licenses/OpenMDW-1.1.txtNVIDIA Nemotron 的原始許可、模型卡原樣保留未做改動(dòng)訓(xùn)練數(shù)據(jù)來(lái)自 Open Yap 1K v1.01,395 訓(xùn)練 / 107 開(kāi)發(fā) / 100 測(cè)試對(duì)話標(biāo)簽由雙方發(fā)言時(shí)間自動(dòng)生成無(wú)需人工標(biāo)注。一句話總結(jié)TYGER 一個(gè)會(huì)聽(tīng)的 0.6B 流式 ASR 一個(gè) 14M 參數(shù)的 GRU 決策器以 252 ms 級(jí)中位延遲判斷話尾、以 0.98 ROC-AUC 區(qū)分打斷與附和是構(gòu)建全雙工語(yǔ)音 Agent 的一個(gè)輕量、可復(fù)現(xiàn)、許可清晰的開(kāi)源起點(diǎn) ?贊分享人工智能語(yǔ)音音頻基礎(chǔ)模型本地部署【免費(fèi)下載鏈接】tyger項(xiàng)目地址https://ai.gitcode.com/hf_mirrors/nineninesix/tyger點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Intern-Decision-2B 是什么一文讀懂 InternLM 開(kāi)源多模態(tài)結(jié)構(gòu)化決策大模型Intern Decision 2B 是什么一文讀懂 InternLM 開(kāi)源多模態(tài)結(jié)構(gòu)化決策大模型 Intern Decision 2B 是 InternLM人工智能大模型多模態(tài)微調(diào)本地部署Macaron-V1-Tall 是什么一文讀懂 MindLab 開(kāi)源 Mixture of LoRA 個(gè)人智能模型Macaron V1 Tall 是什么一文讀懂 MindLab 開(kāi)源 Mixture of LoRA 個(gè)人智能模型 Macaron V1 Tall 是 Min端側(cè)大模型初體驗(yàn)一文讀懂 Qwen3-8B_rai_1.8.0_npu_4K 是什么端側(cè)大模型初體驗(yàn)一文讀懂 Qwen3 8B_rai_1.8.0_npu_4K 是什么 Qwen3 8B_rai_1.8.0_npu_4K 是 AMD 官方發(fā)布創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考