決策模型 Jev-Omni：支持圖文、音視頻；上海宣判首例 AI 聲音仿冒案：《原神》63 款角色聲音被復(fù)刻，判賠 75 萬元丨日報)
本期編輯三水、鮑勃今天日報開頭先插播一條10 月來北京線下對答案。這一年我們在日報里持續(xù)關(guān)注實時智能正在發(fā)生的變化。從國內(nèi)到海外覆蓋全雙工、端到端語音、Voice Agent、實時多模態(tài)、世界模型等話題從新模型發(fā)布、開源項目到產(chǎn)品落地和創(chuàng)業(yè)融資我們幾乎每天都在記錄這個行業(yè)又往前走了一點什么。而這次很多日報里出現(xiàn)過的公司、項目和開發(fā)者也會來到iRTE 2026 實時智能大會現(xiàn)場。比如有**階躍星辰、Kimi、Minimax、面壁智能、生數(shù)科技、模思智能等 AI **模型公司也有我們此前報道過的 **VoiceMem、SGLang-Omni、Breeze-TTS **等開源項目作者或團隊參會。當(dāng)然這還只是目前提前劇透的一部分還有一些神秘嘉賓會陸續(xù)揭曉過去在日報里看到的新技術(shù)、新項目和新團隊這次可以在線下面對面聊。10 月 23–24 日大會會有15 個論壇、100 場技術(shù)分享從模型、Agent到 AI 硬件和實時基礎(chǔ)設(shè)施把過去一年我們持續(xù)關(guān)注的很多話題真正聚到一起。如果你也每天在關(guān)注這些掃描下方二維碼報名來一起見個面。線上看了一年這次線下見01 有話題的技術(shù)1、復(fù)旦大學(xué)、上海創(chuàng)智學(xué)院等研究者提出音視頻生成獎勵模型 VA-Judger從人類偏好學(xué)習(xí)整體音畫判斷并用于強化學(xué)習(xí)提升復(fù)旦大學(xué)、上海創(chuàng)智學(xué)院等研究團隊提出 VA-Judger面向聯(lián)合音視頻生成學(xué)習(xí)人類對完整結(jié)果的偏好。模型會同時比較同一提示詞下的兩段生成視頻從提示詞匹配、音視頻一致性、音頻質(zhì)量、視頻質(zhì)量、內(nèi)容完整性與連貫性五個維度給出判斷并生成偏好解釋再將這些評分作為強化學(xué)習(xí)獎勵用于后訓(xùn)練音視頻生成模型。VA-Judger-Bench 用 1150 組音視頻對測試「是否符合人類偏好」其中包含 400 組明顯質(zhì)量差異樣本、250 組同分布樣本和 500 組來自 Kling 2.6、Wan 2.6、Veo 3.1、Sora 2 等未見模型的跨分布樣本。最終 VA-Judger 對人類偏好的整體判斷準(zhǔn)確率達到68.43%相比原始 Qwen3-Omni CoT 的 57.83% 提升 10.6 個百分點。訓(xùn)練數(shù)據(jù)直接來自人類對完整音視頻結(jié)果的比較團隊構(gòu)建 VAPref-10K包含 9000 個提示詞和 1.03 萬組細(xì)粒度成對偏好訓(xùn)練先從質(zhì)量差異明顯的樣本學(xué)習(xí)比較格式再使用人工驗證的困難樣本和 Dimension-wise GRPO 繼續(xù)對齊人類判斷。獎勵可以直接用于改進生成模型團隊用 VA-Judger 后訓(xùn)練 LTX-2在 200 個 JavisBench 提示詞測試中視頻質(zhì)量從2.248 提升到 3.942音頻質(zhì)量從4.767 提升到 5.610JavisScore 從0.074 提升到 0.230。人類盲評也觀察到生成結(jié)果變化20 名參與者對 200 組三模型輸出進行三選一比較VA-Judger 后訓(xùn)練的 LTX-2 獲得62.30%的偏好選擇OmniNFT 為 27.63%原始 LTX-2 為 10.08%。https://github.com/ShareLab-SII/VA-Judger2、世界模型團隊 XGEN Labs 開源第一人稱交互體驗?zāi)Ｐ?JING可用鍵盤控制移動、與物體和角色互動并同步生成視頻與音頻XGEN Labs 發(fā)布 JING一款基于 MiniMax-H3 的第一人稱交互體驗?zāi)Ｐ?。輸入動作、參考圖像和歷史觀察后JING 會繼續(xù)生成第一人稱視頻與音頻讓用戶通過攝像機移動、物體交互和角色對話持續(xù)改變后續(xù)內(nèi)容。支持連續(xù)的第一人稱導(dǎo)航控制用戶可以通過W/S/A/D控制前后左右移動用I/J/K/L調(diào)整視角模型根據(jù)這些動作繼續(xù)生成后續(xù)畫面。物體交互和角色對話會進入后續(xù)生成除了鏡頭移動JING 還支持用文本引導(dǎo)物體互動和角色交流并同步生成對應(yīng)的視頻與音頻。參考圖像可同時約束角色、物體和場景開發(fā)者可以組合多張參考圖像定義體驗中的人物、物體與環(huán)境再從同一起點探索不同動作分支。首個開源版本是 JING-Flash-v1當(dāng)前已開放四步雙向推理模型、推理代碼、示例和 Prompt Skills因果模型和技術(shù)報告仍待后續(xù)發(fā)布。官方 Demo 已在 6 張 H100 上驗證運行。https://x.com/XGEN_labs/status/2102050332960497738https://huggingface.co/XGENlabs/XGEN-JING3、Voice AI 公司 Gradium 推出低延遲 TTS Beta官方稱首包音頻可低于 50 ms較當(dāng)前生產(chǎn)模型進一步壓縮語音智能體響應(yīng)延遲Gradium 開放新一版Gradium TTS Beta重點繼續(xù)壓縮實時語音合成的首包延遲。官方稱新模型的 time-to-first-audio 可低于50 ms目前已可在 Gradium Studio 體驗相比 8 月底成為默認(rèn)版本的 Gradium TTS這次更新把延遲繼續(xù)作為主要優(yōu)化方向。首包音頻延遲進入 50 ms 以下Gradium 在最新發(fā)布中稱 Beta 模型可以在低于 50 ms 內(nèi)開始輸出音頻面向需要快速搶占響應(yīng)時間的實時 Voice Agent 場景。該數(shù)字目前來自 Gradium 自測測試條件尚未完整公開。相比當(dāng)前生產(chǎn)模型延遲進一步下降Gradium 8 月底發(fā)布的現(xiàn)行生產(chǎn)模型在官方引用的 Coval 測試中 P50 TTFA 約為216 ms同時在五種語言的 500 條復(fù)雜文本測試中通過率為 81.0%。新 Beta 的50 ms指標(biāo)目前還不能與這組數(shù)據(jù)直接做等條件比較。此前對電話號碼、郵箱、IBAN 等復(fù)雜文本的處理繼續(xù)保留在 Beta 路線中Gradium 今年 7 月開始用 Beta 模型集中優(yōu)化 Voice Agent 中常見的電話號碼、郵箱、參考編號、時間表達和 URL 等結(jié)構(gòu)化文本并支持通過同一 WebSocket API 做實時流式合成。https://studio.gradium.ai/?model_namegradium-tts-betahttps://x.com/GradiumAI/status/21024388316685516874、三星波蘭研發(fā)中心等研究者開源端側(cè)小型音頻語言模型 Samsone最小 99M 參數(shù)Galaxy S25 Ultra 可實時運行三星波蘭研發(fā)中心等研究者提出并開源Samsone一組面向設(shè)備端音頻理解的小型 Audio Language Model包括99M、134M 和 356M三個版本。項目同時開放 PyTorch 權(quán)重、移動端 ExecuTorch checkpoint、訓(xùn)練與評測代碼以及可直接在 Android 設(shè)備上運行的 Demo App論文已被 Interspeech 2026 接收。最小版本只有 99M 參數(shù)Samsone 系列包含 99M、134M 和 356M 三檔模型面向聲音、音樂和語音理解任務(wù)其中 Samsone-134M 在 MMAU test 上平均得分61.33Samsone-99M 為58.13都高于 167M 參數(shù)的 Mellow。模型可以直接部署到 Android 端實時運行項目提供基于ExecuTorch的移動端優(yōu)化 checkpoint 和開源 Android App論文與項目均給出了 Galaxy S25 Ultra 上的端側(cè)實時推理驗證。端側(cè)版本和服務(wù)器版本同時開源三個模型均提供服務(wù)端 PyTorch checkpoint移動端則提供.pte模型代碼同時覆蓋訓(xùn)練、評測、模型導(dǎo)出和 Android 部署流程。訓(xùn)練數(shù)據(jù)全部來自公開數(shù)據(jù)集Samsone 使用 ReasonAQA 和 AudioSkills 訓(xùn)練作者同時開放完整訓(xùn)練配置方便開發(fā)者復(fù)現(xiàn)或繼續(xù)針對端側(cè)場景微調(diào)。https://arxiv.org/abs/2609.21666https://github.com/SamsungLabs/samsone02 有亮點的產(chǎn)品1、上海首例涉 AI 聲音仿冒不正當(dāng)競爭案生效《原神》63 款角色聲音被復(fù)刻銷售法院判賠 75 萬元上海市浦東新區(qū)人民法院公布上海首例涉 AI 聲音仿冒不正當(dāng)競爭案。被告運營的 AI 變聲軟件未經(jīng)授權(quán)復(fù)刻《原神》63 款角色聲音制作成付費聲音資源包并配合角色頭像、原聲試聽和游戲宣傳素材進行銷售推廣。法院認(rèn)定相關(guān)行為同時涉及著作權(quán)侵權(quán)和不正當(dāng)競爭一審判賠經(jīng)濟損失及合理維權(quán)開支共計75 萬元被告撤回上訴后判決已生效。法院將具有辨識度的游戲角色聲音納入商業(yè)標(biāo)識保護判決認(rèn)為《原神》角色聲音經(jīng)過長期運營后已成為公眾識別游戲來源的重要聽覺標(biāo)識屬于「有一定影響的商業(yè)標(biāo)識」組成部分。未經(jīng)許可批量復(fù)刻并用于商業(yè)變聲服務(wù)足以使用戶誤認(rèn)為相關(guān)服務(wù)與游戲方存在授權(quán)或合作關(guān)系。涉案服務(wù)采用 AI 語音處理技術(shù)批量生成角色音色包相關(guān)軟件共包含 500 余款聲音資源包其中《原神》涉案角色共 63 款可用于實時語音聊天中的變聲。公開報道顯示這些資源包售價約19–59 元部分使用次數(shù)達到數(shù)萬至上百萬次。聲音復(fù)刻本身與商業(yè)混淆被分別看待法院同時指出市場主體仍可借鑒基礎(chǔ)聲線特征進行聲音模仿本案觸及邊界的關(guān)鍵在于未經(jīng)授權(quán)復(fù)刻具有明確來源識別作用的角色聲音并疊加角色形象、原聲試聽等方式進行整體商業(yè)化使用。https://m.thepaper.cn/newsDetail_forward_340435932、瑞典 AI 助手公司 Incredible 推出語音優(yōu)先桌面智能體可直接操作瀏覽器、文件與應(yīng)用完成電腦任務(wù)瑞典 AI 公司 Incredible 發(fā)布面向 Mac 和 Windows 的語音優(yōu)先桌面智能體。用戶按下快捷鍵后直接說出任務(wù)Incredible 會結(jié)合當(dāng)前屏幕內(nèi)容理解上下文并在瀏覽器、文件和應(yīng)用中執(zhí)行點擊、輸入、搜索、切換標(biāo)簽頁、填寫表單和發(fā)送等操作。語音從「輸入方式」變成電腦操作入口Incredible 會讀取用戶當(dāng)前激活的屏幕和應(yīng)用狀態(tài)將自然語言指令直接轉(zhuǎn)換成瀏覽器與桌面操作用戶無需把內(nèi)容復(fù)制到聊天窗口再手動執(zhí)行?？煽鐬g覽器、文件和 3000 應(yīng)用執(zhí)行任務(wù)官網(wǎng)展示的能力包括網(wǎng)頁點擊、搜索、輸入、表單填寫、標(biāo)簽頁切換以及在 Gmail、Google Sheets、日歷等工具之間串聯(lián)任務(wù)對于沒有專門集成的網(wǎng)站也可以直接通過瀏覽器界面操作。涉及外部提交的動作會等待用戶確認(rèn)Incredible 可以自動完成讀取、搜索和準(zhǔn)備步驟但發(fā)送、提交、修改和刪除等操作會暫停并展示下一步由用戶確認(rèn)后繼續(xù)執(zhí)行。屏幕上下文按用戶主動調(diào)用獲取官方稱 Incredible 只在用戶激活時讀取屏幕內(nèi)容并可結(jié)合連接的應(yīng)用和本地文件完成任務(wù)當(dāng)前提供 macOS 和 Windows 客戶端。http://incredible.onehttps://x.com/useincredible/status/21023824074712637603、AI 硬件公司 Rabbit 發(fā)布跨平臺智能體系統(tǒng) OS3從 R1 專用設(shè)備擴展到 Mac、Windows、Linux、Telegram 和 iMessageRabbit 發(fā)布 OS3將原本圍繞 R1 硬件構(gòu)建的 Agent 能力擴展成跨設(shè)備的軟件系統(tǒng)。OS3 運行在云端通過安裝在 Windows、Mac 或 Linux 上的本地 Agent Node 連接桌面軟件、文件和網(wǎng)頁用戶也可以通過瀏覽器、Telegram 或 iMessage 發(fā)起任務(wù)一個賬號最多可連接 5 臺設(shè)備。從專用 AI 硬件轉(zhuǎn)向跨設(shè)備 Agent 平臺OS3 不再要求使用 R1用戶可直接在現(xiàn)有電腦和手機入口調(diào)用如果已經(jīng)擁有 R1也可以把它作為 OS3 的輸入輸出設(shè)備。Rabbit 目前已停止生產(chǎn) R1并表示沒有推出 R2 的計劃。本地 Agent Node 可以直接操作軟件、文件和網(wǎng)頁OS3 使用 Rabbit 的 DLAMDirect Large Action Model執(zhí)行本地軟件任務(wù)也可以自主編寫和調(diào)試代碼系統(tǒng)會根據(jù)任務(wù)自動決定由已連接的哪臺設(shè)備執(zhí)行。第三方 Agent Skill 可以直接安裝進會話用戶把公開的 Skill URL 粘貼到聊天中OS3 即可自動安裝并調(diào)用無需手動配置Rabbit 將其稱為 universal skill compatibility。采用 BYOK不收月訂閱費用戶可接入 OpenAI、Anthropic 等模型提供商的 API Key也可以連接本地開源模型Rabbit 表示本地文件內(nèi)容保留在設(shè)備端但涉及模型推理的相關(guān)提示會經(jīng)過 Rabbit 服務(wù)器再發(fā)送給對應(yīng)模型提供商。https://www.wired.com/story/rabbit-r1-os3-jesse-lyu/(wired)4、開發(fā)者 Akhila 開源多模態(tài)實時決策模型 Jev-Omni統(tǒng)一支持文本、圖像、音頻和視頻輸入文本決策延遲約 83 ms開發(fā)者 Akhila 開源** Jev-Omni**一款面向?qū)崟r類型化決策的多模態(tài)模型統(tǒng)一支持文本、圖像、音頻和視頻輸入。模型延續(xù) Jev 這類決策模型的使用方式輸入當(dāng)前狀態(tài)和候選選項后直接返回各選項概率用于分類、路由和動作選擇。四種模態(tài)統(tǒng)一進入同一個決策接口Jev-Omni 可同時處理文本、圖像、音頻和視頻并輸出結(jié)構(gòu)化概率結(jié)果。作者將其定位為首個覆蓋這四種模態(tài)的開源系統(tǒng) 1 模型。在類型化決策基準(zhǔn)上與 Jev 表現(xiàn)接近Jev-Omni 在 JevBench 上準(zhǔn)確率為86.15%微平均準(zhǔn)確率為87.45%DecisionBench Medium 準(zhǔn)確率為87.57%。不同模態(tài)的推理延遲已經(jīng)給出實測在 H200 上預(yù)熱后推理中位延遲約為2k token 文本83 ms、圖片26 ms、13 秒音頻31 ms、16 幀視頻504 ms這些數(shù)字不包含預(yù)處理和網(wǎng)絡(luò)時間。模型基于 Gemma 4 12B IT 微調(diào)并已開放權(quán)重作者使用約 3 萬道問題進行訓(xùn)練采用 Apache-2.0 許可證當(dāng)前音頻輸入最長 30 秒視頻默認(rèn)取 16 幀。https://x.com/Akhila_988/status/2102171891410825520https://huggingface.co/akhilaaa3/Jev-Omni03 有態(tài)度的觀點1、特努斯Siri AI 不應(yīng)代替人際關(guān)系蘋果 CEO John Ternus 在接受 Canal 節(jié)目 Clique 采訪時表示Siri AI 「并非被設(shè)計成你的朋友」。面對 AI 伴侶產(chǎn)品的市場競爭他認(rèn)為蘋果不希望 AI 取代人與人的關(guān)系因為人際關(guān)系是學(xué)習(xí)、成長和獲得快樂的基礎(chǔ)。他還談到 iPhone Duo 的開發(fā)取舍。蘋果從類似 iPad 的大屏體驗出發(fā)確定展開比例沒有沿用常見的兩塊手機屏幕拼接形態(tài)。鉸鏈和屏幕的可靠性是主要工程問題例如團隊需要同時處理展開角度、屏幕連續(xù)性與軟件動畫的配合。Ternus 特別展示了展開手機時跨越兩側(cè)屏幕的動畫。他把這個小細(xì)節(jié)視為工程之外的產(chǎn)品目標(biāo)用戶在展開設(shè)備時能立刻理解界面如何連續(xù)同時保留一點輕松感。對于接任 CEO 后的方向Ternus 稱不會對蘋果做激進改造。Tim Cook 和蘋果董事會詢問他是否愿意接任時他形容自己「幸好當(dāng)時是坐著的」。他給出的經(jīng)營邊界是繼續(xù)把產(chǎn)品、創(chuàng)新和用戶放在中心不把新任期包裝成路線翻轉(zhuǎn)。APPSO Voice Agent 學(xué)習(xí)筆記了解最懂 AI 語音的頭腦都在思考什么寫在最后我們歡迎更多的小伙伴參與「RTE 開發(fā)者日報」內(nèi)容的共創(chuàng)感興趣的朋友請通過開發(fā)者社區(qū)或公眾號留言聯(lián)系記得報暗號「共創(chuàng)」。對于任何反饋包括但不限于內(nèi)容上、形式上我們不勝感激、并有小驚喜回饋例如你希望從日報中看到哪些內(nèi)容自己推薦的信源、項目、話題、活動等或者列舉幾個你喜歡看、平時?？吹膬?nèi)容渠道內(nèi)容排版或呈現(xiàn)形式上有哪些可以改進的地方等。作者提示: 個人觀點僅供參考 多模態(tài)決策模型 Jev-Omni：支持圖文、音視頻；上海宣判首例 AI 聲音仿冒案：《原神》63 款角色聲音被復(fù)刻，判賠 75 萬元丨日報
本期編輯三水、鮑勃今天日報開頭先插播一條10 月來北京線下對答案。這一年我們在日報里持續(xù)關(guān)注實時智能正在發(fā)生的變化。從國內(nèi)到海外覆蓋全雙工、端到端語音、Voice Agent、實時多模態(tài)、世界模型等話題從新模型發(fā)布、開源項目到產(chǎn)品落地和創(chuàng)業(yè)融資我們幾乎每天都在記錄這個行業(yè)又往前走了一點什么。而這次很多日報里出現(xiàn)過的公司、項目和開發(fā)者也會來到iRTE 2026 實時智能大會現(xiàn)場。比如有**階躍星辰、Kimi、Minimax、面壁智能、生數(shù)科技、模思智能等 AI **模型公司也有我們此前報道過的 **VoiceMem、SGLang-Omni、Breeze-TTS **等開源項目作者或團隊參會。當(dāng)然這還只是目前提前劇透的一部分還有一些神秘嘉賓會陸續(xù)揭曉過去在日報里看到的新技術(shù)、新項目和新團隊這次可以在線下面對面聊。10 月 23–24 日大會會有15 個論壇、100 場技術(shù)分享從模型、Agent到 AI 硬件和實時基礎(chǔ)設(shè)施把過去一年我們持續(xù)關(guān)注的很多話題真正聚到一起。如果你也每天在關(guān)注這些掃描下方二維碼報名來一起見個面。線上看了一年這次線下見01 有話題的技術(shù)1、復(fù)旦大學(xué)、上海創(chuàng)智學(xué)院等研究者提出音視頻生成獎勵模型 VA-Judger從人類偏好學(xué)習(xí)整體音畫判斷并用于強化學(xué)習(xí)提升復(fù)旦大學(xué)、上海創(chuàng)智學(xué)院等研究團隊提出 VA-Judger面向聯(lián)合音視頻生成學(xué)習(xí)人類對完整結(jié)果的偏好。模型會同時比較同一提示詞下的兩段生成視頻從提示詞匹配、音視頻一致性、音頻質(zhì)量、視頻質(zhì)量、內(nèi)容完整性與連貫性五個維度給出判斷并生成偏好解釋再將這些評分作為強化學(xué)習(xí)獎勵用于后訓(xùn)練音視頻生成模型。VA-Judger-Bench 用 1150 組音視頻對測試「是否符合人類偏好」其中包含 400 組明顯質(zhì)量差異樣本、250 組同分布樣本和 500 組來自 Kling 2.6、Wan 2.6、Veo 3.1、Sora 2 等未見模型的跨分布樣本。最終 VA-Judger 對人類偏好的整體判斷準(zhǔn)確率達到68.43%相比原始 Qwen3-Omni CoT 的 57.83% 提升 10.6 個百分點。訓(xùn)練數(shù)據(jù)直接來自人類對完整音視頻結(jié)果的比較團隊構(gòu)建 VAPref-10K包含 9000 個提示詞和 1.03 萬組細(xì)粒度成對偏好訓(xùn)練先從質(zhì)量差異明顯的樣本學(xué)習(xí)比較格式再使用人工驗證的困難樣本和 Dimension-wise GRPO 繼續(xù)對齊人類判斷。獎勵可以直接用于改進生成模型團隊用 VA-Judger 后訓(xùn)練 LTX-2在 200 個 JavisBench 提示詞測試中視頻質(zhì)量從2.248 提升到 3.942音頻質(zhì)量從4.767 提升到 5.610JavisScore 從0.074 提升到 0.230。人類盲評也觀察到生成結(jié)果變化20 名參與者對 200 組三模型輸出進行三選一比較VA-Judger 后訓(xùn)練的 LTX-2 獲得62.30%的偏好選擇OmniNFT 為 27.63%原始 LTX-2 為 10.08%。https://github.com/ShareLab-SII/VA-Judger2、世界模型團隊 XGEN Labs 開源第一人稱交互體驗?zāi)Ｐ?JING可用鍵盤控制移動、與物體和角色互動并同步生成視頻與音頻XGEN Labs 發(fā)布 JING一款基于 MiniMax-H3 的第一人稱交互體驗?zāi)Ｐ?。輸入動作、參考圖像和歷史觀察后JING 會繼續(xù)生成第一人稱視頻與音頻讓用戶通過攝像機移動、物體交互和角色對話持續(xù)改變后續(xù)內(nèi)容。支持連續(xù)的第一人稱導(dǎo)航控制用戶可以通過W/S/A/D控制前后左右移動用I/J/K/L調(diào)整視角模型根據(jù)這些動作繼續(xù)生成后續(xù)畫面。物體交互和角色對話會進入后續(xù)生成除了鏡頭移動JING 還支持用文本引導(dǎo)物體互動和角色交流并同步生成對應(yīng)的視頻與音頻。參考圖像可同時約束角色、物體和場景開發(fā)者可以組合多張參考圖像定義體驗中的人物、物體與環(huán)境再從同一起點探索不同動作分支。首個開源版本是 JING-Flash-v1當(dāng)前已開放四步雙向推理模型、推理代碼、示例和 Prompt Skills因果模型和技術(shù)報告仍待后續(xù)發(fā)布。官方 Demo 已在 6 張 H100 上驗證運行。https://x.com/XGEN_labs/status/2102050332960497738https://huggingface.co/XGENlabs/XGEN-JING3、Voice AI 公司 Gradium 推出低延遲 TTS Beta官方稱首包音頻可低于 50 ms較當(dāng)前生產(chǎn)模型進一步壓縮語音智能體響應(yīng)延遲Gradium 開放新一版Gradium TTS Beta重點繼續(xù)壓縮實時語音合成的首包延遲。官方稱新模型的 time-to-first-audio 可低于50 ms目前已可在 Gradium Studio 體驗相比 8 月底成為默認(rèn)版本的 Gradium TTS這次更新把延遲繼續(xù)作為主要優(yōu)化方向。首包音頻延遲進入 50 ms 以下Gradium 在最新發(fā)布中稱 Beta 模型可以在低于 50 ms 內(nèi)開始輸出音頻面向需要快速搶占響應(yīng)時間的實時 Voice Agent 場景。該數(shù)字目前來自 Gradium 自測測試條件尚未完整公開。相比當(dāng)前生產(chǎn)模型延遲進一步下降Gradium 8 月底發(fā)布的現(xiàn)行生產(chǎn)模型在官方引用的 Coval 測試中 P50 TTFA 約為216 ms同時在五種語言的 500 條復(fù)雜文本測試中通過率為 81.0%。新 Beta 的50 ms指標(biāo)目前還不能與這組數(shù)據(jù)直接做等條件比較。此前對電話號碼、郵箱、IBAN 等復(fù)雜文本的處理繼續(xù)保留在 Beta 路線中Gradium 今年 7 月開始用 Beta 模型集中優(yōu)化 Voice Agent 中常見的電話號碼、郵箱、參考編號、時間表達和 URL 等結(jié)構(gòu)化文本并支持通過同一 WebSocket API 做實時流式合成。https://studio.gradium.ai/?model_namegradium-tts-betahttps://x.com/GradiumAI/status/21024388316685516874、三星波蘭研發(fā)中心等研究者開源端側(cè)小型音頻語言模型 Samsone最小 99M 參數(shù)Galaxy S25 Ultra 可實時運行三星波蘭研發(fā)中心等研究者提出并開源Samsone一組面向設(shè)備端音頻理解的小型 Audio Language Model包括99M、134M 和 356M三個版本。項目同時開放 PyTorch 權(quán)重、移動端 ExecuTorch checkpoint、訓(xùn)練與評測代碼以及可直接在 Android 設(shè)備上運行的 Demo App論文已被 Interspeech 2026 接收。最小版本只有 99M 參數(shù)Samsone 系列包含 99M、134M 和 356M 三檔模型面向聲音、音樂和語音理解任務(wù)其中 Samsone-134M 在 MMAU test 上平均得分61.33Samsone-99M 為58.13都高于 167M 參數(shù)的 Mellow。模型可以直接部署到 Android 端實時運行項目提供基于ExecuTorch的移動端優(yōu)化 checkpoint 和開源 Android App論文與項目均給出了 Galaxy S25 Ultra 上的端側(cè)實時推理驗證。端側(cè)版本和服務(wù)器版本同時開源三個模型均提供服務(wù)端 PyTorch checkpoint移動端則提供.pte模型代碼同時覆蓋訓(xùn)練、評測、模型導(dǎo)出和 Android 部署流程。訓(xùn)練數(shù)據(jù)全部來自公開數(shù)據(jù)集Samsone 使用 ReasonAQA 和 AudioSkills 訓(xùn)練作者同時開放完整訓(xùn)練配置方便開發(fā)者復(fù)現(xiàn)或繼續(xù)針對端側(cè)場景微調(diào)。https://arxiv.org/abs/2609.21666https://github.com/SamsungLabs/samsone02 有亮點的產(chǎn)品1、上海首例涉 AI 聲音仿冒不正當(dāng)競爭案生效《原神》63 款角色聲音被復(fù)刻銷售法院判賠 75 萬元上海市浦東新區(qū)人民法院公布上海首例涉 AI 聲音仿冒不正當(dāng)競爭案。被告運營的 AI 變聲軟件未經(jīng)授權(quán)復(fù)刻《原神》63 款角色聲音制作成付費聲音資源包并配合角色頭像、原聲試聽和游戲宣傳素材進行銷售推廣。法院認(rèn)定相關(guān)行為同時涉及著作權(quán)侵權(quán)和不正當(dāng)競爭一審判賠經(jīng)濟損失及合理維權(quán)開支共計75 萬元被告撤回上訴后判決已生效。法院將具有辨識度的游戲角色聲音納入商業(yè)標(biāo)識保護判決認(rèn)為《原神》角色聲音經(jīng)過長期運營后已成為公眾識別游戲來源的重要聽覺標(biāo)識屬于「有一定影響的商業(yè)標(biāo)識」組成部分。未經(jīng)許可批量復(fù)刻并用于商業(yè)變聲服務(wù)足以使用戶誤認(rèn)為相關(guān)服務(wù)與游戲方存在授權(quán)或合作關(guān)系。涉案服務(wù)采用 AI 語音處理技術(shù)批量生成角色音色包相關(guān)軟件共包含 500 余款聲音資源包其中《原神》涉案角色共 63 款可用于實時語音聊天中的變聲。公開報道顯示這些資源包售價約19–59 元部分使用次數(shù)達到數(shù)萬至上百萬次。聲音復(fù)刻本身與商業(yè)混淆被分別看待法院同時指出市場主體仍可借鑒基礎(chǔ)聲線特征進行聲音模仿本案觸及邊界的關(guān)鍵在于未經(jīng)授權(quán)復(fù)刻具有明確來源識別作用的角色聲音并疊加角色形象、原聲試聽等方式進行整體商業(yè)化使用。https://m.thepaper.cn/newsDetail_forward_340435932、瑞典 AI 助手公司 Incredible 推出語音優(yōu)先桌面智能體可直接操作瀏覽器、文件與應(yīng)用完成電腦任務(wù)瑞典 AI 公司 Incredible 發(fā)布面向 Mac 和 Windows 的語音優(yōu)先桌面智能體。用戶按下快捷鍵后直接說出任務(wù)Incredible 會結(jié)合當(dāng)前屏幕內(nèi)容理解上下文并在瀏覽器、文件和應(yīng)用中執(zhí)行點擊、輸入、搜索、切換標(biāo)簽頁、填寫表單和發(fā)送等操作。語音從「輸入方式」變成電腦操作入口Incredible 會讀取用戶當(dāng)前激活的屏幕和應(yīng)用狀態(tài)將自然語言指令直接轉(zhuǎn)換成瀏覽器與桌面操作用戶無需把內(nèi)容復(fù)制到聊天窗口再手動執(zhí)行?？煽鐬g覽器、文件和 3000 應(yīng)用執(zhí)行任務(wù)官網(wǎng)展示的能力包括網(wǎng)頁點擊、搜索、輸入、表單填寫、標(biāo)簽頁切換以及在 Gmail、Google Sheets、日歷等工具之間串聯(lián)任務(wù)對于沒有專門集成的網(wǎng)站也可以直接通過瀏覽器界面操作。涉及外部提交的動作會等待用戶確認(rèn)Incredible 可以自動完成讀取、搜索和準(zhǔn)備步驟但發(fā)送、提交、修改和刪除等操作會暫停并展示下一步由用戶確認(rèn)后繼續(xù)執(zhí)行。屏幕上下文按用戶主動調(diào)用獲取官方稱 Incredible 只在用戶激活時讀取屏幕內(nèi)容并可結(jié)合連接的應(yīng)用和本地文件完成任務(wù)當(dāng)前提供 macOS 和 Windows 客戶端。http://incredible.onehttps://x.com/useincredible/status/21023824074712637603、AI 硬件公司 Rabbit 發(fā)布跨平臺智能體系統(tǒng) OS3從 R1 專用設(shè)備擴展到 Mac、Windows、Linux、Telegram 和 iMessageRabbit 發(fā)布 OS3將原本圍繞 R1 硬件構(gòu)建的 Agent 能力擴展成跨設(shè)備的軟件系統(tǒng)。OS3 運行在云端通過安裝在 Windows、Mac 或 Linux 上的本地 Agent Node 連接桌面軟件、文件和網(wǎng)頁用戶也可以通過瀏覽器、Telegram 或 iMessage 發(fā)起任務(wù)一個賬號最多可連接 5 臺設(shè)備。從專用 AI 硬件轉(zhuǎn)向跨設(shè)備 Agent 平臺OS3 不再要求使用 R1用戶可直接在現(xiàn)有電腦和手機入口調(diào)用如果已經(jīng)擁有 R1也可以把它作為 OS3 的輸入輸出設(shè)備。Rabbit 目前已停止生產(chǎn) R1并表示沒有推出 R2 的計劃。本地 Agent Node 可以直接操作軟件、文件和網(wǎng)頁OS3 使用 Rabbit 的 DLAMDirect Large Action Model執(zhí)行本地軟件任務(wù)也可以自主編寫和調(diào)試代碼系統(tǒng)會根據(jù)任務(wù)自動決定由已連接的哪臺設(shè)備執(zhí)行。第三方 Agent Skill 可以直接安裝進會話用戶把公開的 Skill URL 粘貼到聊天中OS3 即可自動安裝并調(diào)用無需手動配置Rabbit 將其稱為 universal skill compatibility。采用 BYOK不收月訂閱費用戶可接入 OpenAI、Anthropic 等模型提供商的 API Key也可以連接本地開源模型Rabbit 表示本地文件內(nèi)容保留在設(shè)備端但涉及模型推理的相關(guān)提示會經(jīng)過 Rabbit 服務(wù)器再發(fā)送給對應(yīng)模型提供商。https://www.wired.com/story/rabbit-r1-os3-jesse-lyu/(wired)4、開發(fā)者 Akhila 開源多模態(tài)實時決策模型 Jev-Omni統(tǒng)一支持文本、圖像、音頻和視頻輸入文本決策延遲約 83 ms開發(fā)者 Akhila 開源** Jev-Omni**一款面向?qū)崟r類型化決策的多模態(tài)模型統(tǒng)一支持文本、圖像、音頻和視頻輸入。模型延續(xù) Jev 這類決策模型的使用方式輸入當(dāng)前狀態(tài)和候選選項后直接返回各選項概率用于分類、路由和動作選擇。四種模態(tài)統(tǒng)一進入同一個決策接口Jev-Omni 可同時處理文本、圖像、音頻和視頻并輸出結(jié)構(gòu)化概率結(jié)果。作者將其定位為首個覆蓋這四種模態(tài)的開源系統(tǒng) 1 模型。在類型化決策基準(zhǔn)上與 Jev 表現(xiàn)接近Jev-Omni 在 JevBench 上準(zhǔn)確率為86.15%微平均準(zhǔn)確率為87.45%DecisionBench Medium 準(zhǔn)確率為87.57%。不同模態(tài)的推理延遲已經(jīng)給出實測在 H200 上預(yù)熱后推理中位延遲約為2k token 文本83 ms、圖片26 ms、13 秒音頻31 ms、16 幀視頻504 ms這些數(shù)字不包含預(yù)處理和網(wǎng)絡(luò)時間。模型基于 Gemma 4 12B IT 微調(diào)并已開放權(quán)重作者使用約 3 萬道問題進行訓(xùn)練采用 Apache-2.0 許可證當(dāng)前音頻輸入最長 30 秒視頻默認(rèn)取 16 幀。https://x.com/Akhila_988/status/2102171891410825520https://huggingface.co/akhilaaa3/Jev-Omni03 有態(tài)度的觀點1、特努斯Siri AI 不應(yīng)代替人際關(guān)系蘋果 CEO John Ternus 在接受 Canal 節(jié)目 Clique 采訪時表示Siri AI 「并非被設(shè)計成你的朋友」。面對 AI 伴侶產(chǎn)品的市場競爭他認(rèn)為蘋果不希望 AI 取代人與人的關(guān)系因為人際關(guān)系是學(xué)習(xí)、成長和獲得快樂的基礎(chǔ)。他還談到 iPhone Duo 的開發(fā)取舍。蘋果從類似 iPad 的大屏體驗出發(fā)確定展開比例沒有沿用常見的兩塊手機屏幕拼接形態(tài)。鉸鏈和屏幕的可靠性是主要工程問題例如團隊需要同時處理展開角度、屏幕連續(xù)性與軟件動畫的配合。Ternus 特別展示了展開手機時跨越兩側(cè)屏幕的動畫。他把這個小細(xì)節(jié)視為工程之外的產(chǎn)品目標(biāo)用戶在展開設(shè)備時能立刻理解界面如何連續(xù)同時保留一點輕松感。對于接任 CEO 后的方向Ternus 稱不會對蘋果做激進改造。Tim Cook 和蘋果董事會詢問他是否愿意接任時他形容自己「幸好當(dāng)時是坐著的」。他給出的經(jīng)營邊界是繼續(xù)把產(chǎn)品、創(chuàng)新和用戶放在中心不把新任期包裝成路線翻轉(zhuǎn)。APPSO Voice Agent 學(xué)習(xí)筆記了解最懂 AI 語音的頭腦都在思考什么寫在最后我們歡迎更多的小伙伴參與「RTE 開發(fā)者日報」內(nèi)容的共創(chuàng)感興趣的朋友請通過開發(fā)者社區(qū)或公眾號留言聯(lián)系記得報暗號「共創(chuàng)」。對于任何反饋包括但不限于內(nèi)容上、形式上我們不勝感激、并有小驚喜回饋例如你希望從日報中看到哪些內(nèi)容自己推薦的信源、項目、話題、活動等或者列舉幾個你喜歡看、平時?？吹膬?nèi)容渠道內(nèi)容排版或呈現(xiàn)形式上有哪些可以改進的地方等。作者提示: 個人觀點僅供參考