數(shù)字人視頻這條賽道我從去年就開(kāi)始折騰了。最開(kāi)始的想法很樸素——能不能用一套完全開(kāi)源、本地可跑的工具鏈把聲音克隆 腳本生成 PPT 畫(huà)面 口型合成這幾件事串成一條自動(dòng)化流水線(xiàn)輸入一段文字輸出一條帶真人音色、帶講解畫(huà)面的數(shù)字人視頻。試過(guò)市面上不少方案要么是聲音克隆要付費(fèi)額度要么是畫(huà)面生成依賴(lài)云端服務(wù)要么是整條鏈路斷在某個(gè)環(huán)節(jié)上得手動(dòng)補(bǔ)一大堆東西。直到我把 GPT-SoVITS、Claude 和一套七步流水線(xiàn)拼到一起才算真正跑通了一個(gè)能穩(wěn)定復(fù)現(xiàn)的開(kāi)源數(shù)字人平臺(tái)。這篇文章不講概念只講我實(shí)際搭這套東西時(shí)踩過(guò)的坑、做過(guò)的取舍和最終跑通的完整鏈路。核心關(guān)鍵詞就幾個(gè)GPT-SoVITS 聲音克隆、Claude 生成 PPT 腳本與內(nèi)容、七步流水線(xiàn)合成數(shù)字人視頻。適合兩類(lèi)人看一類(lèi)是想自己搭一套數(shù)字人生產(chǎn)工具、又不想被商業(yè)平臺(tái)綁死的內(nèi)容創(chuàng)作者另一類(lèi)是想搞清楚聲音克隆 大模型 視頻合成這條鏈路底層怎么串起來(lái)的技術(shù)同學(xué)。哪怕你之前沒(méi)碰過(guò)數(shù)字人跟著思路走也能明白每一步在干什么、為什么這么干。1. 為什么我放棄了商業(yè)數(shù)字人平臺(tái)轉(zhuǎn)向自建流水線(xiàn)1.1 商業(yè)平臺(tái)的三道坎額度、音色和不可控先說(shuō)清楚我為什么非要自建。最早我用過(guò)幾個(gè)在線(xiàn)的數(shù)字人工具體驗(yàn)確實(shí)順滑上傳一段音頻、選個(gè)形象、輸入文案幾分鐘出片。但用著用著就發(fā)現(xiàn)三個(gè)繞不過(guò)去的問(wèn)題。第一道坎是額度。聲音克隆基本都按字符或者按分鐘計(jì)費(fèi)我做一個(gè)十分鐘的講解視頻光聲音合成就要消耗不少額度批量生產(chǎn)的時(shí)候成本直接失控。第二道坎是音色歸屬。很多平臺(tái)克隆出來(lái)的聲音你只有使用權(quán)沒(méi)有導(dǎo)出權(quán)想遷移到別的工具鏈里用根本不行等于被鎖死在這家平臺(tái)上。第三道坎是不可控。我想在畫(huà)面里插入特定的圖表、特定的排版、特定的動(dòng)畫(huà)節(jié)奏平臺(tái)給的模板改不動(dòng)最后出來(lái)的東西千篇一律一眼就能看出是數(shù)字人模板片。這三道坎疊加起來(lái)結(jié)論就很明確了如果我只是偶爾做一兩條視頻商業(yè)平臺(tái)夠用但如果我想把它當(dāng)成一個(gè)持續(xù)產(chǎn)出的內(nèi)容工具必須自己掌握整條鏈路。1.2 自建方案的核心訴求本地、開(kāi)源、可拆解自建不是目的可控才是。我給自己定了三條硬標(biāo)準(zhǔn)。本地可跑。聲音克隆和視頻合成這兩步最好能在自己的機(jī)器上完成不依賴(lài)外部服務(wù)的額度和網(wǎng)絡(luò)穩(wěn)定性。這樣批量生產(chǎn)的時(shí)候成本就是電費(fèi)和機(jī)器折舊邊際成本幾乎為零。開(kāi)源可改。每個(gè)環(huán)節(jié)用的工具都得是開(kāi)源的源碼在手遇到問(wèn)題能改想加功能能加。GPT-SoVITS 就是沖著這一點(diǎn)選的它的聲音克隆效果在開(kāi)源方案里屬于第一梯隊(duì)而且訓(xùn)練和推理都能本地跑。鏈路可拆解。整條流水線(xiàn)要能拆成獨(dú)立的步驟每一步的輸入輸出都是明確的文件或者數(shù)據(jù)這樣哪一步出問(wèn)題就單獨(dú)調(diào)哪一步不用整條重跑。這一點(diǎn)特別重要后面講七步流水線(xiàn)的時(shí)候你會(huì)看到正是因?yàn)榭刹鸾馕也拍茉诼曇艉铣珊彤?huà)面合成之間插入人工校對(duì)環(huán)節(jié)。1.3 七步流水線(xiàn)的整體設(shè)計(jì)思路把需求拆開(kāi)之后整條鏈路其實(shí)就清晰了。一條數(shù)字人視頻本質(zhì)上需要四樣?xùn)|西腳本內(nèi)容、聲音、畫(huà)面、口型對(duì)齊。圍繞這四樣?xùn)|西我把它拆成了七個(gè)步驟用 Claude 生成講解腳本和分頁(yè)大綱用 Claude 把大綱擴(kuò)寫(xiě)成每一頁(yè) PPT 的文案生成 PPT 文件畫(huà)面素材用 GPT-SoVITS 克隆音色并合成配音把配音按頁(yè)切分和 PPT 頁(yè)面對(duì)齊生成數(shù)字人口型視頻或音頻驅(qū)動(dòng)畫(huà)面合成最終視頻加字幕和轉(zhuǎn)場(chǎng)這七步里第 1 到第 3 步是內(nèi)容與畫(huà)面第 4 到第 5 步是聲音與對(duì)齊第 6 到第 7 步是合成與輸出。每一步都能單獨(dú)跑、單獨(dú)驗(yàn)這就是我堅(jiān)持可拆解的原因。2. GPT-SoVITS 聲音克隆從采樣到可用音色的完整過(guò)程2.1 為什么是 GPT-SoVITS 而不是別的克隆方案開(kāi)源聲音克隆方案我試過(guò)好幾個(gè)最后留在 GPT-SoVITS 上原因有三個(gè)。少樣本效果好。GPT-SoVITS 最大的特點(diǎn)是 few-shot理論上幾分鐘的干凈音頻就能克隆出一個(gè)可用的音色。我實(shí)測(cè)下來(lái)5 到 10 分鐘的高質(zhì)量錄音出來(lái)的效果就已經(jīng)相當(dāng)自然了語(yǔ)氣、停頓、音色都能抓住。相比之下有些方案要幾十分鐘甚至幾小時(shí)的語(yǔ)料才能訓(xùn)出像樣的模型。中英文混讀穩(wěn)。我的腳本里經(jīng)常中英文夾雜比如這個(gè) API 的 latency 大概在 200 毫秒左右。GPT-SoVITS 在中英混讀上的表現(xiàn)比很多純中文方案好不會(huì)一遇到英文單詞就發(fā)音崩掉。訓(xùn)練和推理都能本地跑。這一點(diǎn)直接決定了成本可控。訓(xùn)練一次音色模型之后所有合成都在本地想合成多少條就合成多少條。2.2 錄音采樣的幾個(gè)硬性要求聲音克隆的效果七分靠采樣三分靠模型。我踩過(guò)的坑幾乎都出在采樣上。下面這幾條是我總結(jié)出來(lái)的硬性要求照著做能少走很多彎路。環(huán)境要安靜。不要用帶混響的房間不要開(kāi)風(fēng)扇空調(diào)對(duì)著麥克風(fēng)。我最早在客廳錄出來(lái)的音色總帶著一股空曠感后來(lái)?yè)Q到衣柜里衣服吸音錄效果立刻不一樣。麥克風(fēng)別太差。手機(jī)自帶麥克風(fēng)勉強(qiáng)能用但如果有條件用一個(gè)入門(mén)級(jí)的電容麥信噪比會(huì)好很多。采樣質(zhì)量的上限直接決定了克隆音色的上限。語(yǔ)速和情緒要統(tǒng)一。錄的時(shí)候盡量保持同一個(gè)語(yǔ)速、同一個(gè)情緒狀態(tài)。如果一段錄音里前半段很興奮、后半段很平淡模型學(xué)出來(lái)的音色會(huì)不穩(wěn)定。內(nèi)容要覆蓋常用音素。錄的文本最好包含常見(jiàn)的聲母韻母組合不要只錄一段繞口令。我一般會(huì)準(zhǔn)備一段包含陳述、疑問(wèn)、數(shù)字、英文單詞的文本大概 300 到 500 字讀個(gè)幾遍湊夠 5 到 10 分鐘。格式統(tǒng)一。采樣音頻統(tǒng)一轉(zhuǎn)成單聲道、16kHz 或 32kHz 的 wav避免不同格式混在一起導(dǎo)致預(yù)處理出錯(cuò)。提示錄音的時(shí)候可以故意在句子之間留一點(diǎn)自然停頓這樣模型學(xué)出來(lái)的節(jié)奏更接近真人合成長(zhǎng)文本的時(shí)候不會(huì)一口氣念到底。2.3 訓(xùn)練流程與關(guān)鍵參數(shù)GPT-SoVITS 的訓(xùn)練流程大致分三步數(shù)據(jù)預(yù)處理、訓(xùn)練 GPT 模塊、訓(xùn)練 SoVITS 模塊。這里不展開(kāi)每一步的界面操作重點(diǎn)講幾個(gè)影響效果的參數(shù)。數(shù)據(jù)預(yù)處理這一步會(huì)把長(zhǎng)音頻切成短片段同時(shí)做降噪和靜音切除。切片的粒度很關(guān)鍵切得太碎會(huì)丟失上下文切得太長(zhǎng)又不利于訓(xùn)練。我一般讓工具自動(dòng)切切完之后人工聽(tīng)一遍把明顯有雜音或者念錯(cuò)的片段刪掉。這一步偷懶后面訓(xùn)練出來(lái)的音色就會(huì)帶雜音。訓(xùn)練輪數(shù)epoch是最容易調(diào)錯(cuò)的參數(shù)。輪數(shù)太少音色學(xué)不像輪數(shù)太多會(huì)過(guò)擬合合成出來(lái)的聲音發(fā)悶、發(fā)死。我的經(jīng)驗(yàn)是5 到 10 分鐘語(yǔ)料的情況下先按默認(rèn)輪數(shù)跑一輪聽(tīng)合成效果如果音色不夠像就加輪數(shù)如果開(kāi)始發(fā)悶就減輪數(shù)。不要一上來(lái)就拉滿(mǎn)。學(xué)習(xí)率一般用默認(rèn)值就行除非你有明確的調(diào)參經(jīng)驗(yàn)。聲音克隆這個(gè)任務(wù)對(duì)學(xué)習(xí)率不算特別敏感默認(rèn)值在大多數(shù)情況下都能work。訓(xùn)練完之后一定要用幾段訓(xùn)練集之外的文本做測(cè)試。我見(jiàn)過(guò)不少人用訓(xùn)練集里的句子測(cè)試覺(jué)得效果完美結(jié)果一換新文本就露餡。測(cè)試文本要包含訓(xùn)練時(shí)沒(méi)出現(xiàn)過(guò)的詞這樣才能真實(shí)反映泛化能力。2.4 合成階段的語(yǔ)速與停頓控制訓(xùn)練只是第一步合成階段的控制同樣重要。GPT-SoVITS 合成出來(lái)的音頻默認(rèn)語(yǔ)速和停頓不一定適合視頻講解。我一般會(huì)做兩件事。一是按標(biāo)點(diǎn)切分再合成。不要把一整頁(yè) PPT 的文案一次性丟進(jìn)去合成而是按句號(hào)、問(wèn)號(hào)切分成小段逐段合成再拼起來(lái)。這樣每段的停頓更自然也方便后面和畫(huà)面做對(duì)齊。二是手動(dòng)調(diào)語(yǔ)速。合成參數(shù)里一般有語(yǔ)速控制講解類(lèi)視頻我通常會(huì)把語(yǔ)速調(diào)到略慢于默認(rèn)值聽(tīng)起來(lái)更從容。如果是快節(jié)奏的短視頻可以適當(dāng)加快。合成完之后我會(huì)把音頻導(dǎo)入音頻編輯軟件把明顯的呼吸聲、口水音剪掉把段落之間的靜音統(tǒng)一到 0.3 到 0.5 秒。這一步看起來(lái)瑣碎但對(duì)最終視頻的觀(guān)感影響很大。3. 用 Claude 把一份大綱變成能直接用的 PPT 腳本3.1 讓 Claude 先出結(jié)構(gòu)再填內(nèi)容很多人用大模型寫(xiě) PPT上來(lái)就說(shuō)幫我寫(xiě)一份關(guān)于 XX 的 PPT結(jié)果出來(lái)的東西要么太泛要么結(jié)構(gòu)混亂。我的做法是分兩步走先讓 Claude 出結(jié)構(gòu)確認(rèn)結(jié)構(gòu)沒(méi)問(wèn)題了再讓它逐頁(yè)填內(nèi)容。第一步的提示詞大概是這樣組織的告訴它主題、目標(biāo)受眾、視頻時(shí)長(zhǎng)、大概需要多少頁(yè)然后讓它輸出一個(gè)分頁(yè)大綱每頁(yè)給出標(biāo)題和一句話(huà)要點(diǎn)。這一步不要讓它寫(xiě)正文只要結(jié)構(gòu)。結(jié)構(gòu)確認(rèn)之后第二步再讓它按頁(yè)擴(kuò)寫(xiě)每頁(yè)控制在 100 到 200 字正好對(duì)應(yīng) 30 秒到 1 分鐘的講解。這樣分兩步的好處是結(jié)構(gòu)錯(cuò)了改結(jié)構(gòu)內(nèi)容錯(cuò)了改內(nèi)容不會(huì)混在一起返工。3.2 提示詞里必須交代的幾件事讓 Claude 生成的腳本能直接用于數(shù)字人視頻提示詞里必須交代清楚幾件事否則出來(lái)的東西沒(méi)法用。受眾和語(yǔ)氣。是給技術(shù)同學(xué)講還是給普通用戶(hù)講語(yǔ)氣是嚴(yán)謹(jǐn)還是輕松直接決定用詞。我一般會(huì)明確說(shuō)面向有一定基礎(chǔ)的從業(yè)者語(yǔ)氣直接不要客套話(huà)。每頁(yè)字?jǐn)?shù)上限。數(shù)字人視頻里一頁(yè) PPT 停留時(shí)間有限字?jǐn)?shù)太多觀(guān)眾根本讀不完。我會(huì)明確要求每頁(yè)正文不超過(guò) 150 字要點(diǎn)不超過(guò) 5 條?？谡Z(yǔ)化要求。PPT 上的文字和配音的文案是兩回事。PPT 上要精簡(jiǎn)配音要口語(yǔ)化。我會(huì)讓 Claude 同時(shí)輸出兩份一份是 PPT 頁(yè)面上的精簡(jiǎn)文字一份是配音用的口語(yǔ)化講稿。禁止事項(xiàng)。明確告訴它不要用綜上所述隨著……的發(fā)展這類(lèi)套話(huà)不要用 emoji不要寫(xiě)無(wú)法驗(yàn)證的數(shù)據(jù)。3.3 從大綱到分頁(yè)文案的擴(kuò)寫(xiě)技巧擴(kuò)寫(xiě)這一步我有個(gè)小技巧讓 Claude 按一頁(yè)一個(gè)核心觀(guān)點(diǎn)來(lái)寫(xiě)。每一頁(yè)只講一件事講透不要一頁(yè)塞三個(gè)觀(guān)點(diǎn)。這樣觀(guān)眾看起來(lái)不累配音也好切分。具體操作上我會(huì)給每一頁(yè)指定一個(gè)角色有的頁(yè)是提出問(wèn)題有的頁(yè)是給出方案有的頁(yè)是舉例說(shuō)明有的頁(yè)是總結(jié)要點(diǎn)。讓 Claude 按角色來(lái)寫(xiě)出來(lái)的內(nèi)容層次感會(huì)強(qiáng)很多。另外配音講稿里我會(huì)讓它適當(dāng)加入過(guò)渡句比如我們來(lái)看下一頁(yè)這里有個(gè)細(xì)節(jié)要注意。這些過(guò)渡句在純文本里顯得啰嗦但在視頻里是必要的能讓講解更連貫。3.4 生成 PPT 文件的幾種落地方式Claude 本身不直接生成 pptx 文件但它的輸出可以很方便地轉(zhuǎn)成 PPT。我試過(guò)幾種方式。一種是讓 Claude 輸出結(jié)構(gòu)化的 Markdown 或者 JSON然后用 python-pptx 這類(lèi)庫(kù)批量生成 pptx。這種方式最可控模板可以自己定字體、配色、版式都能統(tǒng)一。缺點(diǎn)是前期要寫(xiě)一點(diǎn)代碼。另一種是讓 Claude 輸出符合某個(gè) PPT 工具導(dǎo)入格式的內(nèi)容比如直接輸出 Markdown再用支持 Markdown 轉(zhuǎn) PPT 的工具轉(zhuǎn)。這種方式上手快但版式控制弱一些。還有一種是用支持 AI 生成 PPT 的工具把 Claude 的輸出粘進(jìn)去。這種方式最省事但可控性最差適合對(duì)版式要求不高的場(chǎng)景。我最終選的是第一種因?yàn)閿?shù)字人視頻對(duì)畫(huà)面一致性要求高模板必須統(tǒng)一。用 python-pptx 生成的時(shí)候我會(huì)把母版、字體、配色都固定下來(lái)每頁(yè)只替換文字內(nèi)容這樣出來(lái)的 PPT 風(fēng)格完全一致。4. 七步流水線(xiàn)的中間三步配音切分、頁(yè)面對(duì)齊與素材準(zhǔn)備4.1 為什么配音要按頁(yè)切分這是整條流水線(xiàn)里最容易被忽略、但最關(guān)鍵的一步。數(shù)字人視頻的本質(zhì)是聲音驅(qū)動(dòng)畫(huà)面如果聲音和畫(huà)面對(duì)不上觀(guān)眾立刻就會(huì)出戲。我的做法是配音按 PPT 頁(yè)面切分一頁(yè)對(duì)應(yīng)一段音頻。具體來(lái)說(shuō)第 3 步生成 PPT 之后我知道了一共有多少頁(yè)第 4 步合成配音的時(shí)候我按頁(yè)合成每一頁(yè)的講稿單獨(dú)合成一段音頻。這樣天然就建立了頁(yè) - 音頻的對(duì)應(yīng)關(guān)系。這樣做還有個(gè)好處如果某一頁(yè)的配音不滿(mǎn)意只需要重新合成那一頁(yè)不用整條重來(lái)。4.2 頁(yè)面與音頻的對(duì)齊策略對(duì)齊這件事有兩種策略。一種是音頻驅(qū)動(dòng)畫(huà)面先有音頻根據(jù)音頻時(shí)長(zhǎng)決定每一頁(yè) PPT 停留多久。這種方式適合講解類(lèi)視頻畫(huà)面跟著講解走節(jié)奏自然。另一種是畫(huà)面驅(qū)動(dòng)音頻先定好每頁(yè)停留時(shí)間再讓配音去適配。這種方式適合有嚴(yán)格時(shí)長(zhǎng)要求的場(chǎng)景比如廣告片。我做講解類(lèi)視頻用的是第一種。每一頁(yè)的音頻時(shí)長(zhǎng)就是這一頁(yè) PPT 的停留時(shí)長(zhǎng)中間加一點(diǎn)轉(zhuǎn)場(chǎng)時(shí)間。這樣觀(guān)眾聽(tīng)到什么就看到什么不會(huì)出現(xiàn)話(huà)還沒(méi)說(shuō)完畫(huà)面就切了的情況。4.3 數(shù)字人形象素材的準(zhǔn)備數(shù)字人形象這塊我用的是音頻驅(qū)動(dòng)靜態(tài)形象或者輕量級(jí)口型動(dòng)畫(huà)的方案。核心思路是準(zhǔn)備一張正面、清晰、光線(xiàn)均勻的人物圖或者用虛擬形象然后用音頻去驅(qū)動(dòng)口型。素材準(zhǔn)備有幾個(gè)注意點(diǎn)。人物圖最好是正面、閉嘴、表情自然的這樣口型驅(qū)動(dòng)的效果最好。背景盡量干凈方便后期摳圖或者疊加。如果是虛擬形象要確保形象和音色匹配別出現(xiàn)蘿莉音配大叔臉這種違和感。4.4 中間環(huán)節(jié)的校驗(yàn)清單在進(jìn)入最后的合成之前我會(huì)做一次完整的校驗(yàn)。這一步能省掉大量返工。校驗(yàn)項(xiàng)檢查內(nèi)容常見(jiàn)問(wèn)題腳本頁(yè)數(shù)與大綱一致無(wú)錯(cuò)別字?jǐn)U寫(xiě)時(shí)多出或漏掉頁(yè)面PPT版式統(tǒng)一字體無(wú)缺失特殊字體在別的機(jī)器上顯示異常配音每頁(yè)音頻完整無(wú)爆音合成時(shí)截?cái)嗷螂s音對(duì)齊頁(yè)數(shù)與音頻段數(shù)一致某頁(yè)音頻缺失導(dǎo)致錯(cuò)位形象圖片清晰背景干凈分辨率不夠?qū)е潞铣珊竽：@張表我每次跑流水線(xiàn)都會(huì)過(guò)一遍尤其是頁(yè)數(shù)和音頻段數(shù)一致這一條一旦對(duì)不上后面全亂。5. 最后兩步口型合成與視頻輸出的實(shí)操細(xì)節(jié)5.1 口型合成的兩種技術(shù)路線(xiàn)口型合成這塊主流有兩條路線(xiàn)。一條是基于音頻特征驅(qū)動(dòng)口型把音頻的梅爾頻譜或者音素特征映射到口型參數(shù)上再驅(qū)動(dòng)人物圖或者模型。這種方式輕量、快適合批量生產(chǎn)缺點(diǎn)是口型精度一般遇到復(fù)雜發(fā)音會(huì)有點(diǎn)糊。另一條是基于生成模型的口型合成用擴(kuò)散模型或者 GAN 直接生成帶口型的人物視頻。這種方式效果好口型自然但計(jì)算量大對(duì)顯卡要求高。我做批量?jī)?nèi)容選的是第一條路線(xiàn)因?yàn)樗俣群统杀靖煽亍Ｈ绻鼍穯螚l視頻可以上第二條路線(xiàn)。5.2 合成參數(shù)對(duì)最終觀(guān)感的影響口型合成有幾個(gè)參數(shù)會(huì)明顯影響觀(guān)感?？谛头取７忍】雌饋?lái)像沒(méi)在說(shuō)話(huà)幅度太大又顯得夸張。我一般會(huì)調(diào)到中等偏上讓口型清晰但不夸張。頭部動(dòng)作幅度。純靜態(tài)的數(shù)字人看起來(lái)像照片加一點(diǎn)自然的頭部微動(dòng)會(huì)生動(dòng)很多。但幅度不能大否則會(huì)顯得晃。眨眼頻率。如果形象有眼睛眨眼頻率要接近真人大概每 3 到 5 秒一次。頻率不對(duì)會(huì)顯得很假。這些參數(shù)沒(méi)有標(biāo)準(zhǔn)答案我的建議是先跑一條短的測(cè)試視頻看效果再調(diào)別一上來(lái)就合成整條。5.3 視頻合成與字幕、轉(zhuǎn)場(chǎng)的處理最后一步是把畫(huà)面、音頻、字幕、轉(zhuǎn)場(chǎng)合到一起。我用的是常見(jiàn)的視頻處理工具鏈核心是把前面幾步產(chǎn)出的素材按時(shí)間軸拼起來(lái)。字幕這塊我會(huì)從配音的講稿直接生成按句切分和音頻對(duì)齊。字幕樣式要統(tǒng)一字號(hào)、顏色、位置固定不要每頁(yè)都變。轉(zhuǎn)場(chǎng)我一般用最簡(jiǎn)單的淡入淡出或者直接硬切。數(shù)字人講解類(lèi)視頻花哨的轉(zhuǎn)場(chǎng)反而分散注意力。硬切最干凈觀(guān)眾注意力始終在內(nèi)容上。輸出參數(shù)上我一般用 1080p、30 幀、H.264 編碼這個(gè)組合兼容性最好上傳到各個(gè)平臺(tái)都不會(huì)出問(wèn)題。如果對(duì)文件大小敏感可以適當(dāng)降低碼率但不要低于 4Mbps否則畫(huà)面會(huì)有明顯壓縮痕跡。5.4 整條流水線(xiàn)的耗時(shí)與優(yōu)化跑完整條流水線(xiàn)一條十分鐘的視頻我的機(jī)器上大概需要這些時(shí)間腳本生成幾分鐘取決于模型響應(yīng)PPT 生成幾十秒配音合成幾分鐘口型合成是耗時(shí)大頭可能十幾分鐘到半小時(shí)最后合成幾分鐘。整體下來(lái)一條視頻從腳本到成片大概一兩個(gè)小時(shí)。優(yōu)化的重點(diǎn)在口型合成這一步。我的做法是把口型合成和配音合成并行配音合成完一頁(yè)就開(kāi)始合成那一頁(yè)的口型不用等全部配音完成。這樣能省下不少等待時(shí)間。另外PPT 生成和腳本生成可以提前批量做好配音和口型合成是串行的這兩步是瓶頸。如果要做批量生產(chǎn)可以考慮多機(jī)并行把不同的視頻分到不同機(jī)器上跑。6. 跑通之后我總結(jié)的幾條經(jīng)驗(yàn)6.1 采樣質(zhì)量決定上限別在這省時(shí)間這句話(huà)我重復(fù)多少遍都不為過(guò)。聲音克隆的效果采樣質(zhì)量占七成。我見(jiàn)過(guò)太多人花大量時(shí)間調(diào)模型參數(shù)結(jié)果采樣本身就有雜音、有混響怎么調(diào)都出不來(lái)好效果。與其在參數(shù)上糾結(jié)不如把錄音環(huán)境弄干凈、把麥克風(fēng)換好一點(diǎn)、把錄音文本準(zhǔn)備充分。這是投入產(chǎn)出比最高的一件事。6.2 腳本和配音分開(kāi)寫(xiě)別偷懶PPT 上的文字和配音的講稿是兩種不同的東西。PPT 要精簡(jiǎn)配音要口語(yǔ)化。如果偷懶用同一份文案要么 PPT 上字太多觀(guān)眾讀不完要么配音太書(shū)面聽(tīng)起來(lái)像念稿。讓 Claude 同時(shí)輸出兩份多花不了多少時(shí)間效果差很多。6.3 中間環(huán)節(jié)一定要人工過(guò)一遍流水線(xiàn)再自動(dòng)中間環(huán)節(jié)也得人工校驗(yàn)。尤其是腳本和配音機(jī)器生成的東西難免有錯(cuò)別字、有邏輯不通的地方。我一般會(huì)在腳本生成后、配音合成前各過(guò)一遍把明顯的問(wèn)題改掉。這一步花十分鐘能省掉后面半小時(shí)的返工。6.4 先跑通最小閉環(huán)再優(yōu)化細(xì)節(jié)我一開(kāi)始就想著把每個(gè)環(huán)節(jié)都做到完美結(jié)果卡在聲音克隆上好久整條鏈路一直沒(méi)跑通。后來(lái)改變策略先用最粗糙的素材把七步跑通一遍看到成片之后再回頭逐個(gè)環(huán)節(jié)優(yōu)化。這個(gè)思路救了我。先有閉環(huán)再有優(yōu)化不要反過(guò)來(lái)。6.5 版本管理很重要腳本、PPT、音頻、視頻每一版都存好命名規(guī)范。我吃過(guò)虧改到第五版的時(shí)候想回到第二版結(jié)果發(fā)現(xiàn)沒(méi)存?，F(xiàn)在我的做法是每一版都帶日期和版本號(hào)重要的節(jié)點(diǎn)單獨(dú)備份。數(shù)字人視頻這種多環(huán)節(jié)協(xié)作的活兒版本管理能救命。這套流水線(xiàn)我到現(xiàn)在還在用也還在改。GPT-SoVITS 的模型在更新Claude 的能力在變強(qiáng)視頻合成的工具也在迭代。但核心思路沒(méi)變把復(fù)雜的事情拆成可獨(dú)立驗(yàn)證的步驟每一步都做到可控整條鏈路自然就穩(wěn)了。如果你也想搭一套自己的數(shù)字人生產(chǎn)工具建議從最小閉環(huán)開(kāi)始先跑通再優(yōu)化別一上來(lái)就追求完美。