LongCat-Video模型選擇指南LongCat-Video、Avatar與Avatar 1.5該選哪個(gè)【免費(fèi)下載鏈接】LongCat-Video項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LongCat-VideoLongCat-Video 是美團(tuán)開源的 13.6B 參數(shù)視頻生成模型家族一個(gè)框架里提供了基礎(chǔ)視頻生成LongCat-Video、音頻驅(qū)動(dòng)數(shù)字人Avatar和升級(jí)版數(shù)字人Avatar 1.5三套模型。很多新手下載了倉(cāng)庫(kù)卻不知道從哪入手——這篇指南用大白話講清楚三者分別能做什么、參數(shù)和速度有何差異、你的場(chǎng)景該選哪個(gè)并附上一鍵運(yùn)行步驟幫你 10 分鐘跑通第一個(gè)數(shù)字人視頻。一、先搞清楚三個(gè)模型各是什么LongCat-Video 采用統(tǒng)一架構(gòu)設(shè)計(jì)文本生成視頻Text-to-Video、圖像生成視頻Image-to-Video、視頻續(xù)寫Video-Continuation都由同一個(gè)模型原生支持配合塊稀疏注意力Block Sparse Attention和由粗到細(xì)的生成策略幾分鐘內(nèi)即可生成 720p、30fps 的長(zhǎng)視頻。維度LongCat-VideoAvatar (1.0)Avatar 1.5定位基礎(chǔ)視頻生成底座音頻驅(qū)動(dòng)數(shù)字人生產(chǎn)級(jí)音頻驅(qū)動(dòng)數(shù)字人核心能力文生視頻、圖生視頻、長(zhǎng)視頻續(xù)寫、交互式生成音頻文本/圖像生成口播視頻支持單人/多人音頻流更準(zhǔn)的嘴型同步、風(fēng)格化角色、快速推理音頻編碼器—無(wú)音頻輸入Wav2Vec2Whisper-Large-v3同步更準(zhǔn)推理速度常規(guī)步數(shù)常規(guī)步數(shù)步數(shù)蒸餾最快8 步出片支持 INT8 量化省顯存長(zhǎng)視頻原生支持分鐘級(jí)續(xù)寫無(wú)色彩漂移支持分段續(xù)寫物理合理性與時(shí)間穩(wěn)定性更強(qiáng)適用對(duì)象內(nèi)容創(chuàng)作、創(chuàng)意短片口播視頻、單人數(shù)字人正式交付的口播、訪談、對(duì)唱類視頻 簡(jiǎn)單記憶LongCat-Video 管畫面Avatar 管開口說(shuō)話Avatar 1.5 管說(shuō)得又快又準(zhǔn)。二、如何根據(jù)場(chǎng)景選擇模型場(chǎng)景 1只需要畫面不涉及說(shuō)話 → 選 LongCat-Video寫一句提示詞生成短片、給一張靜態(tài)圖加動(dòng)作、把已有視頻續(xù)寫成分鐘級(jí)長(zhǎng)片或是做可交互的視頻用底座模型即可。相關(guān)入口腳本文生視頻run_demo_text_to_video.py圖生視頻run_demo_image_to_video.py長(zhǎng)視頻續(xù)寫run_demo_long_video.py交互式生成run_demo_interactive_video.py不想寫命令直接啟動(dòng)網(wǎng)頁(yè)界面run_streamlit.py場(chǎng)景 2做單人數(shù)字人口播 → 選 Avatar 或 1.5輸入一張人物照片 一段音頻如唱歌、朗讀模型會(huì)生成嘴型匹配的動(dòng)態(tài)視頻支持音頻文本at2v和音頻圖像ai2v兩種模式還能通過(guò)--num_segments分段續(xù)寫長(zhǎng)口播。示例配置可直接參考 assets/avatar/single_example_1.json場(chǎng)景 3做雙人對(duì)話、對(duì)唱等多人視頻 → 選 Avatar / 1.5 多人模式多人模式支持兩路音頻輸入audio_type有兩種玩法para合并模式兩段音頻等長(zhǎng)同時(shí)疊加播放適合雙人同時(shí)說(shuō)話的訪談、對(duì)唱add拼接模式先后說(shuō)話自動(dòng)靜音補(bǔ)齊間隙適合一問(wèn)一答。示例配置見(jiàn) assets/avatar/multi_example_1.json三、Avatar 與 Avatar 1.5 的關(guān)鍵差異嘴型同步1.5 用 Whisper-Large-v3 替換 Wav2Vec2口型對(duì)齊明顯更準(zhǔn)速度1.5 通過(guò)步數(shù)蒸餾step distillation把推理壓到8 步且--use_distill在 1.5 上是必選項(xiàng)顯存1.5 支持 INT8 量化--use_int8顯存更省消費(fèi)級(jí)顯卡更友好泛化1.5 擴(kuò)展到動(dòng)漫、動(dòng)物、復(fù)雜真實(shí)場(chǎng)景等風(fēng)格化領(lǐng)域長(zhǎng)時(shí)間生成時(shí)物理合理性和時(shí)序穩(wěn)定性也更強(qiáng)畫質(zhì)兩者均支持 480P / 720P--resolution控制1.5 輸出 25fps1.0 為 16fps。結(jié)論新項(xiàng)目直接上Avatar 1.5只有當(dāng)你需要與 1.0 權(quán)重完全對(duì)齊時(shí)才選 Avatar 1.0。音頻處理相關(guān)源碼在 longcat_video/audio_process/模型主體定義在 longcat_video/modules/avatar/想深入原理可閱讀 LongCat-Video-Avatar-1.5-Tech-Report.pdf。四、快速上手從克隆到出片的最快路徑第 1 步獲取代碼git clone --single-branch --branch main https://gitcode.com/GitHub_Trending/lo/LongCat-Video cd LongCat-Video第 2 步搭建環(huán)境conda create -n longcat-video python3.10 conda activate longcat-video # 安裝 PyTorch 與 FlashAttention-2按 CUDA 版本調(diào)整 pip install torch2.6.0cu124 torchvision0.21.0cu124 torchaudio2.6.0 --index-url https://download.pytorch.org/whl/cu124 pip install ninja psutil packaging pip install flash_attn2.7.4.post1 # 安裝依賴Avatar 功能額外需要 librosa、ffmpeg 與音頻依賴 pip install -r requirements.txt conda install -c conda-forge librosa conda install -c conda-forge ffmpeg pip install -r requirements_avatar.txt第 3 步下載模型權(quán)重三個(gè)模型按需用哪個(gè)下哪個(gè)pip install huggingface_hub[cli] huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5第 4 步跑通第一個(gè)數(shù)字人視頻torchrun --nproc_per_node2 run_demo_avatar_single_audio_to_video.py \ --context_parallel_size2 \ --checkpoint_dir./weights/LongCat-Video-Avatar-1.5 \ --stage_1ai2v \ --input_jsonassets/avatar/single_example_1.json \ --use_distill --model_type avatar-v1.5 --use_int8多人視頻則運(yùn)行 run_demo_avatar_multi_audio_to_video.py單人腳本為 run_demo_avatar_single_audio_to_video.py。項(xiàng)目采用 MIT 協(xié)議開源見(jiàn) LICENSE可放心用于商業(yè)場(chǎng)景。五、避坑清單官方推薦的關(guān)鍵參數(shù)音頻 CFGaudio_guidance_scale3–5 之間效果最佳想嘴型更準(zhǔn)就調(diào)高提示詞要長(zhǎng)要細(xì)1.5 明確建議寫出人物外貌、動(dòng)作、場(chǎng)景例如一位黑色長(zhǎng)發(fā)的年輕女性微笑著說(shuō)話穿白色襯衫坐在明亮的咖啡館里比短句效果好得多緩解重復(fù)動(dòng)作--ref_img_index在 0–24 之間保證一致性設(shè) 30 可減少重復(fù)動(dòng)作--mask_frame_range默認(rèn) 3適當(dāng)調(diào)大可進(jìn)一步抑制重復(fù)但過(guò)大易出偽影分辨率顯存緊張先用 480p 驗(yàn)證流程再切 720p 出成片。六、常見(jiàn)問(wèn)題FAQQ顯存不夠怎么辦優(yōu)先使用 Avatar 1.5 的--use_int8量化 8 步蒸餾顯存占用最低多卡可用--context_parallel_size做上下文并行context parallel 實(shí)現(xiàn)見(jiàn) longcat_video/context_parallel/。Q三個(gè)模型權(quán)重要全下載嗎不用。只跑基礎(chǔ)視頻下 LongCat-Video做數(shù)字人下 Avatar-1.5 即可其依賴底座模型的 tokenizer/VAE 組件。Q音頻必須是純?nèi)寺晢崮_本內(nèi)置了人聲分離audio-separator會(huì)自動(dòng)從帶背景音的音頻中提取人聲原始音頻直接丟進(jìn)去就行。七、一句話選型總結(jié)創(chuàng)意短片、圖生視頻、長(zhǎng)視頻→ LongCat-Video?單人/多人數(shù)字人口播新項(xiàng)目→ LongCat-Video-Avatar 1.5--model_type avatar-v1.5 --use_distill --use_int8與舊版 1.0 行為對(duì)齊的存量流程→ Avatar 1.0選對(duì)模型只是第一步配合長(zhǎng)提示詞與合理的音頻 CFG你的數(shù)字人視頻就能直接進(jìn)入交付水準(zhǔn)?！久赓M(fèi)下載鏈接】LongCat-Video項(xiàng)目地址: https://gitcode.com/GitHub_Trending/lo/LongCat-Video創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考