AI繪畫Textual Inversion與Embedding的區(qū)別與應(yīng)用你好在SD的世界里除了大模型和LoRA還有一個(gè)輕量級的魔法工具——Embedding也叫Textual Inversion。它體積小巧但非常實(shí)用特別是負(fù)向Embedding幾乎是每個(gè)玩家的必備。今天我們來徹底搞懂它。一、什么是Embedding/Textual Inversion1.1 通俗理解Embedding是概念的濃縮膠囊。如果說Checkpoint大模型是一本百科全書LoRA是這本書的補(bǔ)充章節(jié)那么Embedding就是書中的一個(gè)特殊詞匯定義——它教會AI理解一個(gè)新的詞或一組詞代表什么意思。比如你可以訓(xùn)練一個(gè)Embedding來定義一種特殊的發(fā)光效果。之后只要在Prompt中輸入這個(gè)Embedding的名字AI就知道你想要那種發(fā)光效果。1.2 技術(shù)本質(zhì)Embedding實(shí)際上是CLIP文本編碼器中的一些向量vector。它不修改U-Net大模型的核心只修改文本編碼階段——告訴CLIP當(dāng)遇到這個(gè)詞時(shí)把它理解為這個(gè)向量。這就是為什么Embedding文件很小通常只有幾十KB到幾MB且使用時(shí)不需要額外的權(quán)重參數(shù)。1.3 與LoRA的區(qū)別維度EmbeddingLoRA修改范圍只修改文本編碼修改U-Net注意力層文件大小幾十KB-幾MB幾MB-幾百M(fèi)B效果強(qiáng)度較輕較強(qiáng)訓(xùn)練難度較簡單較復(fù)雜使用方式直接在Prompt中用關(guān)鍵詞lora:名稱:權(quán)重主要用途負(fù)向過濾/簡單概念角色/風(fēng)格/復(fù)雜概念二、負(fù)向Embedding每個(gè)玩家的必備2.1 為什么需要負(fù)向EmbeddingSD的訓(xùn)練數(shù)據(jù)中有大量低質(zhì)量圖片。雖然負(fù)向Prompt如low quality, blurry能過濾一些但Embedding可以提供更精確、更有效的過濾。 負(fù)向Embedding就是打包好的一組負(fù)向提示詞用一個(gè)詞就能激活。2.2 必裝的負(fù)向EmbeddingEasyNegative最經(jīng)典的負(fù)向Embedding有效過濾低質(zhì)量、畸形、模糊的圖片幾乎每個(gè)Prompt都應(yīng)該加放在負(fù)向Prompt中EasyNegativebadhandv4專門改善手部問題減少手指畸形、多余手指不能完全解決手部問題但能顯著改善用法badhandv4negative_hand-neg另一個(gè)手部優(yōu)化Embedding可以與badhandv4一起使用Deep Negative綜合性的負(fù)向Embedding覆蓋多種質(zhì)量問題2.3 負(fù)向Embedding使用示例標(biāo)準(zhǔn)負(fù)向Prompt模板EasyNegative, badhandv4, low quality, blurry, jpeg artifacts, watermark, signature, deformed, distorted, bad anatomy, extra limbs, missing fingers, fused fingers, ugly, poorly drawn 將.pt或.safetensors文件放入embeddings/文件夾在Prompt中直接輸入文件名即可不需要擴(kuò)展名。三、正向Embedding3.1 風(fēng)格類EmbeddingPureErosFace一種特定的人臉風(fēng)格ulzzang-6500韓系臉贊風(fēng)格epi_noiseoffset增加畫面細(xì)節(jié)和質(zhì)感3.2 概念類Embedding一些Embedding定義了特定的視覺概念特定的光影效果特定的色彩風(fēng)格特定的材質(zhì)質(zhì)感四、Embedding的使用方法4.1 安裝下載.pt或.safetensors文件放入stable-diffusion-webui/embeddings/4.2 使用在Prompt中直接輸入Embedding文件名不帶擴(kuò)展名best quality, 1girl, PureErosFace, ...?? Embedding不需要尖括號和權(quán)重參數(shù)和LoRA的區(qū)別。它在Prompt中的作用就像一個(gè)普通的關(guān)鍵詞。4.3 管理技巧在WebUI中點(diǎn)擊Show extra networks可以看到所有Embedding給好的Embedding在文件名前加數(shù)字標(biāo)記如01_EasyNegative方便排序定期清理不用的Embedding五、總結(jié)? Embedding是輕量級的概念膠囊修改CLIP文本編碼而非U-Net? 文件極小KB-MB級使用簡單直接輸入名稱? 負(fù)向EmbeddingEasyNegative/badhandv4是每個(gè)SD玩家必備? 與LoRA互補(bǔ)Embedding簡單輕量LoRA功能更強(qiáng)? 負(fù)向Prompt推薦模板EasyNegative badhandv4 常規(guī)負(fù)向詞? 正向Embedding可以提供特定的風(fēng)格或概念效果掌握Embedding雖然簡單但它是提升出圖質(zhì)量最省力的方法之一。特別是EasyNegative加不加效果差距明顯下一篇預(yù)告AI繪畫ControlNet是什么以及它能做什么——從此告別AI隨機(jī)出圖