概率圖模型、貝葉斯模型、VAE和GAN這四個詞放在一起很多人第一反應(yīng)是這能放一塊講嗎。能而且必須放一塊講。因為它們本質(zhì)上都在回答同一個問題當我們面對一個充滿不確定性的世界時如何用一個可計算的框架去描述它、推斷它、甚至生成它。我接觸這幾個方向是從做異常檢測開始的。當時需要在一個沒有標簽的數(shù)據(jù)集上判斷哪些樣本不對勁試過孤立森林、One-Class SVM效果都一般。后來轉(zhuǎn)向概率圖模型做密度估計才真正理解了用概率描述世界這件事的威力。再往后深入發(fā)現(xiàn)VAE和GAN雖然看起來是深度學(xué)習(xí)的東西但它們的根都在概率推斷里。VAE的ELBO推導(dǎo)本質(zhì)就是變分推斷GAN的對抗訓(xùn)練背后是最小化JS散度。不理解概率圖模型和貝葉斯推斷看VAE和GAN的論文就只能停留在調(diào)包層面。這篇文章我打算把這四個東西串起來講。不是教科書式的定義羅列而是按照為什么需要它→它怎么工作→它和前后左右的關(guān)系是什么→實際用的時候要注意什么這條線來展開。適合有一定機器學(xué)習(xí)基礎(chǔ)、想真正搞懂生成模型底層邏輯的讀者。如果你只是想知道怎么調(diào)庫這篇文章可能不太適合你但如果你想在面試里把VAE和GAN的區(qū)別講清楚或者想在自己的項目里判斷該用哪個模型那往下看。1. 從不確定性說起為什么我們需要概率圖模型1.1 確定性模型的局限在哪里傳統(tǒng)機器學(xué)習(xí)模型大多在做一件事給定輸入x輸出一個確定的y。圖像分類輸出類別回歸輸出數(shù)值。這種范式在很多場景下工作得很好但它有一個隱含假設(shè)——世界是確定的或者至少噪聲是可以被平均掉的?，F(xiàn)實往往不是這樣。同一個癥狀可能對應(yīng)多種疾病同一句話可能有多重含義同一個用戶行為可能出于完全不同的動機。這時候如果模型只輸出一個確定答案它其實是在假裝自己很確定而忽略了真實存在的不確定性。概率圖模型的核心思想就是不要假裝確定而是把不確定性顯式地建模出來。它用節(jié)點表示隨機變量用邊表示變量之間的依賴關(guān)系整個圖就是一個聯(lián)合概率分布的緊湊表示。1.2 圖結(jié)構(gòu)到底在表達什么很多人學(xué)概率圖模型的時候卡在為什么要有圖這一步。直接用聯(lián)合概率分布不行嗎舉個例子。假設(shè)有5個二值隨機變量聯(lián)合分布有2^5 - 1 31個參數(shù)。如果有20個變量呢2^20 - 1超過一百萬。參數(shù)量隨變量數(shù)指數(shù)增長根本沒法估計。但如果我們知道這些變量之間的依賴關(guān)系是稀疏的——比如每個變量只和它的鄰居直接相關(guān)——那就可以用圖來編碼這種稀疏性。貝葉斯網(wǎng)絡(luò)里一個變量的條件概率只依賴于它的父節(jié)點馬爾可夫隨機場里一個變量的條件概率只依賴于它的鄰居。參數(shù)量從指數(shù)級降到線性級。這就是圖的威力它把哪些變量直接相關(guān)這個先驗知識編碼進了模型結(jié)構(gòu)里從而大幅降低了需要學(xué)習(xí)的參數(shù)量。1.3 有向圖和無向圖的分工概率圖模型分兩大陣營有向圖貝葉斯網(wǎng)絡(luò)和無向圖馬爾可夫隨機場。有向圖的邊有方向A→B表示A是B的原因。聯(lián)合分布可以分解為每個節(jié)點在給定父節(jié)點下的條件概率的乘積P(x?, x?, ..., x?) ∏? P(x? | parents(x?))無向圖的邊沒有方向表示變量之間的相關(guān)性。聯(lián)合分布用團勢函數(shù)的乘積來表示需要除以一個歸一化常數(shù)Z配分函數(shù)。實際用的時候怎么選如果變量之間有明確的因果方向用有向圖如果只是相關(guān)性或者因果關(guān)系循環(huán)用無向圖。我個人的經(jīng)驗是做因果推斷優(yōu)先有向圖做圖像分割、社交網(wǎng)絡(luò)分析這類任務(wù)無向圖更自然。注意有向圖里不能有環(huán)這是貝葉斯網(wǎng)絡(luò)的定義要求。如果你發(fā)現(xiàn)自己的因果假設(shè)里有循環(huán)要么重新審視假設(shè)要么改用無向圖或者動態(tài)貝葉斯網(wǎng)絡(luò)。2. 貝葉斯模型從先驗到后驗的推斷邏輯2.1 貝葉斯定理不只是公式貝葉斯定理寫出來就一行P(θ | D) P(D | θ) · P(θ) / P(D)但它的含義遠不止一行。它說的是我們對參數(shù)的信念先驗P(θ)在看到數(shù)據(jù)D之后應(yīng)該更新為后驗P(θ | D)。更新的力度取決于數(shù)據(jù)D在假設(shè)θ下的似然P(D | θ)。這個框架的美妙之處在于它把學(xué)習(xí)這件事從找最優(yōu)參數(shù)變成了更新信念分布。頻率學(xué)派說參數(shù)是固定的、未知的貝葉斯學(xué)派說參數(shù)本身就有分布數(shù)據(jù)的作用是讓我們對這個分布的認識更精確。2.2 共軛先驗讓計算可行的關(guān)鍵技巧貝葉斯推斷最大的計算障礙是分母P(D)P(D) ∫ P(D | θ) · P(θ) dθ這個積分在高維空間里幾乎不可能解析計算。共軛先驗就是來解決這個問題的。如果先驗分布和后驗分布屬于同一個分布族那先驗就叫似然的共軛先驗。比如似然共軛先驗后驗伯努利Beta分布Beta分布多項式Dirichlet分布Dirichlet分布高斯已知方差高斯分布高斯分布泊松Gamma分布Gamma分布用共軛先驗的好處是后驗有閉式解不需要做數(shù)值積分。這在概率圖模型里特別重要因為圖模型里有很多條件概率需要推斷如果每個都做數(shù)值積分計算量會爆炸。2.3 從精確推斷到近似推斷共軛先驗?zāi)芙鉀Q一部分問題但大多數(shù)真實模型里后驗沒有閉式解。這時候就需要近似推斷。兩大類方法變分推斷用一個簡單的分布q(θ)去近似真實后驗p(θ | D)通過優(yōu)化讓q和p盡可能接近。接近程度用KL散度衡量。變分推斷把推斷問題轉(zhuǎn)化成了優(yōu)化問題速度快但精度受限于q的表達能力。采樣方法從后驗分布中采樣用樣本估計期望。MCMC馬爾可夫鏈蒙特卡洛是最經(jīng)典的方法理論上可以收斂到真實后驗但計算量大收斂判斷也麻煩。我自己的經(jīng)驗是數(shù)據(jù)量小、模型簡單的時候用MCMC精度有保障數(shù)據(jù)量大、模型復(fù)雜的時候用變分推斷速度優(yōu)先。現(xiàn)在深度學(xué)習(xí)里的貝葉斯方法基本都是變分推斷的變體。實操心得變分推斷的KL散度是q||p還是p||q結(jié)果差別很大。q||p是均值尋求mode-seeking傾向于讓q集中在p的一個峰上p||q是均值覆蓋mass-covering傾向于讓q覆蓋p的所有峰。VAE里用的是q||p所以生成的樣本有時候會偏保守。3. VAE當變分推斷遇上深度學(xué)習(xí)3.1 VAE到底在優(yōu)化什么VAE變分自編碼器的核心是一個帶隱變量的生成模型p(x) ∫ p(x | z) · p(z) dzx是觀測數(shù)據(jù)比如一張圖片z是隱變量比如圖片的抽象特征p(z)是隱變量的先驗通常取標準正態(tài)分布p(x | z)是解碼器從隱變量生成數(shù)據(jù)。問題還是那個積分。VAE的解法是引入一個編碼器q(z | x)來近似真實后驗p(z | x)然后推導(dǎo)出一個可優(yōu)化的下界——ELBO證據(jù)下界log p(x) ≥ E_q(z|x)[log p(x | z)] - KL(q(z | x) || p(z))第一項是重構(gòu)誤差第二項是KL散度衡量編碼器輸出的分布和先驗的差距。最大化ELBO就是在重構(gòu)得準和隱空間規(guī)整之間找平衡。3.2 重參數(shù)化技巧讓采樣可導(dǎo)VAE訓(xùn)練里有一個技術(shù)細節(jié)特別關(guān)鍵從q(z | x)采樣z這個操作本身是不可導(dǎo)的梯度傳不回去。重參數(shù)化技巧解決了這個問題。假設(shè)q(z | x)是正態(tài)分布N(μ, σ2)我們不直接從N(μ, σ2)采樣而是先采一個標準正態(tài)噪聲ε ~ N(0, 1)然后令z μ σ · ε。這樣z的隨機性來自ε而μ和σ是確定性的、可導(dǎo)的。梯度可以通過μ和σ傳回編碼器。這個技巧看起來簡單但它是VAE能端到端訓(xùn)練的關(guān)鍵。沒有它VAE就只能用強化學(xué)習(xí)里的策略梯度來訓(xùn)練方差大、收斂慢。3.3 VAE的隱空間為什么規(guī)整KL散度項強迫q(z | x)接近標準正態(tài)分布。這意味著隱空間是連續(xù)的相近的z解碼出相近的x隱空間是稠密的從先驗里隨便采一個z解碼出來都像那么回事隱空間是可插值的兩個z之間的線性插值能平滑過渡這三點讓VAE的隱空間特別適合做表示學(xué)習(xí)。我做過一個實驗用VAE編碼人臉然后在隱空間里做算術(shù)戴眼鏡的z減去不戴眼鏡的z加上不戴眼鏡的z解碼出來基本就是戴眼鏡的。這種結(jié)構(gòu)化的隱空間是VAE相比普通自編碼器最大的優(yōu)勢。但代價也很明顯KL散度項太強的時候解碼器會偷懶生成的圖片模糊。這就是VAE生成質(zhì)量不如GAN的根本原因——它為了隱空間的規(guī)整性犧牲了生成分布的銳利度。踩坑記錄我最早訓(xùn)VAE的時候重構(gòu)損失用MSE結(jié)果生成的圖片全是糊的。后來換成感知損失用預(yù)訓(xùn)練網(wǎng)絡(luò)提取特征算距離清晰度明顯提升。再后來發(fā)現(xiàn)MSE本身就是在假設(shè)數(shù)據(jù)服從高斯分布對圖像這種分布高斯假設(shè)太弱了。4. GAN用對抗代替似然4.1 GAN繞開了什么難題GAN的思路和VAE完全不同。它不建模似然不做變分推斷而是直接訓(xùn)練一個生成器G讓它的輸出分布逼近真實數(shù)據(jù)分布。怎么逼近引入一個判別器DD的任務(wù)是區(qū)分真實數(shù)據(jù)和生成數(shù)據(jù)G的任務(wù)是騙過D。兩者交替訓(xùn)練最終G生成的樣本讓D無法區(qū)分。這個框架繞開了概率密度估計這個難題。我們不需要知道p(x)的具體形式只需要能從p(x)里采樣真實數(shù)據(jù)本身就是樣本然后讓G的輸出分布和它對齊。4.2 對抗訓(xùn)練背后的散度GAN的原始目標函數(shù)是min_G max_D E_x~p_data[log D(x)] E_z~p_z[log(1 - D(G(z)))]理論上可以證明當D最優(yōu)時最小化這個目標等價于最小化真實分布和生成分布之間的JS散度。JS散度有個問題當兩個分布沒有重疊的時候JS散度是常數(shù)log 2梯度為0。這就是GAN訓(xùn)練不穩(wěn)定的根源——如果真實分布和生成分布支撐集不重疊判別器完美區(qū)分生成器就得不到有效梯度。WGAN用Wasserstein距離替代JS散度解決了這個問題。Wasserstein距離即使兩個分布不重疊也能提供有意義的梯度。實現(xiàn)上WGAN要求判別器滿足Lipschitz連續(xù)性通過權(quán)重裁剪或者梯度懲罰來實現(xiàn)。4.3 模式崩潰GAN的頑疾模式崩潰mode collapse是GAN最讓人頭疼的問題生成器只生成少數(shù)幾種樣本覆蓋不了真實分布的所有模式。原因在于生成器的目標是騙過判別器而不是覆蓋整個分布。如果生成器發(fā)現(xiàn)生成某一種樣本就能騙過判別器它就會一直生成這種樣本放棄其他模式。緩解方法有不少Mini-batch discrimination讓判別器看一批樣本而不是單個樣本如果一批樣本太相似就判為假Unrolled GAN生成器更新時考慮判別器未來幾步的反應(yīng)Wasserstein距離提供更平滑的梯度讓生成器不容易卡在單一模式多個生成器每個生成器負責(zé)不同模式我自己的經(jīng)驗是WGAN-GP帶梯度懲罰的WGAN在大多數(shù)任務(wù)上最穩(wěn)但訓(xùn)練速度比原始GAN慢。如果追求生成質(zhì)量StyleGAN系列是目前的天花板但結(jié)構(gòu)復(fù)雜訓(xùn)練成本高。實操心得GAN訓(xùn)練時判別器和生成器的更新頻率很關(guān)鍵。原始論文是1:1交替但實踐中判別器更新太頻繁會導(dǎo)致生成器梯度消失更新太少又會讓判別器太弱、生成器得不到有效信號。我一般會監(jiān)控D的準確率保持在60%-80%之間比較健康。如果D準確率接近100%說明判別器太強了要降低它的學(xué)習(xí)率或者減少更新次數(shù)。5. 四個框架的橫向?qū)Ρ扰c選型邏輯5.1 從建模對象看差異框架建模對象推斷方式生成方式概率圖模型聯(lián)合分布P(X)精確/近似推斷ancestral sampling貝葉斯模型后驗P(θ|D)MCMC/變分推斷后驗預(yù)測VAE隱變量模型P(x,z)變分推斷從先驗采樣z解碼GAN生成分布P_G(x)無推斷從噪聲映射概率圖模型和貝葉斯模型是框架VAE和GAN是具體模型。VAE可以看作概率圖模型的一種有隱變量的有向圖它的訓(xùn)練用的是貝葉斯推斷里的變分推斷。GAN則跳出了概率圖模型的框架用對抗的方式直接對齊分布。5.2 什么時候用哪個需要可解釋的因果結(jié)構(gòu)概率圖模型。比如醫(yī)療診斷你需要知道癥狀和疾病之間的依賴關(guān)系而不是一個黑箱輸出概率。需要量化不確定性貝葉斯模型。比如金融風(fēng)控你需要知道預(yù)測的置信區(qū)間而不是一個點估計。需要結(jié)構(gòu)化隱空間VAE。比如做表示學(xué)習(xí)、數(shù)據(jù)壓縮、異常檢測VAE的隱空間有良好的幾何性質(zhì)。需要高質(zhì)量生成GAN。比如圖像生成、風(fēng)格遷移、超分辨率GAN生成的樣本銳利度高。需要密度估計VAE或者標準化流normalizing flow。GAN不提供密度VAE提供的是ELBO下界標準化流提供精確密度。5.3 融合趨勢最近幾年的趨勢是融合。比如VAE-GAN用GAN的判別器增強VAE的重構(gòu)質(zhì)量Adversarial VAE在VAE的ELBO上加對抗損失Normalizing Flow VAE用可逆變換增強后驗的表達能力Diffusion Model本質(zhì)上是層次化VAE但用去噪得分匹配訓(xùn)練生成質(zhì)量超過GANDiffusion Model值得單獨提一句。它把生成過程拆成很多步每步加一點噪聲然后學(xué)習(xí)逆過程。訓(xùn)練目標簡單就是去噪生成質(zhì)量高但采樣慢。現(xiàn)在很多工作在做加速采樣比如DDIM、一致性模型。6. 實際項目中的踩坑與調(diào)參經(jīng)驗6.1 VAE的KL散度權(quán)重VAE的損失是重構(gòu)損失加KL散度。KL項的權(quán)重β直接影響生成質(zhì)量和隱空間規(guī)整度的平衡。β1是標準VAE。β1β-VAE會得到更解耦的隱表示但重構(gòu)質(zhì)量下降。β1會得到更清晰的重構(gòu)但隱空間可能不夠規(guī)整。我的經(jīng)驗是做表示學(xué)習(xí)用β4到10做生成用β0.5到1。如果發(fā)現(xiàn)隱空間有空洞采樣出來解碼是噪聲說明KL項太弱了要加大β。6.2 GAN的梯度懲罰系數(shù)WGAN-GP的梯度懲罰系數(shù)λ一般取10。這個值不是隨便定的它對應(yīng)著Lipschitz常數(shù)和Wasserstein距離估計之間的權(quán)衡。λ太小Lipschitz約束不夠Wasserstein距離估計不準λ太大梯度懲罰主導(dǎo)損失生成質(zhì)量下降。我試過λ從1到10010確實是最穩(wěn)的。如果訓(xùn)練不穩(wěn)定可以先檢查梯度懲罰項的實際值它應(yīng)該接近0如果很大說明判別器不滿足Lipschitz約束。6.3 概率圖模型的結(jié)構(gòu)學(xué)習(xí)概率圖模型最難的不是參數(shù)學(xué)習(xí)是結(jié)構(gòu)學(xué)習(xí)——怎么從數(shù)據(jù)里學(xué)出圖結(jié)構(gòu)?；谠u分的方法如BIC、BDeu在小規(guī)模問題上可行但變量多了就是NP難?；诩s束的方法如PC算法用條件獨立性檢驗來建邊但對檢驗的可靠性很敏感。我的建議是如果領(lǐng)域知識足夠手動定結(jié)構(gòu)如果不夠先用基于約束的方法得到一個初始結(jié)構(gòu)再用領(lǐng)域知識修正。完全自動的結(jié)構(gòu)學(xué)習(xí)在變量超過20個的時候基本不可靠。6.4 貝葉斯模型的先驗選擇先驗的選擇是貝葉斯建模里最藝術(shù)的部分。無信息先驗如均勻分布看起來客觀但在高維空間里會導(dǎo)致后驗不正則化。Jeffreys先驗用Fisher信息矩陣來構(gòu)造有不變性但計算復(fù)雜。弱信息先驗是實踐中最常用的給一個寬的正態(tài)分布或者柯西分布既不完全無信息也不強加太多主觀信念。我個人的原則是如果對參數(shù)有明確的領(lǐng)域知識用信息先驗如果沒有用弱信息先驗如果數(shù)據(jù)量足夠大先驗的影響會被似然淹沒這時候用什么先驗差別不大。注意先驗的選擇會影響后驗的尾部行為。如果做風(fēng)險敏感的任務(wù)比如金融尾部行為很重要要特別小心先驗的選擇。正態(tài)先驗的尾部是指數(shù)衰減的柯西先驗的尾部是多項式衰減的后者更厚尾對異常值更魯棒。7. 從理論到代碼幾個關(guān)鍵實現(xiàn)細節(jié)7.1 VAE的損失函數(shù)實現(xiàn)import torch import torch.nn as nn import torch.nn.functional as F class VAE(nn.Module): def __init__(self, input_dim, hidden_dim, latent_dim): super().__init__() self.encoder nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU() ) self.mu nn.Linear(hidden_dim, latent_dim) self.logvar nn.Linear(hidden_dim, latent_dim) self.decoder nn.Sequential( nn.Linear(latent_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, input_dim), nn.Sigmoid() ) def reparameterize(self, mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * std def forward(self, x): h self.encoder(x) mu, logvar self.mu(h), self.logvar(h) z self.reparameterize(mu, logvar) x_recon self.decoder(z) return x_recon, mu, logvar def vae_loss(x_recon, x, mu, logvar, beta1.0): recon_loss F.binary_cross_entropy(x_recon, x, reductionsum) kl_loss -0.5 * torch.sum(1 logvar - mu.pow(2) - logvar.exp()) return recon_loss beta * kl_loss這里logvar而不是var是為了保證方差為正。重參數(shù)化里std exp(0.5 * logvar)就是σ。7.2 GAN的訓(xùn)練循環(huán)def train_gan(G, D, dataloader, optimizer_G, optimizer_D, latent_dim, n_critic5, clip_value0.01): for real_data, _ in dataloader: batch_size real_data.size(0) # 訓(xùn)練判別器 for _ in range(n_critic): z torch.randn(batch_size, latent_dim) fake_data G(z).detach() real_score D(real_data) fake_score D(fake_data) d_loss -torch.mean(real_score) torch.mean(fake_score) optimizer_D.zero_grad() d_loss.backward() optimizer_D.step() # WGAN的權(quán)重裁剪 for p in D.parameters(): p.data.clamp_(-clip_value, clip_value) # 訓(xùn)練生成器 z torch.randn(batch_size, latent_dim) fake_data G(z) g_loss -torch.mean(D(fake_data)) optimizer_G.zero_grad() g_loss.backward() optimizer_G.step()這是WGAN的簡化實現(xiàn)。n_critic5表示判別器更新5次生成器更新1次。權(quán)重裁剪是WGAN的原始做法實踐中WGAN-GP用梯度懲罰替代效果更好但計算量更大。7.3 貝葉斯推斷的變分實現(xiàn)class BayesianLinear(nn.Module): def __init__(self, in_features, out_features): super().__init__() self.in_features in_features self.out_features out_features # 權(quán)重的變分參數(shù) self.weight_mu nn.Parameter(torch.randn(out_features, in_features) * 0.1) self.weight_logvar nn.Parameter(torch.randn(out_features, in_features) * 0.1) # 偏置的變分參數(shù) self.bias_mu nn.Parameter(torch.randn(out_features) * 0.1) self.bias_logvar nn.Parameter(torch.randn(out_features) * 0.1) def forward(self, x): # 采樣權(quán)重 weight_std torch.exp(0.5 * self.weight_logvar) weight_eps torch.randn_like(weight_std) weight self.weight_mu weight_eps * weight_std bias_std torch.exp(0.5 * self.bias_logvar) bias_eps torch.randn_like(bias_std) bias self.bias_mu bias_eps * bias_std return F.linear(x, weight, bias) def kl_loss(self): # 變分后驗和標準正態(tài)先驗的KL散度 weight_kl -0.5 * torch.sum( 1 self.weight_logvar - self.weight_mu.pow(2) - self.weight_logvar.exp() ) bias_kl -0.5 * torch.sum( 1 self.bias_logvar - self.bias_mu.pow(2) - self.bias_logvar.exp() ) return weight_kl bias_kl貝葉斯神經(jīng)網(wǎng)絡(luò)的核心就是把權(quán)重從確定值變成分布前向傳播時采樣權(quán)重損失函數(shù)里加KL散度項。訓(xùn)練時用重參數(shù)化技巧保證可導(dǎo)。8. 幾個容易混淆的概念澄清8.1 變分推斷和變分自編碼器的關(guān)系變分推斷是一種通用的近似推斷方法VAE是變分推斷在深度學(xué)習(xí)里的一個應(yīng)用。VAE的編碼器就是變分推斷里的變分分布q(z | x)解碼器是生成模型p(x | z)。VAE的創(chuàng)新在于用神經(jīng)網(wǎng)絡(luò)參數(shù)化q和p并且用重參數(shù)化技巧實現(xiàn)了端到端訓(xùn)練。但變分推斷不一定要用神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的變分推斷用指數(shù)族分布來構(gòu)造q用坐標上升法優(yōu)化。VAE只是把q和p都換成了神經(jīng)網(wǎng)絡(luò)。8.2 生成模型和判別模型的區(qū)別判別模型建模P(y | x)給定輸入預(yù)測輸出。生成模型建模P(x)或者P(x, y)可以生成新樣本。但要注意生成模型不一定能生成高質(zhì)量樣本。比如樸素貝葉斯是生成模型但它生成的樣本質(zhì)量很差。VAE和GAN是生成模型但它們的生成能力來自神經(jīng)網(wǎng)絡(luò)的表達能力而不是生成模型這個標簽本身。8.3 隱變量模型和降維的關(guān)系隱變量模型假設(shè)觀測數(shù)據(jù)是由一些不可見的隱變量生成的。如果隱變量維度低于觀測維度那隱變量模型就起到了降維的作用。PCA可以看作一個線性高斯隱變量模型VAE是非線性的版本。但隱變量模型不只是降維。它還可以做密度估計、異常檢測、缺失值填補。隱變量的含義也不一定是低維表示它可以是任何有助于建模觀測數(shù)據(jù)的中間變量。8.4 貝葉斯深度學(xué)習(xí)和傳統(tǒng)深度學(xué)習(xí)的區(qū)別傳統(tǒng)深度學(xué)習(xí)用最大似然或者最大后驗來估計參數(shù)得到一個點估計。貝葉斯深度學(xué)習(xí)用變分推斷或者MCMC來估計參數(shù)的后驗分布得到一個分布。區(qū)別在于不確定性量化。傳統(tǒng)深度學(xué)習(xí)給一個預(yù)測但不知道這個預(yù)測有多可靠。貝葉斯深度學(xué)習(xí)給一個預(yù)測分布可以告訴你置信區(qū)間。但貝葉斯深度學(xué)習(xí)的計算成本高而且先驗的選擇會影響結(jié)果。實踐中如果只是追求預(yù)測精度傳統(tǒng)深度學(xué)習(xí)往往就夠了如果需要不確定性量化才值得上貝葉斯方法。9. 學(xué)習(xí)路徑與資源建議如果你是從零開始我建議按這個順序第一步概率論基礎(chǔ)。條件概率、貝葉斯定理、期望、方差、常見分布。不用太深但基本概念要清楚。第二步概率圖模型入門。從貝葉斯網(wǎng)絡(luò)開始理解有向無環(huán)圖、條件獨立性、d-分離。然后看馬爾可夫隨機場理解無向圖和團勢函數(shù)。推薦Koller的《Probabilistic Graphical Models》書很厚但前幾章讀完就能建立直覺。第三步貝葉斯推斷。理解先驗、后驗、共軛先驗、MCMC、變分推斷。推薦Bishop的《Pattern Recognition and Machine Learning》第10章和第11章。第四步VAE。從ELBO推導(dǎo)開始理解重參數(shù)化技巧然后看原始論文和后續(xù)改進β-VAE、VQ-VAE。代碼實現(xiàn)一遍比看十遍論文都有用。第五步GAN。從原始GAN開始理解對抗訓(xùn)練和JS散度。然后看WGAN、WGAN-GP、StyleGAN。GAN的論文很多但核心思想就那幾個不要被各種變體迷惑。第六步擴散模型。如果對生成模型感興趣擴散模型是現(xiàn)在的前沿。理解前向加噪和反向去噪的過程然后看DDPM、DDIM、一致性模型。我自己的學(xué)習(xí)路徑是反過來的先用了VAE和GAN發(fā)現(xiàn)很多地方不理解才回頭補的概率圖模型和貝葉斯推斷。這種從用到學(xué)的路徑也有好處就是知道每個概念在實際中對應(yīng)什么問題。但缺點是知識體系不系統(tǒng)容易有盲區(qū)。最后分享一個小技巧學(xué)這些模型的時候不要只看公式要動手推導(dǎo)一遍。ELBO的推導(dǎo)、GAN的目標函數(shù)、重參數(shù)化技巧自己推一遍和看別人推一遍理解深度完全不一樣。我當初推ELBO推了三遍才真正搞懂每一項的含義但搞懂之后再看VAE的各種變體就一目了然了。