簡介這份資源是斯坦福大學(xué)Stefan Wager于2024年9月更新的《Causal Inference: A Statistical Learning Approach》教科書草稿面向數(shù)據(jù)科學(xué)、統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)與公共政策領(lǐng)域的學(xué)習(xí)者和研究者幫助讀者用統(tǒng)計(jì)學(xué)習(xí)方法系統(tǒng)理解因果推斷的理論框架與實(shí)踐工具。壓縮包內(nèi)共1個(gè)PDF文件大小約1.66MB內(nèi)容為完整英文教材目錄結(jié)構(gòu)清晰便于按章節(jié)檢索學(xué)習(xí)。全書從隨機(jī)對(duì)照試驗(yàn)的差異均值估計(jì)與回歸調(diào)整講起依次覆蓋無混淆與傾向得分、雙重穩(wěn)健方法與雙重機(jī)器學(xué)習(xí)、異質(zhì)處理效應(yīng)估計(jì)、政策學(xué)習(xí)、自適應(yīng)實(shí)驗(yàn)、平衡估計(jì)器以及回歸斷點(diǎn)設(shè)計(jì)等核心主題并延伸至內(nèi)生處理、局部平均處理效應(yīng)、溢出與干擾等進(jìn)階內(nèi)容。目前已有1998人學(xué)習(xí)下載適合希望從基礎(chǔ)概念逐步深入到前沿方法的讀者也可作為課程教學(xué)與科研參考的案頭資料。1. 因果推斷為什么隨機(jī)化能讓你看見“平行世界”因果推斷最反直覺的地方在于它要回答的問題本質(zhì)上是一個(gè)永遠(yuǎn)無法直接觀測的“平行世界”問題。你吃了藥病好了——但如果沒吃藥呢那個(gè)“沒吃藥的你”現(xiàn)在是什么狀態(tài)沒人知道。這就是因果推斷領(lǐng)域公認(rèn)的“根本問題”每個(gè)個(gè)體在某一時(shí)刻只能接受一種處理我們永遠(yuǎn)只能觀測到潛在結(jié)果中的一個(gè)。斯坦福大學(xué)2024年的這本《Causal Inference: A Statistical Learning Approach》開篇就直面這個(gè)困境用Neyman-Rubin潛在結(jié)果框架把“因果效應(yīng)”定義為一個(gè)可計(jì)算的差值?? Y?(1) ? Y?(0)。這個(gè)差值本身不可觀測但隨機(jī)化實(shí)驗(yàn)讓我們可以估計(jì)它的某些整體性質(zhì)。換句話說因果推斷不是去“看見”平行世界而是通過隨機(jī)化讓兩個(gè)世界的可比群體在統(tǒng)計(jì)意義上等價(jià)從而讓差值可估計(jì)。這本書從隨機(jī)對(duì)照試驗(yàn)出發(fā)一路講到雙重穩(wěn)健估計(jì)、異質(zhì)處理效應(yīng)、政策學(xué)習(xí)、自適應(yīng)實(shí)驗(yàn)、回歸斷點(diǎn)設(shè)計(jì)覆蓋了因果推斷從基礎(chǔ)到前沿的完整鏈條。搞懂這套框架的底層邏輯比記住任何一個(gè)估計(jì)量的公式都重要。2. 隨機(jī)化為什么能“無中生有”從差分均值到回歸調(diào)整2.1 差分均值估計(jì)量的無偏性從何而來隨機(jī)對(duì)照試驗(yàn)中最樸素的估計(jì)量是差分均值把處理組的平均結(jié)果減去對(duì)照組的平均結(jié)果。這個(gè)估計(jì)量之所以能無偏地估計(jì)樣本平均處理效應(yīng)核心機(jī)制在于隨機(jī)化本身。當(dāng)處理分配W?與潛在結(jié)果{Y?(0), Y?(1)}獨(dú)立時(shí)處理組和對(duì)照組在期望意義上就是“同一批人”的兩個(gè)副本。書中給出的定理1.1證明了這個(gè)結(jié)論在SUTVA穩(wěn)定單位處理值假設(shè)和隨機(jī)分配條件下差分均值估計(jì)量是有限樣本無偏的。這個(gè)結(jié)論的強(qiáng)度在于它不依賴任何分布假設(shè)——你不需要假設(shè)結(jié)果服從正態(tài)分布也不需要假設(shè)潛在結(jié)果來自某個(gè)特定總體。隨機(jī)化本身就是識(shí)別策略。但無偏性只解決了“估計(jì)量的期望等于真值”這個(gè)問題它沒有告訴你估計(jì)誤差有多大。要構(gòu)造置信區(qū)間就需要引入總體抽樣假設(shè)假設(shè)研究參與者是從某個(gè)總體中獨(dú)立抽取的。在這個(gè)假設(shè)下中心極限定理給出差分均值估計(jì)量的漸近正態(tài)性其方差為VDM Var[Y?(0)]/(1?π) Var[Y?(1)]/π其中π是處理分配概率。這個(gè)方差公式揭示了一個(gè)設(shè)計(jì)層面的權(quán)衡當(dāng)π接近0或1時(shí)某一組的樣本量會(huì)非常小方差急劇膨脹。所以實(shí)踐中通常取π0.5讓兩組樣本量盡量均衡。書中還給出了方差的插件估計(jì)量用樣本方差替代總體方差并證明了其一致性。這些結(jié)果構(gòu)成了隨機(jī)對(duì)照試驗(yàn)統(tǒng)計(jì)分析的標(biāo)準(zhǔn)工具箱。2.2 回歸調(diào)整用協(xié)變量換方差縮減差分均值估計(jì)量雖然無偏但它沒有利用任何預(yù)處理協(xié)變量信息。如果你在實(shí)驗(yàn)前測量了受試者的年齡、性別、基線指標(biāo)等變量這些信息可以用來做什么書中第1.2節(jié)給出了答案回歸調(diào)整。具體做法是在差分均值的基礎(chǔ)上加入?yún)f(xié)變量與處理指示變量的交互項(xiàng)通過最小二乘回歸來估計(jì)處理效應(yīng)。這個(gè)估計(jì)量在隨機(jī)化條件下仍然是無偏的但方差通常比差分均值估計(jì)量更小。為什么回歸調(diào)整能縮減方差直覺是這樣的如果某個(gè)協(xié)變量X與結(jié)果Y高度相關(guān)那么X的變異會(huì)貢獻(xiàn)到Y(jié)的方差中。通過回歸把X的影響“扣除”掉殘差的方差就變小了處理效應(yīng)估計(jì)的精度自然提高。書中給出了一個(gè)關(guān)鍵結(jié)論當(dāng)協(xié)變量與結(jié)果的關(guān)聯(lián)越強(qiáng)方差縮減的效果越明顯。但這里有一個(gè)常見的坑回歸調(diào)整的方差縮減效果依賴于模型設(shè)定的正確性。如果你假設(shè)處理效應(yīng)是常數(shù)即沒有交互項(xiàng)但真實(shí)情況是處理效應(yīng)隨協(xié)變量變化那么回歸調(diào)整可能會(huì)引入偏差。所以書中建議在隨機(jī)試驗(yàn)中即使做了回歸調(diào)整也應(yīng)該報(bào)告差分均值的結(jié)果作為參照。2.3 從隨機(jī)試驗(yàn)到觀察性研究的橋梁隨機(jī)對(duì)照試驗(yàn)是因果推斷的“黃金標(biāo)準(zhǔn)”但很多現(xiàn)實(shí)問題無法做隨機(jī)實(shí)驗(yàn)——你不可能隨機(jī)分配一個(gè)人去吸煙。那么觀察性研究怎么做因果推斷書中第2章給出了核心答案無混淆性假設(shè)。這個(gè)假設(shè)說的是在控制了協(xié)變量X之后處理分配W與潛在結(jié)果{Y(0), Y(1)}獨(dú)立。換句話說所有同時(shí)影響處理選擇和結(jié)果的混雜因素都被觀測到了。在這個(gè)假設(shè)下觀察性研究就可以模仿隨機(jī)試驗(yàn)的分析框架。但無混淆性假設(shè)本身是不可檢驗(yàn)的——你永遠(yuǎn)不知道有沒有遺漏的混雜因素。這就是為什么書中花了大量篇幅討論傾向得分方法。傾向得分e(X) P(W1|X)把高維協(xié)變量壓縮成一個(gè)一維分?jǐn)?shù)在無混淆性假設(shè)下只要控制住傾向得分就能平衡所有協(xié)變量。這個(gè)性質(zhì)叫做“平衡性”是傾向得分方法的核心機(jī)制。書中第2.1節(jié)的分層估計(jì)和2.2節(jié)的逆傾向加權(quán)都是基于這個(gè)性質(zhì)。逆傾向加權(quán)的思想尤其巧妙它通過給每個(gè)樣本賦予權(quán)重1/e(X)或1/(1?e(X))構(gòu)造出一個(gè)“偽總體”在這個(gè)偽總體中處理組和對(duì)照組的協(xié)變量分布是相同的。這相當(dāng)于用加權(quán)的方式“模擬”了一個(gè)隨機(jī)試驗(yàn)。3. 雙重穩(wěn)健與雙重機(jī)器學(xué)習(xí)當(dāng)兩個(gè)模型都錯(cuò)的時(shí)候還能剩下什么3.1 雙重穩(wěn)健估計(jì)的“雙保險(xiǎn)”機(jī)制傾向得分方法有一個(gè)致命弱點(diǎn)如果傾向得分模型設(shè)定錯(cuò)誤估計(jì)量就有偏。同樣如果結(jié)果回歸模型設(shè)定錯(cuò)誤基于回歸的估計(jì)量也有偏。雙重穩(wěn)健估計(jì)的巧妙之處在于它同時(shí)使用傾向得分模型和結(jié)果回歸模型只要其中一個(gè)模型設(shè)定正確估計(jì)量就是一致的。這就像給估計(jì)量上了雙保險(xiǎn)——你不需要知道哪個(gè)模型是對(duì)的只要不是兩個(gè)都錯(cuò)就行。書中第3章給出了雙重穩(wěn)健估計(jì)的一般形式。以逆傾向加權(quán)和回歸調(diào)整的結(jié)合為例雙重穩(wěn)健估計(jì)量可以寫成τ_DR (1/n) Σ [ (W?Y?)/ê(X?) ? ((1?W?)Y?)/(1?ê(X?)) ] ? (1/n) Σ [ (W? ? ê(X?))/ê(X?) * m??(X?) ... ]這個(gè)公式看起來復(fù)雜但機(jī)制可以這樣理解第一項(xiàng)是逆傾向加權(quán)的估計(jì)量第二項(xiàng)是一個(gè)“校正項(xiàng)”用結(jié)果回歸模型來修正傾向得分模型的誤差。當(dāng)傾向得分模型正確時(shí)校正項(xiàng)的期望為零估計(jì)量退化為逆傾向加權(quán)當(dāng)結(jié)果回歸模型正確時(shí)校正項(xiàng)恰好抵消了逆傾向加權(quán)的偏差。這種“互相糾錯(cuò)”的結(jié)構(gòu)就是雙重穩(wěn)健性的來源。3.2 雙重機(jī)器學(xué)習(xí)用交叉擬合打破過擬合的詛咒雙重穩(wěn)健估計(jì)有一個(gè)前提傾向得分和結(jié)果回歸模型必須滿足一定的收斂速度。如果模型過擬合估計(jì)量反而會(huì)有偏。這個(gè)問題在高維協(xié)變量場景下尤其嚴(yán)重——當(dāng)協(xié)變量維度很高時(shí)機(jī)器學(xué)習(xí)模型很容易過擬合導(dǎo)致傾向得分估計(jì)不準(zhǔn)。書中第3.1節(jié)介紹的雙重機(jī)器學(xué)習(xí)Double Machine Learning通過交叉擬合cross-fitting解決了這個(gè)問題。交叉擬合的做法是把數(shù)據(jù)分成K折對(duì)于每一折用其他K?1折的數(shù)據(jù)訓(xùn)練傾向得分模型和結(jié)果回歸模型然后用訓(xùn)練好的模型對(duì)當(dāng)前折的樣本進(jìn)行預(yù)測。這樣做的目的是打破模型訓(xùn)練誤差和估計(jì)誤差之間的相關(guān)性。如果沒有交叉擬合模型在訓(xùn)練集上的過擬合會(huì)導(dǎo)致傾向得分估計(jì)在訓(xùn)練樣本上過于極端接近0或1從而放大逆傾向加權(quán)的方差。交叉擬合確保了用于估計(jì)處理效應(yīng)的傾向得分是在“未見過的數(shù)據(jù)”上預(yù)測的從而避免了過擬合帶來的偏差。書中給出了雙重機(jī)器學(xué)習(xí)估計(jì)量的漸近正態(tài)性結(jié)果并證明了在一定的正則條件下即使使用復(fù)雜的機(jī)器學(xué)習(xí)模型如隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)雙重機(jī)器學(xué)習(xí)估計(jì)量仍然可以達(dá)到參數(shù)收斂速度。這個(gè)結(jié)果的深刻之處在于它表明你不需要為了統(tǒng)計(jì)推斷而犧牲模型的靈活性。你可以用機(jī)器學(xué)習(xí)模型來捕捉復(fù)雜的非線性關(guān)系同時(shí)仍然獲得有效的置信區(qū)間。3.3 有效估計(jì)與半?yún)?shù)效率界雙重機(jī)器學(xué)習(xí)不僅是一致的它還是漸近有效的——也就是說在所有正則估計(jì)量中它的漸近方差達(dá)到了最小值。這個(gè)最小值由半?yún)?shù)效率界給出。書中第3.2節(jié)推導(dǎo)了無混淆性假設(shè)下的效率界并證明了雙重機(jī)器學(xué)習(xí)估計(jì)量達(dá)到了這個(gè)界。這個(gè)結(jié)果的實(shí)踐意義是如果你相信無混淆性假設(shè)成立那么雙重機(jī)器學(xué)習(xí)估計(jì)量就是你所能構(gòu)造的最優(yōu)估計(jì)量——沒有其他估計(jì)量能在漸近意義上比它更精確。但這里有一個(gè)重要的提醒效率界的達(dá)到依賴于傾向得分和結(jié)果回歸模型的收斂速度滿足一定條件。具體來說兩個(gè)模型的預(yù)測誤差乘積必須比n^{-1/2}衰減得更快。這個(gè)條件在低維協(xié)變量場景下通常滿足但在高維場景下需要模型具有稀疏性或其他結(jié)構(gòu)。如果這個(gè)條件不滿足雙重機(jī)器學(xué)習(xí)估計(jì)量可能達(dá)不到效率界甚至可能不一致。所以書中反復(fù)強(qiáng)調(diào)雙重穩(wěn)健性不是免費(fèi)的午餐它需要模型選擇的正則化條件來支撐。4. 異質(zhì)處理效應(yīng)為什么“平均”會(huì)掩蓋真相4.1 從平均效應(yīng)到條件平均效應(yīng)傳統(tǒng)的因果推斷關(guān)注平均處理效應(yīng)ATE但平均效應(yīng)可能掩蓋了處理效應(yīng)在不同人群中的巨大差異。比如一種藥對(duì)某些人有效、對(duì)另一些人無效甚至有害平均效應(yīng)可能接近零但這并不意味著藥物沒有效果。書中第4章轉(zhuǎn)向異質(zhì)處理效應(yīng)關(guān)注條件平均處理效應(yīng)CATEτ(x) E[Y(1) ? Y(0) | X x]。這個(gè)量刻畫了處理效應(yīng)如何隨協(xié)變量x變化。估計(jì)CATE的難點(diǎn)在于你需要在每個(gè)x處估計(jì)兩個(gè)潛在結(jié)果的期望但每個(gè)樣本只能觀測到一個(gè)潛在結(jié)果。直接的做法是對(duì)處理組和對(duì)照組分別建模然后做差。但這種做法在高維協(xié)變量場景下容易過擬合。書中第4.1節(jié)介紹了半?yún)?shù)建模方法通過假設(shè)CATE具有某種低維結(jié)構(gòu)如線性或稀疏線性來降低估計(jì)難度。第4.2節(jié)則介紹了一種更靈活的方法直接為處理異質(zhì)性設(shè)計(jì)一個(gè)損失函數(shù)通過最小化這個(gè)損失函數(shù)來估計(jì)CATE而不需要分別建模兩個(gè)潛在結(jié)果。4.2 異質(zhì)性估計(jì)的損失函數(shù)設(shè)計(jì)直接估計(jì)CATE的一個(gè)關(guān)鍵挑戰(zhàn)是你無法觀測到個(gè)體處理效應(yīng)??所以無法直接定義預(yù)測誤差。書中給出的解決方案是構(gòu)造一個(gè)“偽結(jié)果”使得這個(gè)偽結(jié)果的期望等于CATE。具體來說對(duì)于任何函數(shù)f(x)定義L(f) E[ (Y ? f(X))2 | W1 ] ? E[ (Y ? f(X))2 | W0 ]這個(gè)損失函數(shù)的巧妙之處在于它的最小值點(diǎn)就是CATE函數(shù)τ(x)。換句話說你不需要知道??只需要最小化這個(gè)可觀測的損失函數(shù)就能得到CATE的估計(jì)。這個(gè)損失函數(shù)被稱為“R-loss”或“異質(zhì)性損失”。它的推導(dǎo)利用了傾向得分在無混淆性假設(shè)下E[Y|X, W1] ? E[Y|X, W0] τ(X)。所以最小化處理組和對(duì)照組的預(yù)測誤差之差等價(jià)于最小化CATE的估計(jì)誤差。這個(gè)損失函數(shù)的實(shí)踐意義是它把CATE估計(jì)問題轉(zhuǎn)化為了一個(gè)標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)問題。你可以用任何回歸方法線性回歸、隨機(jī)森林、梯度提升樹來最小化這個(gè)損失函數(shù)從而得到CATE的估計(jì)。書中還討論了如何用交叉驗(yàn)證來選擇超參數(shù)以及如何構(gòu)造CATE的置信區(qū)間。這些方法使得異質(zhì)處理效應(yīng)的估計(jì)變得像訓(xùn)練一個(gè)預(yù)測模型一樣簡單。4.3 異質(zhì)性估計(jì)的常見陷阱異質(zhì)性估計(jì)最容易踩的坑是“過擬合異質(zhì)性”。當(dāng)你用高維協(xié)變量和靈活模型來估計(jì)CATE時(shí)模型可能會(huì)捕捉到噪聲而不是真實(shí)的異質(zhì)性。這會(huì)導(dǎo)致你發(fā)現(xiàn)一些看似顯著的處理效應(yīng)差異但實(shí)際上這些差異只是隨機(jī)波動(dòng)。書中建議的做法是先用一個(gè)獨(dú)立的驗(yàn)證集來評(píng)估CATE估計(jì)的穩(wěn)定性或者使用交叉擬合來避免過擬合。另一個(gè)坑是“忽略傾向得分”。如果處理分配概率e(X)隨X變化那么直接比較處理組和對(duì)照組的條件均值會(huì)引入偏差。正確的做法是在損失函數(shù)中加入傾向得分的逆權(quán)重或者使用雙重穩(wěn)健的CATE估計(jì)量。5. 政策學(xué)習(xí)與自適應(yīng)實(shí)驗(yàn)當(dāng)因果推斷遇上決策優(yōu)化5.1 政策學(xué)習(xí)從估計(jì)效應(yīng)到做決策估計(jì)處理效應(yīng)只是第一步真正的挑戰(zhàn)是基于估計(jì)的效應(yīng)你應(yīng)該做什么決策比如你估計(jì)出不同人群對(duì)某種干預(yù)的反應(yīng)不同那么你應(yīng)該把有限的資源分配給哪些人群這就是政策學(xué)習(xí)要解決的問題。書中第5章把政策學(xué)習(xí)形式化為一個(gè)經(jīng)驗(yàn)福利最大化問題你需要找到一個(gè)決策規(guī)則π(x)使得在所有樣本上應(yīng)用這個(gè)規(guī)則的平均福利最大化。政策學(xué)習(xí)的核心困難在于“反事實(shí)評(píng)估”你只能觀測到實(shí)際執(zhí)行的政策的結(jié)果無法觀測到如果執(zhí)行另一個(gè)政策會(huì)怎樣。書中第5.1節(jié)介紹了政策評(píng)估的方法通過逆傾向加權(quán)或雙重穩(wěn)健估計(jì)來評(píng)估一個(gè)候選政策的福利。第5.2節(jié)則介紹了經(jīng)驗(yàn)福利最大化的算法把政策學(xué)習(xí)轉(zhuǎn)化為一個(gè)分類問題通過最小化一個(gè)“政策遺憾”的代理損失函數(shù)來找到最優(yōu)政策。這個(gè)代理損失函數(shù)的構(gòu)造與CATE估計(jì)中的R-loss類似都是利用傾向得分來構(gòu)造一個(gè)可觀測的替代目標(biāo)。5.2 自適應(yīng)實(shí)驗(yàn)在收集數(shù)據(jù)的同時(shí)做決策傳統(tǒng)的隨機(jī)對(duì)照試驗(yàn)是“固定設(shè)計(jì)”的你先確定樣本量然后收集數(shù)據(jù)最后分析。但很多場景下你需要在實(shí)驗(yàn)過程中動(dòng)態(tài)調(diào)整處理分配——比如多臂老虎機(jī)問題。書中第6章介紹了自適應(yīng)實(shí)驗(yàn)的設(shè)計(jì)和分析方法。自適應(yīng)實(shí)驗(yàn)的核心挑戰(zhàn)是數(shù)據(jù)收集過程本身依賴于之前收集的數(shù)據(jù)這破壞了傳統(tǒng)統(tǒng)計(jì)推斷的獨(dú)立性假設(shè)。如果你用標(biāo)準(zhǔn)的t檢驗(yàn)來分析自適應(yīng)實(shí)驗(yàn)的數(shù)據(jù)第一類錯(cuò)誤率會(huì)失控。書中第6.1節(jié)介紹了低遺憾數(shù)據(jù)收集策略如Thompson采樣和UCB算法。這些策略在探索嘗試不同的處理以獲取信息和利用選擇當(dāng)前看起來最好的處理之間做權(quán)衡。第6.2節(jié)則介紹了自適應(yīng)數(shù)據(jù)收集后的推斷方法。關(guān)鍵思想是你需要構(gòu)造一個(gè)“始終有效”的置信序列而不是傳統(tǒng)的固定樣本量置信區(qū)間。置信序列在任意停止時(shí)間都保持有效性從而允許你在實(shí)驗(yàn)過程中隨時(shí)查看結(jié)果并決定是否停止。這個(gè)性質(zhì)對(duì)于自適應(yīng)實(shí)驗(yàn)至關(guān)重要因?yàn)樗试S你在不破壞統(tǒng)計(jì)有效性的前提下進(jìn)行序貫決策。5.3 自適應(yīng)實(shí)驗(yàn)的推斷陷阱自適應(yīng)實(shí)驗(yàn)最容易踩的坑是“偷看數(shù)據(jù)”。如果你在實(shí)驗(yàn)過程中反復(fù)查看p值并在p值小于0.05時(shí)停止實(shí)驗(yàn)?zāi)敲吹谝活愬e(cuò)誤率會(huì)遠(yuǎn)高于5%。這是因?yàn)槟憬o了自己多次“碰運(yùn)氣”的機(jī)會(huì)。書中建議的做法是要么使用置信序列來構(gòu)造始終有效的推斷要么使用alpha-spending函數(shù)來分配第一類錯(cuò)誤預(yù)算。另一個(gè)坑是“忽略自適應(yīng)分配對(duì)推斷的影響”。在自適應(yīng)實(shí)驗(yàn)中處理分配概率依賴于歷史數(shù)據(jù)這導(dǎo)致不同樣本之間不再獨(dú)立。標(biāo)準(zhǔn)的方差估計(jì)量在這種情況下是有偏的需要使用專門為自適應(yīng)實(shí)驗(yàn)設(shè)計(jì)的方差估計(jì)量。6. 避坑指南因果推斷實(shí)踐中的五個(gè)血淚教訓(xùn)6.1 混淆變量沒控制住一切白搭現(xiàn)象你做了一個(gè)觀察性研究發(fā)現(xiàn)處理組和對(duì)照組的結(jié)果差異顯著但審稿人指出你遺漏了一個(gè)關(guān)鍵混淆變量。原因無混淆性假設(shè)是觀察性因果推斷的基石。如果存在未觀測的混淆變量那么無論你用多復(fù)雜的估計(jì)量結(jié)果都是有偏的。這個(gè)假設(shè)本身不可檢驗(yàn)所以你必須用領(lǐng)域知識(shí)來論證它的合理性。解決在研究設(shè)計(jì)階段就盡可能多地收集協(xié)變量并在論文中明確討論未觀測混淆變量的可能影響。如果可能使用工具變量或斷點(diǎn)回歸等不需要無混淆性假設(shè)的方法。6.2 傾向得分模型設(shè)定錯(cuò)誤逆傾向加權(quán)反而放大偏差現(xiàn)象你用邏輯回歸估計(jì)傾向得分然后做逆傾向加權(quán)結(jié)果估計(jì)量比差分均值還要離譜。原因逆傾向加權(quán)對(duì)傾向得分模型的設(shè)定非常敏感。如果傾向得分模型遺漏了重要的非線性項(xiàng)或交互項(xiàng)那么估計(jì)出的傾向得分就會(huì)有系統(tǒng)偏差。更糟糕的是逆傾向加權(quán)會(huì)給傾向得分接近0或1的樣本賦予極大的權(quán)重這些樣本的微小誤差會(huì)被放大。解決使用雙重穩(wěn)健估計(jì)量它在你傾向得分模型錯(cuò)誤時(shí)仍然一致只要結(jié)果回歸模型正確。同時(shí)檢查傾向得分的分布如果有很多樣本的傾向得分接近0或1考慮使用修剪trimming或重疊權(quán)重overlap weights。6.3 交叉擬合沒做雙重機(jī)器學(xué)習(xí)變成了雙重過擬合現(xiàn)象你用隨機(jī)森林估計(jì)傾向得分和結(jié)果回歸然后直接代入雙重機(jī)器學(xué)習(xí)的公式結(jié)果估計(jì)量的偏差比預(yù)期大很多。原因如果沒有交叉擬合模型在訓(xùn)練集上的過擬合會(huì)導(dǎo)致傾向得分估計(jì)在訓(xùn)練樣本上過于極端結(jié)果回歸的殘差也會(huì)偏小。這破壞了雙重機(jī)器學(xué)習(xí)估計(jì)量的漸近性質(zhì)。解決始終使用交叉擬合。把數(shù)據(jù)分成至少5折用其他折的數(shù)據(jù)訓(xùn)練模型用當(dāng)前折的數(shù)據(jù)做預(yù)測。這樣得到的傾向得分和結(jié)果回歸預(yù)測是“樣本外”的避免了過擬合帶來的偏差。6.4 異質(zhì)性估計(jì)過擬合發(fā)現(xiàn)了不存在的“亞組效應(yīng)”現(xiàn)象你用因果森林估計(jì)CATE發(fā)現(xiàn)某個(gè)亞組的處理效應(yīng)特別大但用獨(dú)立數(shù)據(jù)驗(yàn)證時(shí)這個(gè)效應(yīng)消失了。原因CATE估計(jì)本質(zhì)上是一個(gè)高維回歸問題。如果你用靈活的模型和大量的協(xié)變量模型很容易捕捉到噪聲而不是真實(shí)的異質(zhì)性。特別是當(dāng)樣本量不夠大時(shí)過擬合幾乎不可避免。解決使用交叉驗(yàn)證來選擇模型的復(fù)雜度或者使用因果森林的“誠實(shí)估計(jì)”honest estimation方法把數(shù)據(jù)分成兩半一半用于確定樹的結(jié)構(gòu)另一半用于估計(jì)葉節(jié)點(diǎn)的CATE。另外對(duì)發(fā)現(xiàn)的亞組效應(yīng)進(jìn)行多重檢驗(yàn)校正。6.5 自適應(yīng)實(shí)驗(yàn)用固定樣本推斷第一類錯(cuò)誤率失控現(xiàn)象你在自適應(yīng)實(shí)驗(yàn)中每隔一段時(shí)間查看一次結(jié)果當(dāng)p值小于0.05時(shí)停止實(shí)驗(yàn)并報(bào)告顯著。結(jié)果發(fā)現(xiàn)假陽性率遠(yuǎn)高于5%。原因固定樣本的推斷方法假設(shè)你只查看一次數(shù)據(jù)。如果你反復(fù)查看每次查看都是一次獨(dú)立的檢驗(yàn)多次檢驗(yàn)會(huì)累積第一類錯(cuò)誤率。解決使用置信序列或alpha-spending方法。置信序列在任意停止時(shí)間都保持有效性允許你隨時(shí)查看數(shù)據(jù)。alpha-spending方法則預(yù)先分配第一類錯(cuò)誤預(yù)算確保在整個(gè)實(shí)驗(yàn)過程中的總體第一類錯(cuò)誤率不超過預(yù)設(shè)水平。7. 設(shè)計(jì)取舍因果推斷的“不可能三角”與你的選擇因果推斷的方法選擇本質(zhì)上是在三個(gè)維度之間做取舍偏差、方差和計(jì)算復(fù)雜度。差分均值估計(jì)量偏差最小在隨機(jī)化條件下無偏但方差可能很大回歸調(diào)整可以縮減方差但引入了模型設(shè)定偏差的風(fēng)險(xiǎn)雙重穩(wěn)健估計(jì)量在模型正確時(shí)偏差和方差都較小但計(jì)算復(fù)雜度更高且需要交叉擬合來避免過擬合。這個(gè)“不可能三角”沒有 universally optimal 的解法選擇取決于你的具體場景和假設(shè)強(qiáng)度。我一般會(huì)這么理解如果你能做隨機(jī)實(shí)驗(yàn)優(yōu)先做隨機(jī)實(shí)驗(yàn)然后用回歸調(diào)整來縮減方差。如果你只能做觀察性研究先問自己無混淆性假設(shè)是否合理——如果不合理考慮工具變量或斷點(diǎn)回歸。如果無混淆性假設(shè)合理用雙重機(jī)器學(xué)習(xí)作為默認(rèn)方法因?yàn)樗瑫r(shí)具備一致性和漸近有效性。如果你關(guān)心異質(zhì)性處理效應(yīng)用因果森林或R-loss方法但一定要做交叉驗(yàn)證和誠實(shí)估計(jì)。如果你在做自適應(yīng)實(shí)驗(yàn)從一開始就設(shè)計(jì)好推斷策略不要等到實(shí)驗(yàn)結(jié)束才想怎么分析。驗(yàn)證方法上我習(xí)慣做三件事第一用模擬數(shù)據(jù)驗(yàn)證估計(jì)量的無偏性——生成已知處理效應(yīng)的合成數(shù)據(jù)看估計(jì)量是否圍繞真值波動(dòng)第二用安慰劑檢驗(yàn)驗(yàn)證無混淆性——用一個(gè)理論上不應(yīng)該有處理效應(yīng)的結(jié)果變量做分析如果發(fā)現(xiàn)“顯著效應(yīng)”說明存在未控制的混淆第三用敏感性分析評(píng)估未觀測混淆變量的影響——計(jì)算如果存在一個(gè)未觀測混淆變量它需要多強(qiáng)才能推翻你的結(jié)論。這本書最值得深挖的地方在于它把統(tǒng)計(jì)學(xué)習(xí)方法和因果推斷框架做了系統(tǒng)性的融合。傳統(tǒng)的因果推斷教材往往停留在線性模型和參數(shù)方法而這本書從雙重機(jī)器學(xué)習(xí)到因果森林從政策學(xué)習(xí)到自適應(yīng)實(shí)驗(yàn)覆蓋了現(xiàn)代機(jī)器學(xué)習(xí)工具在因果推斷中的最新應(yīng)用。每一章都配有習(xí)題和文獻(xiàn)注記適合作為研究生教材或自學(xué)參考。如果你已經(jīng)會(huì)用Python或R做數(shù)據(jù)分析但想搞懂“為什么隨機(jī)化能識(shí)別因果效應(yīng)”“雙重穩(wěn)健為什么穩(wěn)健”“異質(zhì)性估計(jì)為什么容易過擬合”這些底層問題這本書的推導(dǎo)和例子能給你扎實(shí)的答案。從那以后我每次做因果推斷分析都強(qiáng)制走一遍“假設(shè)檢查→模型選擇→交叉擬合→敏感性分析”的流程不再跳過任何一個(gè)環(huán)節(jié)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取