只要碰過分布偏移和偽相關就一定繞不開 IRM、EIIL、GroupDRO 這三個名字。它們都被歸類到不變學習Invariant Learning的旗幟下目標是解決同一個本質問題訓練數(shù)據(jù)里的相關性哪些是真正跨環(huán)境穩(wěn)定的因果信號哪些只是某個環(huán)境碰巧帶來的偽相關。我在處理某跨平臺系統(tǒng)數(shù)據(jù)時一開始天真地把好幾個來源的數(shù)據(jù)拼在一起做端到端訓練覺得數(shù)據(jù)量大了什么都有結果一到新的測試環(huán)境直接崩盤。后來才意識到這類問題必須在建模時就引入對環(huán)境結構的理解而整個領域最核心的依賴就是環(huán)境標簽——你得先知道每條樣本來自哪個分布才能定義“跨環(huán)境不變”這件事?，F(xiàn)實里環(huán)境標簽往往拿不到、拿不全、甚至成本極高所以工程實踐上的演化路線非常清晰先是 IRM 硬性要求環(huán)境標簽再到 EIIL 自動推斷環(huán)境再到 GroupDRO 用最差組風險來兜底。這篇文章就以這三條路徑為主線把原理、實現(xiàn)、選型和踩坑一次講清楚。1. 不變學習到底在學什么環(huán)境標簽的前世今生1.1 偽相關是怎么把模型帶偏的先看一個幾乎所有教程都會提的例子。想象你要做一個圖像分類模型判斷一張照片里是牛還是駱駝。訓練數(shù)據(jù)里牛的照片幾乎都出現(xiàn)在草地上駱駝的照片幾乎都出現(xiàn)在沙漠里。這時候很多模型并不會去認真學牛的輪廓、蹄子、駝峰這些真正的判別特征而是偷偷學了一個更省事的規(guī)則看到大面積的綠色就說是?？吹酱竺娣e的沙黃色就說是駱駝。這就是偽相關也叫捷徑特征。如果測試數(shù)據(jù)的分布和訓練數(shù)據(jù)一模一樣這個偷懶模型的表現(xiàn)可以相當好畢竟測試時牛大概率還在草地上?？梢坏┑搅苏鎸崍鼍芭Ｕ驹谏衬?、駱駝趴在草地上模型立刻原形畢露。這個現(xiàn)象在學術上有統(tǒng)一的名字叫分布偏移具體到這類情況又常被稱為偽相關泛化失敗。做實際項目的人對它的感受最直接訓練集上漂亮的指標一換環(huán)境就歸零。而且偽相關往往隱藏得很深你根本看不出模型學錯了什么直到線上反饋打臉。1.2 環(huán)境標簽的含義與使用前提環(huán)境標簽environment label指的是每條樣本來自哪一個數(shù)據(jù)子分布的標記。它不一定是監(jiān)督用的類別標簽而是對數(shù)據(jù)來源的分組信息。來源可以是拍攝地點、采集時間、設備類型、用戶群體、協(xié)議版本等等只要這個維度會造成分布差異它就可以作為環(huán)境維度來使用。注意環(huán)境標簽描述的是“數(shù)據(jù)怎么來的”不是“數(shù)據(jù)是什么”這兩者經(jīng)常被混為一談。有了環(huán)境標簽我們就可以給“不變性”下一個嚴格定義如果一個特征表示 Φ 是因果不變的那么在任意環(huán)境 e 中基于該表示訓練出來的最優(yōu)預測器都應該是同一個。換句話說特征里該留的留下該去掉的偽相關去掉之后剩下的部分對環(huán)境的切換不敏感。這正是 IRM 整篇工作的基石。這里說的“因果”并不需要你畫完整的結構方程只需要你能找到那個跨環(huán)境穩(wěn)定的預測規(guī)律——在實踐中這比做完整的因果發(fā)現(xiàn)要便宜得多也正是不變學習能在工程里落地的原因。1.3 為什么不建議直接對特征做無監(jiān)督聚類沒有環(huán)境標簽時很多人第一反應是先跑一個聚類把樣本分成幾組再拿這些組當成環(huán)境標簽。這個思路看起來順理成章但坑非常大。無監(jiān)督聚類是在原始特征空間里找緊湊的簇而模型在訓練早期學到的特征往往已經(jīng)被偽相關主導了。你用這些特征聚類分出來的組大概率是在按顏色、背景、風格等捷徑特征劃分而不是按真正能暴露分布差異的維度劃分。更重要的是聚類出來的分組對下游的任務目標毫無感知。環(huán)境劃分的目標應該是“讓不變學習算法能夠識別出哪些相關性在不同環(huán)境下會變化”這本質上是一個與任務相關的對抗性劃分問題。盲目聚類等于把一個需要優(yōu)化的變量降級成了啟發(fā)式預處理結果往往比隨機分組好不了多少。這也是 EIIL 跟樸素聚類最根本的區(qū)別——它把環(huán)境劃分本身放進了優(yōu)化目標里而聚類只是拿一個與任務無關的幾何度量硬切數(shù)據(jù)。2. IRM第一個把“跨環(huán)境不變”寫成約束的方案2.1 IRM 的目標函數(shù)與因果直覺IRM全稱 Invariant Risk Minimization是這個方向最早被大規(guī)模討論的方案之一。它假設數(shù)據(jù)來自多個環(huán)境 e∈E每個環(huán)境下輸入 x 和標簽 y 的聯(lián)合分布不同但存在一個表示函數(shù) Φ使得在所有環(huán)境下基于 Φ 的最優(yōu)線性分類器 w 都是同一個。換句話說不管數(shù)據(jù)從哪個環(huán)境來只要經(jīng)過 Φ 變換剩下的預測規(guī)律就完全一致。形式化地說IRM 要優(yōu)化的目標是min_Φ Σ_e R_e(w ° Φ) s.t. w ∈ argmin_{w} R_e(w ° Φ)對任意環(huán)境 e 成立這個約束條件的含義很直白不管你從哪個環(huán)境里取數(shù)據(jù)同一個分類頭 w 都應該是最優(yōu)的。如果某個特征只在部分環(huán)境下有用把它扔進表示里就會讓不同環(huán)境下最優(yōu)分類頭互相打架約束條件隨之被破壞。于是優(yōu)化過程就會被逼著把這類特征從表示里剔除出去。可以把它理解成一個內(nèi)部審查機制每個環(huán)境都在檢查同一個分類頭合不合身誰想偷塞私貨都會被揪出來。為什么這個約束能對應到因果直覺因為因果特征有一個很重要的性質它在任何干預環(huán)境下對標簽的預測能力都保持穩(wěn)定。而純統(tǒng)計相關的特征一旦環(huán)境變了預測關系就可能翻轉或消失。IRM 通過在多個環(huán)境之間強制分類頭一致性恰好篩選出了那種“改動環(huán)境也改不動規(guī)律”的特征。這就是不變學習的核心方法論用跨環(huán)境的穩(wěn)定性來逼近因果性而不去直接建模因果圖。2.2 IRMv1 的梯度懲罰到底在懲罰什么原始 IRM 的目標函數(shù)包含一個嵌套優(yōu)化分類頭要在每個環(huán)境內(nèi)部分別最優(yōu)直接求解非常麻煩。所以論文給出了一個實用版本也就是大家熟知的 IRMv1把約束條件松弛成懲罰項IRMv1 Σ_e R_e(w·Φ) λ · Σ_e ‖?_w R_e(w·Φ)‖2注意這里的 w 被固定成一個標量通常是 1.0梯度是對這個標量分類器求的。為什么要這樣做可以這么理解如果把表示 Φ 固定住只看分類頭 w那么每個環(huán)境都有一個對應的最優(yōu) w_e。如果所有環(huán)境共享同一個最優(yōu) w那么把 w 取成任意公共值比如 1.0時每個環(huán)境的風險函數(shù)對 w 的梯度都應該為零。反過來如果某個環(huán)境下的最優(yōu) w_e 明顯偏離公共值在該公共取值處的梯度就比較大。所以梯度范數(shù)的大小可以直接度量“跨環(huán)境最優(yōu)分類頭不一致”的程度它天然就是一個不變性違反程度的評分器。這里有一個實現(xiàn)細節(jié)很容易被忽視懲罰項里求梯度的對象是 w·Φ 這個整體輸出對 w 的梯度不是整個 loss 對模型參數(shù)的梯度。在代碼里通常需要讓 Φ 的輸出不參與對 w 的梯度傳播單獨對 w 求梯度再把這個梯度的 L2 范數(shù)平方作為懲罰加進總 loss。有些初學者直接把 loss.backward() 之后的全體參數(shù)梯度拿去算范數(shù)方向完全不對做出來的東西既不是 IRM 也不是普通的正則化。2.3 一個可復現(xiàn)的 IRM 訓練框架下面給出一段我在模擬項目里驗證過的 PyTorch 風格偽代碼結構上可以直接套用到自己的模型里關鍵在于把環(huán)境維度用 batch 拆開。def irm_loss(phi, w, env_batches, lambda_val): # phi: 特征提取器, w: 標量分類頭 total_loss 0.0 penalty 0.0 for x_e, y_e in env_batches: feats phi(x_e) # [B, D] logits w * feats # 標量分類頭乘特征 loss_e binary_cross_entropy(logits, y_e) # 關鍵計算 loss 對 w 的梯度注意與模型參數(shù)的梯度解耦 grad_w torch.autograd.grad(loss_e, w, create_graphTrue)[0] penalty grad_w.pow(2).mean() total_loss loss_e return total_loss lambda_val * penalty用這個框架時有三個要點。第一環(huán)境必須以 batch 為粒度切分絕不能把多個環(huán)境的數(shù)據(jù)混進同一個 batch否則梯度懲罰會算成混合環(huán)境的平均值環(huán)境間的差異就被抹平了。第二λ 的取值要配合驗證集調(diào)整我第一次跑的時候把 λ 設得太大模型直接放棄了所有特征不僅偽相關沒去掉連因果特征都學不到了。第三如果特征提取器很強、表示維度很高梯度懲罰會被稀釋必要時可以在表示層做降維或加正則讓懲罰項更容易傳導到特征層。這是一組我在多份數(shù)據(jù)上反復驗證過的配置思路不保證所有場景通用但作為起點比盲調(diào)要靠譜得多。2.4 IRM 的硬門檻沒有環(huán)境標簽就走不動IRM 的一切優(yōu)勢都建立在環(huán)境劃分已知的前提上。在學術基準里環(huán)境標簽是數(shù)據(jù)集自帶的研究者只需要按標簽切 batch但在真實項目里這個前提經(jīng)常不成立。我遇到的情況就非常典型手里的數(shù)據(jù)來自多個歷史版本但運營記錄早就把版本字段弄丟了我只能看到一堆混在一起的樣本。這時候 IRM 連第一步都邁不出去因為根本沒有合法的方式來切環(huán)境 batch。有人會說那我用時間戳切、用用戶 ID 切、用設備類型切總有一個能用吧問題在于環(huán)境劃分不是一個可以隨意拍的維度。切錯了環(huán)境不變性約束就會被錯誤地施加在不相干的維度上輕則懲罰項毫無信號重則把有價值的信息誤當成偽相關過濾掉。正是這種“標簽缺失 劃分未知”的現(xiàn)實困境催生了 EIIL 這條研究路線?？梢哉fIRM 把最難的問題留給了使用者不是怎么優(yōu)化而是怎么把環(huán)境標簽搞到手。3. EIIL把環(huán)境劃分本身當成優(yōu)化變量3.1 兩步走的整體架構先推環(huán)境再學不變特征EIILEnvironment Inference for Invariant Learning的核心思想一句話就能概括既然環(huán)境標簽不知道那就把它當成一個待優(yōu)化的變量推斷出一個“對不變學習最不利”的環(huán)境劃分然后用這個劃分去訓練不變模型。整體架構分為兩步。第一步構造一個環(huán)境推斷器 g(x, y)它對每條樣本輸出一個環(huán)境歸屬的概率分布等價于把訓練集劃分成若干個虛擬環(huán)境。第二步在第一步給出的環(huán)境下運行 IRM 風格的訓練。注意這兩個步驟并不是簡單的前后串聯(lián)第一步的推斷目標非常特殊它要找到那個能讓第二步的 IRM 懲罰項最大化也就是讓不變性違反最嚴重的環(huán)境劃分。為什么要找最不利的劃分邏輯是如果某個特征真的是因果不變的那么不管環(huán)境怎么切分跨環(huán)境的最優(yōu)分類頭都保持一致懲罰項不會因為劃分方式而劇烈變化。但如果是偽相關特征存在一種“惡意的”劃分方式能把這種偽相關偽裝成跨環(huán)境穩(wěn)定特征或者正相反能最大限度暴露特征在不同環(huán)境下的不穩(wěn)定。EIIL 用最大化懲罰的方式搜索這種劃分本質上就是在主動做壓力測試在所有可能的虛擬環(huán)境里找那個最有可能讓模型學到偽相關的劃分然后提前把這種風險暴露出來。3.2 為什么偏偏要最大化 IRM 懲罰這里有一個反直覺的點值得展開。IRM 本身是做最小化EIIL 卻在選擇環(huán)境劃分時做最大化一前一后形成一個 min-max 對抗結構。你可以把它理解成一個零和博弈一方是入侵者負責設計最刁鉆的環(huán)境劃分另一方是防御者負責在這種劃分下仍然學到不變特征。最終達到的平衡點就是模型對一切可能環(huán)境劃分都具有魯棒性的狀態(tài)。從算法實現(xiàn)角度看最大化 IRM 懲罰還有一個實際好處它給環(huán)境推斷提供了明確的梯度信號。如果換成一個普通的聚類目標比如最大化組間距離那分組結果和下游不變學習是否有效之間沒有直接聯(lián)系推斷器得不到任何關于“這樣分會讓模型變好還是變壞”的反饋。而 EIIL 把環(huán)境推斷和不變學習的目標直接綁定推斷器每調(diào)整一次劃分都能看到對 IRM 懲罰的影響這讓整個系統(tǒng)端到端可優(yōu)化。需要提醒的是EIIL 本身也繼承了 IRM 的前提假設數(shù)據(jù)里必須存在可恢復的環(huán)境結構。如果數(shù)據(jù)來源真的只有一個分布沒有任何偽相關EIIL 推斷出的“最壞劃分”就會退化到隨機劃分懲罰項也基本沒有信號。所以用 EIIL 之前最好先做一個快速診斷看看不同子集上模型性能是否有顯著差異連差異都沒有的話任何不變學習方法都無從談起。3.3 EIIL 的實操流程與參數(shù)選擇我在自己的模擬項目 X 上實現(xiàn) EIIL 時把流程拆成了四個階段每個階段都有需要盯住的參數(shù)。第一階段預訓練一個參考模型。這個模型用普通 ERM 在全部數(shù)據(jù)上訓練它的作用是為環(huán)境推斷提供初始的預測分布。第二階段設計環(huán)境推斷器。推斷器的輸入是參考模型的輸出特征和標簽輸出是樣本到 K 個虛擬環(huán)境的軟分配。我用了一個兩層的 MLP輸出經(jīng)過 softmax 得到每個樣本的環(huán)境歸屬概率。第三階段把軟分配當作樣本權重把數(shù)據(jù)集重新組織成 K 個虛擬環(huán)境然后計算 IRM 的梯度懲罰并以最大化懲罰為目標更新推斷器參數(shù)。第四階段固定推斷器用推斷出的環(huán)境劃分去訓練最終的不變模型這時訓練目標又切回最小化 IRM loss。關鍵參數(shù)有三個虛擬環(huán)境數(shù)量 K、推斷器學習率、以及 IRM 懲罰系數(shù) λ。K 的選擇不能拍腦袋我測試下來K 太小比如 2時劃分過于粗糙多個不同的偽相關模式會擠在同一組里互相抵消K 太大時每組樣本量不足梯度懲罰的方差劇增。從 3 到 5 起步是比較穩(wěn)的區(qū)間。推斷器的學習率一般要比主模型小一到兩個數(shù)量級否則環(huán)境歸屬在訓練早期劇烈震蕩體系會陷入不穩(wěn)定。λ 的調(diào)整策略和 IRM 一致但要注意 EIIL 的懲罰絕對值本身就受劃分影響最好是記錄每個階段的懲罰量級再據(jù)此縮放 λ而不是用固定值硬套。3.4 EIIL 的代價與脆弱點EIIL 不是免費的午餐它的代價主要體現(xiàn)在三個方面。第一是計算量因為要交替優(yōu)化主模型和環(huán)境推斷器訓練時間大約是普通 IRM 的兩到三倍。第二是對參考模型的依賴如果參考模型本身已經(jīng)嚴重被偽相關污染推斷器拿到的特征也可能帶著同樣的偏差推斷出的環(huán)境劃分質量會受影響。第三是搜索空間問題環(huán)境劃分是一個組合優(yōu)化問題EIIL 用軟分配和梯度下降來近似求解很容易陷入局部最優(yōu)不同的隨機初始化可能給出差別很大的最終劃分。針對這些脆弱點我的做法是參考模型不要只用一個可以同時訓練兩到三個不同隨機種子或不同結構的模型把它們的預測分布做集成后再喂給推斷器能明顯減少單一模型的偏差。另外每次訓練結束后要檢查推斷出的環(huán)境劃分是否符合業(yè)務常識比如看看每個虛擬環(huán)境下樣本的分布字段是否有可解釋的規(guī)律。曾經(jīng)有幾次EIIL 推斷出的環(huán)境分組完全隨機沒有任何語義對應這種時候我就會回到數(shù)據(jù)層面排查通常是因為原始數(shù)據(jù)根本沒有可學習的分布結構而不是算法本身出了問題。4. GroupDRO不學特征直接對抗最差組4.1 最小組風險的優(yōu)化視角GroupDROGroup Distributionally Robust Optimization走了另一條路。它不太關心你能不能找到一個跨環(huán)境不變的特征表示而是直接問一個問題在所有已知的樣本分組里模型表現(xiàn)最差的那個組我要優(yōu)先把它做好。目標函數(shù)從 ERM 的平均風險變成了最差組風險min_Φ max_{g∈G} R_g(Φ)這里的 G 就是預先定義好的組集合每一組代表數(shù)據(jù)的一個子分布。GroupDRO 的直覺非常樸素平均性能再高如果某一個容易被忽視的子群體被系統(tǒng)性地犧牲掉模型整體仍然是不可靠的。這種視角在真實業(yè)務里格外有價值比如某個用戶群體數(shù)量少但行為模式獨特把它們當成一組模型對它們預測不準的問題就會被平攤掉而 GroupDRO 會強行兜住這條底線。值得注意的是GroupDRO 和 IRM 并不沖突它們在數(shù)學上處理的是風險的不同側面。IRM 優(yōu)化的是表示空間的跨環(huán)境一致性GroupDRO 優(yōu)化的是最差組的損失值。你可以把 GroupDRO 看作一個更“結果導向”的魯棒性目標不管中間特征長什么樣只要最終每個組的表現(xiàn)都能接受就行。這使它實現(xiàn)起來更簡單對模型結構幾乎沒有額外要求只需要在訓練循環(huán)里多維護一份組級別的統(tǒng)計量。4.2 組權重的指數(shù)加權更新到底怎么算GroupDRO 的核心算法并不神秘它維護一個組權重向量 q初始時各組均勻然后在每一輪迭代里按各組風險動態(tài)調(diào)權本質上是一種基于指數(shù)傾斜的在線學習。具體的更新步驟是這樣的。第一步對每個組分別計算當前 batch 上的平均損失 R_g。第二步用一個滑動平均來更新每個組的長期風險估計 R?_g因為單次 batch 的損失噪聲太大直接用原始值調(diào)權會讓權重劇烈跳動。第三步按照 R?_g 的指數(shù)函數(shù)更新權重 q典型形式是 q_g ← q_g · exp(η · R?_g)然后對所有組做歸一化讓權重和保持為 1。第四步用加權后的組風險之和作為最終訓練損失回傳更新模型參數(shù)。這里的 η 是整個算法最敏感的超參數(shù)。η 越大最差組的權重上升越快模型會非常激進地撲向當前最差的組但代價是權重震蕩甚至可能在幾輪之內(nèi)把之前表現(xiàn)好的組又拖下去。η 越小調(diào)權越平滑但收斂速度變慢如果訓練輪次不夠最差組的改善會不明顯。我的經(jīng)驗是讓 η 保持在一個讓權重每若干輪變化不超過 10% 的量級同時配合早停觀察驗證集上最差組的指標而不是平均指標來決定是否停止。另外組權重的更新必須凍結在訓練循環(huán)的外層不能讓組權重參與模型參數(shù)的梯度計算否則整個框架就失去了對抗性調(diào)權的意義。很多人第一次實現(xiàn)時會順手把 q 寫進 loss 的計算圖里結果 q 也被梯度更新了行為變得完全不可預測。4.3 GroupDRO 與 IRM、EIIL 的本質差異把三種方法擺在一起它們的最大分野在于對“不變性”的建模方式不同。IRM 試圖學習一個表示讓不同環(huán)境下的最優(yōu)分類器一致這是一種顯式的特征空間約束。EIIL 延續(xù)了同樣的目標只是把環(huán)境這個變量從已知變成了推斷。而 GroupDRO 根本不對表示提不變性要求它只對最終的風險分布提魯棒性要求相當于把問題從“換一種特征”簡化成“多盯一盯弱者”。這個差異帶來一個有意思的推論在沒有環(huán)境標簽也沒有可推斷分組的情況下GroupDRO 反而可能是最務實的選擇前提是你至少能找到一組有意義的業(yè)務分組。反過來如果偽相關非常嚴重僅靠給最差組加大權重模型可能只是硬記住最差組里的特例并沒有真正學到泛化特征這時候 GroupDRO 的表現(xiàn)就不如 IRM 和 EIIL。所以三種方法不是簡單的升級關系而是面對不同數(shù)據(jù)條件時的互補方案。我把三者的關系總結成一個口訣IRM 靠環(huán)境標簽教你學不變特征EIIL 替你找出環(huán)境標簽GroupDRO 干脆繞開特征不變性直接守住最差組。實戰(zhàn)中經(jīng)常有人把 IRM 和 GroupDRO 疊加使用先用 IRM 學表示再用 GroupDRO 做最后的魯棒微調(diào)這個組合我在多個數(shù)據(jù)集上都觀察到了正向收益。4.4 組標簽缺失時 GroupDRO 的補救做法GroupDRO 的原始形式同樣要求組標簽每個樣本必須知道自己屬于哪一組。當組標簽缺失時有一種工程上很常見的補救做法把 EIIL 或簡單聚類推斷出來的分組直接當作 GroupDRO 的組標簽使用。也就是說先用推斷器給樣本打上虛擬組標簽再運行 GroupDRO。這種兩段式組合在實踐中比直接跑 EIIL 更穩(wěn)健因為 GroupDRO 對分組質量的敏感度低于 IRM它不需要分組精確地對應到某種潛在環(huán)境只要分組能大致區(qū)分出表現(xiàn)差異調(diào)權機制就能起作用。還有一個更輕量的變體也是我偶爾會用的不顯式分組而是每次迭代后統(tǒng)計每個樣本的損失把損失最大的那部分樣本動態(tài)組成一個“偽最差組”然后把它們的損失權重提高。這種做法的理論保證比 GroupDRO 弱但勝在完全不需要任何組標簽在項目早期做基線對比時非常有用。它的缺點是沒有長期記憶組的概念隨時在變落在不同輪次之間的優(yōu)化目標不一致所以只建議用來快速判斷“這個數(shù)據(jù)集有沒有值得做魯棒優(yōu)化的余地”不建議作為正式方案長期使用。5. 三種方案怎么選一份基于實際場景的選型清單5.1 核心維度對比表先把三種方法的關鍵差異壓縮成一張表方便對照。對比維度IRMEIILGroupDRO環(huán)境/組標簽需求必須已知無需已知自動推斷必須已知對特征表示的約束跨環(huán)境分類器一致跨環(huán)境分類器一致無顯式表示約束優(yōu)化目標平均風險 不變懲罰兩階段 min-max最差組風險典型收益學到真正的因果特征標簽缺失時仍可學不變特征守住最差組性能下限主要代價環(huán)境劃分質量敏感訓練時間長、易局部最優(yōu)組劃分質量敏感、可能過擬合最差組適用場景有明確多來源數(shù)據(jù)來源未知但有分布差異有業(yè)務分組、關注公平性這張表是我在實際選型時的主要依據(jù)但表格只能反映理想情形真實數(shù)據(jù)往往比這復雜。比如環(huán)境標簽在訓練集里有、測試集里沒有的情況或者組標簽存在但嚴重不均衡的情況都需要在表格基礎上再結合數(shù)據(jù)特征做二次判斷。5.2 不同約束條件下的選型建議我把常見的工程約束歸納成五類情況每一類都給出我認為最合理的起手方案。如果環(huán)境標簽完整且數(shù)據(jù)量充足直接上 IRM同時保留一個 ERM 基線做對照。這個場景最理想IRM 的表示學習能力能得到充分發(fā)揮λ 可以在驗證集上按最差環(huán)境指標來調(diào)。如果環(huán)境標簽缺失但你知道數(shù)據(jù)存在明顯分布差異優(yōu)先試 EIIL。先用參考模型做診斷確認不同子集預測分布有差異再推斷環(huán)境最后訓練不變模型。整個過程要比想象中消耗計算資源建議預留至少兩倍于普通訓練的預算。如果沒有任何環(huán)境或組標簽但業(yè)務側能給出一些候選分組維度比如地區(qū)、設備、使用時段把它們作為 GroupDRO 的組直接用。業(yè)務先驗往往比算法推斷出來的樣本分組更穩(wěn)定也更容易向團隊解釋。如果組標簽缺失且候選分組維度也不可靠那就先跑一個動態(tài)偽最差組的快速實驗判斷數(shù)據(jù)里是否存在值得處理的性能差異。如果沒有差異說明這個項目暫時不需要魯棒優(yōu)化如果有差異再考慮投入資源讓 EIIL 上線。如果項目對可解釋性要求極高優(yōu)先考慮 GroupDRO 搭配業(yè)務分組因為它不改變特征語義只是調(diào)整損失權重模型產(chǎn)出的特征解釋起來和普通模型幾乎一樣而 IRM 和 EIIL 學到的表示是被不變性約束塑造過的內(nèi)部結構可能和業(yè)務直覺對不上。5.3 一個模擬實驗的完整流程與結果解讀為了把選型邏輯落到實處我描述一個我在模擬項目 X 里做過的完整對比實驗。數(shù)據(jù)集自己構造包含三個子分布每個子分布里都有一個不同的偽相關模式子分布 A 里標簽和背景色強相關子分布 B 里標簽和紋理強相關子分布 C 里標簽和物體位置強相關。測試集則是另外兩個未見過的子分布用于檢驗真正的泛化能力。我先用 ERM 訓練基線測試集準確率只有 50% 左右明顯不如訓練集里的 85%說明偽相關確實傷害了泛化。接著用 IRM由于構造數(shù)據(jù)時保留了完整的環(huán)境標簽測試準確率提升到 72%證明顯式環(huán)境劃分有效。然后故意把環(huán)境標簽抹掉跑 EIIL測試準確率大約在 68%比 IRM 低一些但顯著高于 ERM說明推斷出來的環(huán)境劃分足以恢復大部分不變性信號。最后用業(yè)務上已知的粗粒度分組跑 GroupDRO測試準確率在 65% 左右因為它的分組粒度不如真實環(huán)境精細只能守住最差組而不能完全剔除偽相關。這個實驗的結論很有代表性有真環(huán)境標簽時 IRM 是上限標簽缺失時 EIIL 是下位替代中最接近上限的GroupDRO 則在分組語義準確時表現(xiàn)穩(wěn)定但天花板有限。值得注意的是所有方法在測試集上都沒有追平訓練集性能這說明偽相關的傷害并不會因為換了魯棒算法就完全消失只能壓低。接受這一點對設定項目預期非常重要。更難得的是這個模擬實驗還暴露了它們各自的失敗模式。IRM 在環(huán)境劃分不夠細時只是把幾個偽相關混在一起效果直線下滑。EIIL 在子分布之間的差異不夠明顯時推斷環(huán)境會退化到隨機劃分。GroupDRO 則在最差組本身包含多種混雜模式時按住了一個又冒出來一個。這些失敗模式引導我在真實項目中做了大量針對性的防御設計也就是下一節(jié)要講的踩坑記錄。6. 實戰(zhàn)避坑記錄我在項目里踩過的六個坑6.1 環(huán)境劃分粒度錯誤環(huán)境劃分的粒度直接決定 IRM 的成敗。我一開始按采集時間把數(shù)據(jù)切成 24 個小時段結果相鄰小時段的分布幾乎一樣每個環(huán)境之間根本沒有差異IRM 的懲罰項在訓練初期就趨近于零學到的表示和普通 ERM 沒區(qū)別。后來又切得太粗只分成兩個環(huán)境結果兩個環(huán)境內(nèi)部的偽相關模式完全混在一起梯度懲罰變成了不同模式的平均值反而把真正的差異抹掉了。正確的做法是先做分布診斷用參考模型在候選環(huán)境上的風險方差來判斷劃分粒度。如果風險方差接近零說明切太細了需要合并如果風險方差很大但分組內(nèi)部仍然高度異質說明切太粗了需要再細分。這個診斷步驟花不了多少時間卻能避免整個 IRM 訓練白跑。6.2 參考模型泄漏偽相關EIIL 的兩階段結構有一個隱蔽的泄漏路徑。參考模型如果只在一個數(shù)據(jù)子集上表現(xiàn)特別好它的預測分布會帶著強烈的偽相關印記環(huán)境推斷器學著學著就會把這種印記當成環(huán)境信號推斷出的虛擬環(huán)境其實是在復現(xiàn)參考模型的偏見。我在一次實驗里發(fā)現(xiàn)EIIL 推斷出的分組幾乎就是把訓練集按參考模型的置信度排序后切了幾刀沒有任何業(yè)務意義。解決方案是給參考模型做去偏處理。最輕量的做法是用多個隨機種子訓練多個參考模型取預測分布的均值更徹底的做法是在參考模型訓練時就加入簡單的魯棒約束比如先跑一個 GroupDRO 再拿它的特征去做 EIIL 推斷。盡管這樣會增加訓練時間但每一步的偏差一旦在早期被放大后面想糾正成本更高。6.3 最差組過擬合GroupDRO 有著非常經(jīng)典的過擬合風險訓練時間一長模型會開始死記硬背最差組里那些邊緣樣本驗證集上最差組指標先升后降形成明顯的山峰曲線。我看過不止一次這樣的訓練曲線最差組準確率從 60% 爬到 75%然后又跌回 65%而平均指標全程緩慢上漲整體看起來一切正常。對策有兩個。第一早停的監(jiān)控指標必須用一組留出的驗證數(shù)據(jù)上最差組的指標不能用平均指標否則你會一直等到過擬合發(fā)生。第二組權重的更新頻率要克制讓最差組的權重上升平緩一些給模型時間真正學習泛化模式而不是記住樣本特例。如果計算資源允許可以在每輪訓練結束時把模型權重做指數(shù)滑動平均這在 GroupDRO 里能顯著穩(wěn)定最差組的最終表現(xiàn)。6.4 懲罰系數(shù)與學習率的關系IRM 系列方法的懲罰系數(shù) λ 和學習率不是兩個獨立的超參數(shù)。我在實驗里發(fā)現(xiàn)當學習率偏大時梯度懲罰項的尺度也會被放大同樣的 λ 表現(xiàn)出來的約束強度完全不同。很多人照搬論文里的 λ 跑自己的任務發(fā)現(xiàn)要么懲罰沒起作用要么模型塌掉原因往往就出在沒考慮學習率帶來的尺度變化。比較穩(wěn)的做法是把 λ 設置成一個動態(tài)值按照懲罰項梯度的歷史量級做歸一化。具體來說每若干輪計算一次懲罰梯度的 RMS把 λ 乘以一個反向系數(shù)讓懲罰項的梯度尺度保持在主損失梯度的同一量級。這個技巧雖然沒有寫進論文但我在多個模擬實驗里用它穩(wěn)定地收斂到了有效解。6.5 數(shù)據(jù)不平衡下的組權重GroupDRO 的權重更新完全是數(shù)據(jù)驅動的但它對組內(nèi)的樣本量非常敏感。如果一個組只有幾十條樣本而另一個組有上萬條單次 batch 里小樣本組的風險估計噪聲會非常大即使滑動平均也壓不住。我遇到過極端情況小樣本組的權重被噪聲推到了接近 1模型直接忽略了其他所有組。為了處理這種不平衡我給每個組的最小樣本量設了硬門檻組內(nèi)樣本量低于閾值時就對該組的權重做額外的平滑和封頂同時在小樣本組上使用更長的滑動平均窗口。另一條經(jīng)驗是在構造 batch 時做組級別采樣每個 batch 里強制包含每個組一個固定數(shù)量的樣本這樣風險估計的方差會大幅下降。這點改動后小樣本組的穩(wěn)定性和整體收斂速度都好了很多。6.6 評估協(xié)議失真最后這個坑最容易忽略也最傷。很多項目在評估魯棒算法時用的還是統(tǒng)一的測試集平均準確率。但 IRM、EIIL、GroupDRO 優(yōu)化的是跨環(huán)境泛化或最差組表現(xiàn)平均準確率根本反映不出它們的真實收益。我在一次項目中把測試集按來源分組后分別報告指標才發(fā)現(xiàn)一個在某子集上準確率高出基線 10 個點的模型平均指標只比基線高了 1 個點差點就被當成沒效果而否掉。所以只要用了任何不變學習或魯棒優(yōu)化方法評估協(xié)議就必須按測試環(huán)境分組報告至少包括最差組準確率、組間方差和平均準確率三個數(shù)字。最理想的做法是設置一個完全不可見的測試環(huán)境在訓練過程中完全不接觸它最后一錘定音。沒有這套協(xié)議前面所有算法層面的努力都可能被一個粗糙的平均指標掩蓋掉。寫了這么多最后聊一點我自己的體會。這三條路線我都能倒背如流但在真實項目里最管用的反而不是某個特定算法而是一種樸素的工程習慣先把數(shù)據(jù)的分布結構摸清楚再決定要不要用不變學習、用哪一種。很多團隊在數(shù)據(jù)還沒診斷清楚時就急著上 IRM結果環(huán)境標簽切得亂七八糟懲罰項毫無信號最后得出“不變學習沒用”的結論其實只是沒踩對入口。我個人在實際操作中的體會是把 IRM、EIIL、GroupDRO 當成一套完整的工具箱而不是互相替代的競品。先用快速實驗判斷數(shù)據(jù)里有沒有偽相關再用業(yè)務先驗搭一個分組基線環(huán)境標簽夠就上 IRM不夠就試 EIIL最后永遠留一個 GroupDRO 風格的兜底方案。這套組合拳幫我在好幾個數(shù)據(jù)分布復雜的項目里穩(wěn)住了跨環(huán)境指標希望對遇到類似問題的你也能有用。 IRM、EIIL、GroupDRO：不變學習三大方法詳解與工程選型
只要碰過分布偏移和偽相關就一定繞不開 IRM、EIIL、GroupDRO 這三個名字。它們都被歸類到不變學習Invariant Learning的旗幟下目標是解決同一個本質問題訓練數(shù)據(jù)里的相關性哪些是真正跨環(huán)境穩(wěn)定的因果信號哪些只是某個環(huán)境碰巧帶來的偽相關。我在處理某跨平臺系統(tǒng)數(shù)據(jù)時一開始天真地把好幾個來源的數(shù)據(jù)拼在一起做端到端訓練覺得數(shù)據(jù)量大了什么都有結果一到新的測試環(huán)境直接崩盤。后來才意識到這類問題必須在建模時就引入對環(huán)境結構的理解而整個領域最核心的依賴就是環(huán)境標簽——你得先知道每條樣本來自哪個分布才能定義“跨環(huán)境不變”這件事?，F(xiàn)實里環(huán)境標簽往往拿不到、拿不全、甚至成本極高所以工程實踐上的演化路線非常清晰先是 IRM 硬性要求環(huán)境標簽再到 EIIL 自動推斷環(huán)境再到 GroupDRO 用最差組風險來兜底。這篇文章就以這三條路徑為主線把原理、實現(xiàn)、選型和踩坑一次講清楚。1. 不變學習到底在學什么環(huán)境標簽的前世今生1.1 偽相關是怎么把模型帶偏的先看一個幾乎所有教程都會提的例子。想象你要做一個圖像分類模型判斷一張照片里是牛還是駱駝。訓練數(shù)據(jù)里牛的照片幾乎都出現(xiàn)在草地上駱駝的照片幾乎都出現(xiàn)在沙漠里。這時候很多模型并不會去認真學牛的輪廓、蹄子、駝峰這些真正的判別特征而是偷偷學了一個更省事的規(guī)則看到大面積的綠色就說是?？吹酱竺娣e的沙黃色就說是駱駝。這就是偽相關也叫捷徑特征。如果測試數(shù)據(jù)的分布和訓練數(shù)據(jù)一模一樣這個偷懶模型的表現(xiàn)可以相當好畢竟測試時牛大概率還在草地上?？梢坏┑搅苏鎸崍鼍芭Ｕ驹谏衬?、駱駝趴在草地上模型立刻原形畢露。這個現(xiàn)象在學術上有統(tǒng)一的名字叫分布偏移具體到這類情況又常被稱為偽相關泛化失敗。做實際項目的人對它的感受最直接訓練集上漂亮的指標一換環(huán)境就歸零。而且偽相關往往隱藏得很深你根本看不出模型學錯了什么直到線上反饋打臉。1.2 環(huán)境標簽的含義與使用前提環(huán)境標簽environment label指的是每條樣本來自哪一個數(shù)據(jù)子分布的標記。它不一定是監(jiān)督用的類別標簽而是對數(shù)據(jù)來源的分組信息。來源可以是拍攝地點、采集時間、設備類型、用戶群體、協(xié)議版本等等只要這個維度會造成分布差異它就可以作為環(huán)境維度來使用。注意環(huán)境標簽描述的是“數(shù)據(jù)怎么來的”不是“數(shù)據(jù)是什么”這兩者經(jīng)常被混為一談。有了環(huán)境標簽我們就可以給“不變性”下一個嚴格定義如果一個特征表示 Φ 是因果不變的那么在任意環(huán)境 e 中基于該表示訓練出來的最優(yōu)預測器都應該是同一個。換句話說特征里該留的留下該去掉的偽相關去掉之后剩下的部分對環(huán)境的切換不敏感。這正是 IRM 整篇工作的基石。這里說的“因果”并不需要你畫完整的結構方程只需要你能找到那個跨環(huán)境穩(wěn)定的預測規(guī)律——在實踐中這比做完整的因果發(fā)現(xiàn)要便宜得多也正是不變學習能在工程里落地的原因。1.3 為什么不建議直接對特征做無監(jiān)督聚類沒有環(huán)境標簽時很多人第一反應是先跑一個聚類把樣本分成幾組再拿這些組當成環(huán)境標簽。這個思路看起來順理成章但坑非常大。無監(jiān)督聚類是在原始特征空間里找緊湊的簇而模型在訓練早期學到的特征往往已經(jīng)被偽相關主導了。你用這些特征聚類分出來的組大概率是在按顏色、背景、風格等捷徑特征劃分而不是按真正能暴露分布差異的維度劃分。更重要的是聚類出來的分組對下游的任務目標毫無感知。環(huán)境劃分的目標應該是“讓不變學習算法能夠識別出哪些相關性在不同環(huán)境下會變化”這本質上是一個與任務相關的對抗性劃分問題。盲目聚類等于把一個需要優(yōu)化的變量降級成了啟發(fā)式預處理結果往往比隨機分組好不了多少。這也是 EIIL 跟樸素聚類最根本的區(qū)別——它把環(huán)境劃分本身放進了優(yōu)化目標里而聚類只是拿一個與任務無關的幾何度量硬切數(shù)據(jù)。2. IRM第一個把“跨環(huán)境不變”寫成約束的方案2.1 IRM 的目標函數(shù)與因果直覺IRM全稱 Invariant Risk Minimization是這個方向最早被大規(guī)模討論的方案之一。它假設數(shù)據(jù)來自多個環(huán)境 e∈E每個環(huán)境下輸入 x 和標簽 y 的聯(lián)合分布不同但存在一個表示函數(shù) Φ使得在所有環(huán)境下基于 Φ 的最優(yōu)線性分類器 w 都是同一個。換句話說不管數(shù)據(jù)從哪個環(huán)境來只要經(jīng)過 Φ 變換剩下的預測規(guī)律就完全一致。形式化地說IRM 要優(yōu)化的目標是min_Φ Σ_e R_e(w ° Φ) s.t. w ∈ argmin_{w} R_e(w ° Φ)對任意環(huán)境 e 成立這個約束條件的含義很直白不管你從哪個環(huán)境里取數(shù)據(jù)同一個分類頭 w 都應該是最優(yōu)的。如果某個特征只在部分環(huán)境下有用把它扔進表示里就會讓不同環(huán)境下最優(yōu)分類頭互相打架約束條件隨之被破壞。于是優(yōu)化過程就會被逼著把這類特征從表示里剔除出去。可以把它理解成一個內(nèi)部審查機制每個環(huán)境都在檢查同一個分類頭合不合身誰想偷塞私貨都會被揪出來。為什么這個約束能對應到因果直覺因為因果特征有一個很重要的性質它在任何干預環(huán)境下對標簽的預測能力都保持穩(wěn)定。而純統(tǒng)計相關的特征一旦環(huán)境變了預測關系就可能翻轉或消失。IRM 通過在多個環(huán)境之間強制分類頭一致性恰好篩選出了那種“改動環(huán)境也改不動規(guī)律”的特征。這就是不變學習的核心方法論用跨環(huán)境的穩(wěn)定性來逼近因果性而不去直接建模因果圖。2.2 IRMv1 的梯度懲罰到底在懲罰什么原始 IRM 的目標函數(shù)包含一個嵌套優(yōu)化分類頭要在每個環(huán)境內(nèi)部分別最優(yōu)直接求解非常麻煩。所以論文給出了一個實用版本也就是大家熟知的 IRMv1把約束條件松弛成懲罰項IRMv1 Σ_e R_e(w·Φ) λ · Σ_e ‖?_w R_e(w·Φ)‖2注意這里的 w 被固定成一個標量通常是 1.0梯度是對這個標量分類器求的。為什么要這樣做可以這么理解如果把表示 Φ 固定住只看分類頭 w那么每個環(huán)境都有一個對應的最優(yōu) w_e。如果所有環(huán)境共享同一個最優(yōu) w那么把 w 取成任意公共值比如 1.0時每個環(huán)境的風險函數(shù)對 w 的梯度都應該為零。反過來如果某個環(huán)境下的最優(yōu) w_e 明顯偏離公共值在該公共取值處的梯度就比較大。所以梯度范數(shù)的大小可以直接度量“跨環(huán)境最優(yōu)分類頭不一致”的程度它天然就是一個不變性違反程度的評分器。這里有一個實現(xiàn)細節(jié)很容易被忽視懲罰項里求梯度的對象是 w·Φ 這個整體輸出對 w 的梯度不是整個 loss 對模型參數(shù)的梯度。在代碼里通常需要讓 Φ 的輸出不參與對 w 的梯度傳播單獨對 w 求梯度再把這個梯度的 L2 范數(shù)平方作為懲罰加進總 loss。有些初學者直接把 loss.backward() 之后的全體參數(shù)梯度拿去算范數(shù)方向完全不對做出來的東西既不是 IRM 也不是普通的正則化。2.3 一個可復現(xiàn)的 IRM 訓練框架下面給出一段我在模擬項目里驗證過的 PyTorch 風格偽代碼結構上可以直接套用到自己的模型里關鍵在于把環(huán)境維度用 batch 拆開。def irm_loss(phi, w, env_batches, lambda_val): # phi: 特征提取器, w: 標量分類頭 total_loss 0.0 penalty 0.0 for x_e, y_e in env_batches: feats phi(x_e) # [B, D] logits w * feats # 標量分類頭乘特征 loss_e binary_cross_entropy(logits, y_e) # 關鍵計算 loss 對 w 的梯度注意與模型參數(shù)的梯度解耦 grad_w torch.autograd.grad(loss_e, w, create_graphTrue)[0] penalty grad_w.pow(2).mean() total_loss loss_e return total_loss lambda_val * penalty用這個框架時有三個要點。第一環(huán)境必須以 batch 為粒度切分絕不能把多個環(huán)境的數(shù)據(jù)混進同一個 batch否則梯度懲罰會算成混合環(huán)境的平均值環(huán)境間的差異就被抹平了。第二λ 的取值要配合驗證集調(diào)整我第一次跑的時候把 λ 設得太大模型直接放棄了所有特征不僅偽相關沒去掉連因果特征都學不到了。第三如果特征提取器很強、表示維度很高梯度懲罰會被稀釋必要時可以在表示層做降維或加正則讓懲罰項更容易傳導到特征層。這是一組我在多份數(shù)據(jù)上反復驗證過的配置思路不保證所有場景通用但作為起點比盲調(diào)要靠譜得多。2.4 IRM 的硬門檻沒有環(huán)境標簽就走不動IRM 的一切優(yōu)勢都建立在環(huán)境劃分已知的前提上。在學術基準里環(huán)境標簽是數(shù)據(jù)集自帶的研究者只需要按標簽切 batch但在真實項目里這個前提經(jīng)常不成立。我遇到的情況就非常典型手里的數(shù)據(jù)來自多個歷史版本但運營記錄早就把版本字段弄丟了我只能看到一堆混在一起的樣本。這時候 IRM 連第一步都邁不出去因為根本沒有合法的方式來切環(huán)境 batch。有人會說那我用時間戳切、用用戶 ID 切、用設備類型切總有一個能用吧問題在于環(huán)境劃分不是一個可以隨意拍的維度。切錯了環(huán)境不變性約束就會被錯誤地施加在不相干的維度上輕則懲罰項毫無信號重則把有價值的信息誤當成偽相關過濾掉。正是這種“標簽缺失 劃分未知”的現(xiàn)實困境催生了 EIIL 這條研究路線?？梢哉fIRM 把最難的問題留給了使用者不是怎么優(yōu)化而是怎么把環(huán)境標簽搞到手。3. EIIL把環(huán)境劃分本身當成優(yōu)化變量3.1 兩步走的整體架構先推環(huán)境再學不變特征EIILEnvironment Inference for Invariant Learning的核心思想一句話就能概括既然環(huán)境標簽不知道那就把它當成一個待優(yōu)化的變量推斷出一個“對不變學習最不利”的環(huán)境劃分然后用這個劃分去訓練不變模型。整體架構分為兩步。第一步構造一個環(huán)境推斷器 g(x, y)它對每條樣本輸出一個環(huán)境歸屬的概率分布等價于把訓練集劃分成若干個虛擬環(huán)境。第二步在第一步給出的環(huán)境下運行 IRM 風格的訓練。注意這兩個步驟并不是簡單的前后串聯(lián)第一步的推斷目標非常特殊它要找到那個能讓第二步的 IRM 懲罰項最大化也就是讓不變性違反最嚴重的環(huán)境劃分。為什么要找最不利的劃分邏輯是如果某個特征真的是因果不變的那么不管環(huán)境怎么切分跨環(huán)境的最優(yōu)分類頭都保持一致懲罰項不會因為劃分方式而劇烈變化。但如果是偽相關特征存在一種“惡意的”劃分方式能把這種偽相關偽裝成跨環(huán)境穩(wěn)定特征或者正相反能最大限度暴露特征在不同環(huán)境下的不穩(wěn)定。EIIL 用最大化懲罰的方式搜索這種劃分本質上就是在主動做壓力測試在所有可能的虛擬環(huán)境里找那個最有可能讓模型學到偽相關的劃分然后提前把這種風險暴露出來。3.2 為什么偏偏要最大化 IRM 懲罰這里有一個反直覺的點值得展開。IRM 本身是做最小化EIIL 卻在選擇環(huán)境劃分時做最大化一前一后形成一個 min-max 對抗結構。你可以把它理解成一個零和博弈一方是入侵者負責設計最刁鉆的環(huán)境劃分另一方是防御者負責在這種劃分下仍然學到不變特征。最終達到的平衡點就是模型對一切可能環(huán)境劃分都具有魯棒性的狀態(tài)。從算法實現(xiàn)角度看最大化 IRM 懲罰還有一個實際好處它給環(huán)境推斷提供了明確的梯度信號。如果換成一個普通的聚類目標比如最大化組間距離那分組結果和下游不變學習是否有效之間沒有直接聯(lián)系推斷器得不到任何關于“這樣分會讓模型變好還是變壞”的反饋。而 EIIL 把環(huán)境推斷和不變學習的目標直接綁定推斷器每調(diào)整一次劃分都能看到對 IRM 懲罰的影響這讓整個系統(tǒng)端到端可優(yōu)化。需要提醒的是EIIL 本身也繼承了 IRM 的前提假設數(shù)據(jù)里必須存在可恢復的環(huán)境結構。如果數(shù)據(jù)來源真的只有一個分布沒有任何偽相關EIIL 推斷出的“最壞劃分”就會退化到隨機劃分懲罰項也基本沒有信號。所以用 EIIL 之前最好先做一個快速診斷看看不同子集上模型性能是否有顯著差異連差異都沒有的話任何不變學習方法都無從談起。3.3 EIIL 的實操流程與參數(shù)選擇我在自己的模擬項目 X 上實現(xiàn) EIIL 時把流程拆成了四個階段每個階段都有需要盯住的參數(shù)。第一階段預訓練一個參考模型。這個模型用普通 ERM 在全部數(shù)據(jù)上訓練它的作用是為環(huán)境推斷提供初始的預測分布。第二階段設計環(huán)境推斷器。推斷器的輸入是參考模型的輸出特征和標簽輸出是樣本到 K 個虛擬環(huán)境的軟分配。我用了一個兩層的 MLP輸出經(jīng)過 softmax 得到每個樣本的環(huán)境歸屬概率。第三階段把軟分配當作樣本權重把數(shù)據(jù)集重新組織成 K 個虛擬環(huán)境然后計算 IRM 的梯度懲罰并以最大化懲罰為目標更新推斷器參數(shù)。第四階段固定推斷器用推斷出的環(huán)境劃分去訓練最終的不變模型這時訓練目標又切回最小化 IRM loss。關鍵參數(shù)有三個虛擬環(huán)境數(shù)量 K、推斷器學習率、以及 IRM 懲罰系數(shù) λ。K 的選擇不能拍腦袋我測試下來K 太小比如 2時劃分過于粗糙多個不同的偽相關模式會擠在同一組里互相抵消K 太大時每組樣本量不足梯度懲罰的方差劇增。從 3 到 5 起步是比較穩(wěn)的區(qū)間。推斷器的學習率一般要比主模型小一到兩個數(shù)量級否則環(huán)境歸屬在訓練早期劇烈震蕩體系會陷入不穩(wěn)定。λ 的調(diào)整策略和 IRM 一致但要注意 EIIL 的懲罰絕對值本身就受劃分影響最好是記錄每個階段的懲罰量級再據(jù)此縮放 λ而不是用固定值硬套。3.4 EIIL 的代價與脆弱點EIIL 不是免費的午餐它的代價主要體現(xiàn)在三個方面。第一是計算量因為要交替優(yōu)化主模型和環(huán)境推斷器訓練時間大約是普通 IRM 的兩到三倍。第二是對參考模型的依賴如果參考模型本身已經(jīng)嚴重被偽相關污染推斷器拿到的特征也可能帶著同樣的偏差推斷出的環(huán)境劃分質量會受影響。第三是搜索空間問題環(huán)境劃分是一個組合優(yōu)化問題EIIL 用軟分配和梯度下降來近似求解很容易陷入局部最優(yōu)不同的隨機初始化可能給出差別很大的最終劃分。針對這些脆弱點我的做法是參考模型不要只用一個可以同時訓練兩到三個不同隨機種子或不同結構的模型把它們的預測分布做集成后再喂給推斷器能明顯減少單一模型的偏差。另外每次訓練結束后要檢查推斷出的環(huán)境劃分是否符合業(yè)務常識比如看看每個虛擬環(huán)境下樣本的分布字段是否有可解釋的規(guī)律。曾經(jīng)有幾次EIIL 推斷出的環(huán)境分組完全隨機沒有任何語義對應這種時候我就會回到數(shù)據(jù)層面排查通常是因為原始數(shù)據(jù)根本沒有可學習的分布結構而不是算法本身出了問題。4. GroupDRO不學特征直接對抗最差組4.1 最小組風險的優(yōu)化視角GroupDROGroup Distributionally Robust Optimization走了另一條路。它不太關心你能不能找到一個跨環(huán)境不變的特征表示而是直接問一個問題在所有已知的樣本分組里模型表現(xiàn)最差的那個組我要優(yōu)先把它做好。目標函數(shù)從 ERM 的平均風險變成了最差組風險min_Φ max_{g∈G} R_g(Φ)這里的 G 就是預先定義好的組集合每一組代表數(shù)據(jù)的一個子分布。GroupDRO 的直覺非常樸素平均性能再高如果某一個容易被忽視的子群體被系統(tǒng)性地犧牲掉模型整體仍然是不可靠的。這種視角在真實業(yè)務里格外有價值比如某個用戶群體數(shù)量少但行為模式獨特把它們當成一組模型對它們預測不準的問題就會被平攤掉而 GroupDRO 會強行兜住這條底線。值得注意的是GroupDRO 和 IRM 并不沖突它們在數(shù)學上處理的是風險的不同側面。IRM 優(yōu)化的是表示空間的跨環(huán)境一致性GroupDRO 優(yōu)化的是最差組的損失值。你可以把 GroupDRO 看作一個更“結果導向”的魯棒性目標不管中間特征長什么樣只要最終每個組的表現(xiàn)都能接受就行。這使它實現(xiàn)起來更簡單對模型結構幾乎沒有額外要求只需要在訓練循環(huán)里多維護一份組級別的統(tǒng)計量。4.2 組權重的指數(shù)加權更新到底怎么算GroupDRO 的核心算法并不神秘它維護一個組權重向量 q初始時各組均勻然后在每一輪迭代里按各組風險動態(tài)調(diào)權本質上是一種基于指數(shù)傾斜的在線學習。具體的更新步驟是這樣的。第一步對每個組分別計算當前 batch 上的平均損失 R_g。第二步用一個滑動平均來更新每個組的長期風險估計 R?_g因為單次 batch 的損失噪聲太大直接用原始值調(diào)權會讓權重劇烈跳動。第三步按照 R?_g 的指數(shù)函數(shù)更新權重 q典型形式是 q_g ← q_g · exp(η · R?_g)然后對所有組做歸一化讓權重和保持為 1。第四步用加權后的組風險之和作為最終訓練損失回傳更新模型參數(shù)。這里的 η 是整個算法最敏感的超參數(shù)。η 越大最差組的權重上升越快模型會非常激進地撲向當前最差的組但代價是權重震蕩甚至可能在幾輪之內(nèi)把之前表現(xiàn)好的組又拖下去。η 越小調(diào)權越平滑但收斂速度變慢如果訓練輪次不夠最差組的改善會不明顯。我的經(jīng)驗是讓 η 保持在一個讓權重每若干輪變化不超過 10% 的量級同時配合早停觀察驗證集上最差組的指標而不是平均指標來決定是否停止。另外組權重的更新必須凍結在訓練循環(huán)的外層不能讓組權重參與模型參數(shù)的梯度計算否則整個框架就失去了對抗性調(diào)權的意義。很多人第一次實現(xiàn)時會順手把 q 寫進 loss 的計算圖里結果 q 也被梯度更新了行為變得完全不可預測。4.3 GroupDRO 與 IRM、EIIL 的本質差異把三種方法擺在一起它們的最大分野在于對“不變性”的建模方式不同。IRM 試圖學習一個表示讓不同環(huán)境下的最優(yōu)分類器一致這是一種顯式的特征空間約束。EIIL 延續(xù)了同樣的目標只是把環(huán)境這個變量從已知變成了推斷。而 GroupDRO 根本不對表示提不變性要求它只對最終的風險分布提魯棒性要求相當于把問題從“換一種特征”簡化成“多盯一盯弱者”。這個差異帶來一個有意思的推論在沒有環(huán)境標簽也沒有可推斷分組的情況下GroupDRO 反而可能是最務實的選擇前提是你至少能找到一組有意義的業(yè)務分組。反過來如果偽相關非常嚴重僅靠給最差組加大權重模型可能只是硬記住最差組里的特例并沒有真正學到泛化特征這時候 GroupDRO 的表現(xiàn)就不如 IRM 和 EIIL。所以三種方法不是簡單的升級關系而是面對不同數(shù)據(jù)條件時的互補方案。我把三者的關系總結成一個口訣IRM 靠環(huán)境標簽教你學不變特征EIIL 替你找出環(huán)境標簽GroupDRO 干脆繞開特征不變性直接守住最差組。實戰(zhàn)中經(jīng)常有人把 IRM 和 GroupDRO 疊加使用先用 IRM 學表示再用 GroupDRO 做最后的魯棒微調(diào)這個組合我在多個數(shù)據(jù)集上都觀察到了正向收益。4.4 組標簽缺失時 GroupDRO 的補救做法GroupDRO 的原始形式同樣要求組標簽每個樣本必須知道自己屬于哪一組。當組標簽缺失時有一種工程上很常見的補救做法把 EIIL 或簡單聚類推斷出來的分組直接當作 GroupDRO 的組標簽使用。也就是說先用推斷器給樣本打上虛擬組標簽再運行 GroupDRO。這種兩段式組合在實踐中比直接跑 EIIL 更穩(wěn)健因為 GroupDRO 對分組質量的敏感度低于 IRM它不需要分組精確地對應到某種潛在環(huán)境只要分組能大致區(qū)分出表現(xiàn)差異調(diào)權機制就能起作用。還有一個更輕量的變體也是我偶爾會用的不顯式分組而是每次迭代后統(tǒng)計每個樣本的損失把損失最大的那部分樣本動態(tài)組成一個“偽最差組”然后把它們的損失權重提高。這種做法的理論保證比 GroupDRO 弱但勝在完全不需要任何組標簽在項目早期做基線對比時非常有用。它的缺點是沒有長期記憶組的概念隨時在變落在不同輪次之間的優(yōu)化目標不一致所以只建議用來快速判斷“這個數(shù)據(jù)集有沒有值得做魯棒優(yōu)化的余地”不建議作為正式方案長期使用。5. 三種方案怎么選一份基于實際場景的選型清單5.1 核心維度對比表先把三種方法的關鍵差異壓縮成一張表方便對照。對比維度IRMEIILGroupDRO環(huán)境/組標簽需求必須已知無需已知自動推斷必須已知對特征表示的約束跨環(huán)境分類器一致跨環(huán)境分類器一致無顯式表示約束優(yōu)化目標平均風險 不變懲罰兩階段 min-max最差組風險典型收益學到真正的因果特征標簽缺失時仍可學不變特征守住最差組性能下限主要代價環(huán)境劃分質量敏感訓練時間長、易局部最優(yōu)組劃分質量敏感、可能過擬合最差組適用場景有明確多來源數(shù)據(jù)來源未知但有分布差異有業(yè)務分組、關注公平性這張表是我在實際選型時的主要依據(jù)但表格只能反映理想情形真實數(shù)據(jù)往往比這復雜。比如環(huán)境標簽在訓練集里有、測試集里沒有的情況或者組標簽存在但嚴重不均衡的情況都需要在表格基礎上再結合數(shù)據(jù)特征做二次判斷。5.2 不同約束條件下的選型建議我把常見的工程約束歸納成五類情況每一類都給出我認為最合理的起手方案。如果環(huán)境標簽完整且數(shù)據(jù)量充足直接上 IRM同時保留一個 ERM 基線做對照。這個場景最理想IRM 的表示學習能力能得到充分發(fā)揮λ 可以在驗證集上按最差環(huán)境指標來調(diào)。如果環(huán)境標簽缺失但你知道數(shù)據(jù)存在明顯分布差異優(yōu)先試 EIIL。先用參考模型做診斷確認不同子集預測分布有差異再推斷環(huán)境最后訓練不變模型。整個過程要比想象中消耗計算資源建議預留至少兩倍于普通訓練的預算。如果沒有任何環(huán)境或組標簽但業(yè)務側能給出一些候選分組維度比如地區(qū)、設備、使用時段把它們作為 GroupDRO 的組直接用。業(yè)務先驗往往比算法推斷出來的樣本分組更穩(wěn)定也更容易向團隊解釋。如果組標簽缺失且候選分組維度也不可靠那就先跑一個動態(tài)偽最差組的快速實驗判斷數(shù)據(jù)里是否存在值得處理的性能差異。如果沒有差異說明這個項目暫時不需要魯棒優(yōu)化如果有差異再考慮投入資源讓 EIIL 上線。如果項目對可解釋性要求極高優(yōu)先考慮 GroupDRO 搭配業(yè)務分組因為它不改變特征語義只是調(diào)整損失權重模型產(chǎn)出的特征解釋起來和普通模型幾乎一樣而 IRM 和 EIIL 學到的表示是被不變性約束塑造過的內(nèi)部結構可能和業(yè)務直覺對不上。5.3 一個模擬實驗的完整流程與結果解讀為了把選型邏輯落到實處我描述一個我在模擬項目 X 里做過的完整對比實驗。數(shù)據(jù)集自己構造包含三個子分布每個子分布里都有一個不同的偽相關模式子分布 A 里標簽和背景色強相關子分布 B 里標簽和紋理強相關子分布 C 里標簽和物體位置強相關。測試集則是另外兩個未見過的子分布用于檢驗真正的泛化能力。我先用 ERM 訓練基線測試集準確率只有 50% 左右明顯不如訓練集里的 85%說明偽相關確實傷害了泛化。接著用 IRM由于構造數(shù)據(jù)時保留了完整的環(huán)境標簽測試準確率提升到 72%證明顯式環(huán)境劃分有效。然后故意把環(huán)境標簽抹掉跑 EIIL測試準確率大約在 68%比 IRM 低一些但顯著高于 ERM說明推斷出來的環(huán)境劃分足以恢復大部分不變性信號。最后用業(yè)務上已知的粗粒度分組跑 GroupDRO測試準確率在 65% 左右因為它的分組粒度不如真實環(huán)境精細只能守住最差組而不能完全剔除偽相關。這個實驗的結論很有代表性有真環(huán)境標簽時 IRM 是上限標簽缺失時 EIIL 是下位替代中最接近上限的GroupDRO 則在分組語義準確時表現(xiàn)穩(wěn)定但天花板有限。值得注意的是所有方法在測試集上都沒有追平訓練集性能這說明偽相關的傷害并不會因為換了魯棒算法就完全消失只能壓低。接受這一點對設定項目預期非常重要。更難得的是這個模擬實驗還暴露了它們各自的失敗模式。IRM 在環(huán)境劃分不夠細時只是把幾個偽相關混在一起效果直線下滑。EIIL 在子分布之間的差異不夠明顯時推斷環(huán)境會退化到隨機劃分。GroupDRO 則在最差組本身包含多種混雜模式時按住了一個又冒出來一個。這些失敗模式引導我在真實項目中做了大量針對性的防御設計也就是下一節(jié)要講的踩坑記錄。6. 實戰(zhàn)避坑記錄我在項目里踩過的六個坑6.1 環(huán)境劃分粒度錯誤環(huán)境劃分的粒度直接決定 IRM 的成敗。我一開始按采集時間把數(shù)據(jù)切成 24 個小時段結果相鄰小時段的分布幾乎一樣每個環(huán)境之間根本沒有差異IRM 的懲罰項在訓練初期就趨近于零學到的表示和普通 ERM 沒區(qū)別。后來又切得太粗只分成兩個環(huán)境結果兩個環(huán)境內(nèi)部的偽相關模式完全混在一起梯度懲罰變成了不同模式的平均值反而把真正的差異抹掉了。正確的做法是先做分布診斷用參考模型在候選環(huán)境上的風險方差來判斷劃分粒度。如果風險方差接近零說明切太細了需要合并如果風險方差很大但分組內(nèi)部仍然高度異質說明切太粗了需要再細分。這個診斷步驟花不了多少時間卻能避免整個 IRM 訓練白跑。6.2 參考模型泄漏偽相關EIIL 的兩階段結構有一個隱蔽的泄漏路徑。參考模型如果只在一個數(shù)據(jù)子集上表現(xiàn)特別好它的預測分布會帶著強烈的偽相關印記環(huán)境推斷器學著學著就會把這種印記當成環(huán)境信號推斷出的虛擬環(huán)境其實是在復現(xiàn)參考模型的偏見。我在一次實驗里發(fā)現(xiàn)EIIL 推斷出的分組幾乎就是把訓練集按參考模型的置信度排序后切了幾刀沒有任何業(yè)務意義。解決方案是給參考模型做去偏處理。最輕量的做法是用多個隨機種子訓練多個參考模型取預測分布的均值更徹底的做法是在參考模型訓練時就加入簡單的魯棒約束比如先跑一個 GroupDRO 再拿它的特征去做 EIIL 推斷。盡管這樣會增加訓練時間但每一步的偏差一旦在早期被放大后面想糾正成本更高。6.3 最差組過擬合GroupDRO 有著非常經(jīng)典的過擬合風險訓練時間一長模型會開始死記硬背最差組里那些邊緣樣本驗證集上最差組指標先升后降形成明顯的山峰曲線。我看過不止一次這樣的訓練曲線最差組準確率從 60% 爬到 75%然后又跌回 65%而平均指標全程緩慢上漲整體看起來一切正常。對策有兩個。第一早停的監(jiān)控指標必須用一組留出的驗證數(shù)據(jù)上最差組的指標不能用平均指標否則你會一直等到過擬合發(fā)生。第二組權重的更新頻率要克制讓最差組的權重上升平緩一些給模型時間真正學習泛化模式而不是記住樣本特例。如果計算資源允許可以在每輪訓練結束時把模型權重做指數(shù)滑動平均這在 GroupDRO 里能顯著穩(wěn)定最差組的最終表現(xiàn)。6.4 懲罰系數(shù)與學習率的關系IRM 系列方法的懲罰系數(shù) λ 和學習率不是兩個獨立的超參數(shù)。我在實驗里發(fā)現(xiàn)當學習率偏大時梯度懲罰項的尺度也會被放大同樣的 λ 表現(xiàn)出來的約束強度完全不同。很多人照搬論文里的 λ 跑自己的任務發(fā)現(xiàn)要么懲罰沒起作用要么模型塌掉原因往往就出在沒考慮學習率帶來的尺度變化。比較穩(wěn)的做法是把 λ 設置成一個動態(tài)值按照懲罰項梯度的歷史量級做歸一化。具體來說每若干輪計算一次懲罰梯度的 RMS把 λ 乘以一個反向系數(shù)讓懲罰項的梯度尺度保持在主損失梯度的同一量級。這個技巧雖然沒有寫進論文但我在多個模擬實驗里用它穩(wěn)定地收斂到了有效解。6.5 數(shù)據(jù)不平衡下的組權重GroupDRO 的權重更新完全是數(shù)據(jù)驅動的但它對組內(nèi)的樣本量非常敏感。如果一個組只有幾十條樣本而另一個組有上萬條單次 batch 里小樣本組的風險估計噪聲會非常大即使滑動平均也壓不住。我遇到過極端情況小樣本組的權重被噪聲推到了接近 1模型直接忽略了其他所有組。為了處理這種不平衡我給每個組的最小樣本量設了硬門檻組內(nèi)樣本量低于閾值時就對該組的權重做額外的平滑和封頂同時在小樣本組上使用更長的滑動平均窗口。另一條經(jīng)驗是在構造 batch 時做組級別采樣每個 batch 里強制包含每個組一個固定數(shù)量的樣本這樣風險估計的方差會大幅下降。這點改動后小樣本組的穩(wěn)定性和整體收斂速度都好了很多。6.6 評估協(xié)議失真最后這個坑最容易忽略也最傷。很多項目在評估魯棒算法時用的還是統(tǒng)一的測試集平均準確率。但 IRM、EIIL、GroupDRO 優(yōu)化的是跨環(huán)境泛化或最差組表現(xiàn)平均準確率根本反映不出它們的真實收益。我在一次項目中把測試集按來源分組后分別報告指標才發(fā)現(xiàn)一個在某子集上準確率高出基線 10 個點的模型平均指標只比基線高了 1 個點差點就被當成沒效果而否掉。所以只要用了任何不變學習或魯棒優(yōu)化方法評估協(xié)議就必須按測試環(huán)境分組報告至少包括最差組準確率、組間方差和平均準確率三個數(shù)字。最理想的做法是設置一個完全不可見的測試環(huán)境在訓練過程中完全不接觸它最后一錘定音。沒有這套協(xié)議前面所有算法層面的努力都可能被一個粗糙的平均指標掩蓋掉。寫了這么多最后聊一點我自己的體會。這三條路線我都能倒背如流但在真實項目里最管用的反而不是某個特定算法而是一種樸素的工程習慣先把數(shù)據(jù)的分布結構摸清楚再決定要不要用不變學習、用哪一種。很多團隊在數(shù)據(jù)還沒診斷清楚時就急著上 IRM結果環(huán)境標簽切得亂七八糟懲罰項毫無信號最后得出“不變學習沒用”的結論其實只是沒踩對入口。我個人在實際操作中的體會是把 IRM、EIIL、GroupDRO 當成一套完整的工具箱而不是互相替代的競品。先用快速實驗判斷數(shù)據(jù)里有沒有偽相關再用業(yè)務先驗搭一個分組基線環(huán)境標簽夠就上 IRM不夠就試 EIIL最后永遠留一個 GroupDRO 風格的兜底方案。這套組合拳幫我在好幾個數(shù)據(jù)分布復雜的項目里穩(wěn)住了跨環(huán)境指標希望對遇到類似問題的你也能有用。