DPO 這個名字最近兩年在模型對齊方向火得不行做 LLM 微調(diào)的人多少都會碰到。如果你已經(jīng)跑通了監(jiān)督微調(diào)開始接觸 RLHF、人類偏好對齊這些東西那 DPODirect Preference Optimization直接偏好優(yōu)化幾乎就是繞不開的一道坎。它的核心賣點非常直接不需要訓練獎勵模型不需要復雜的強化學習采樣循環(huán)只用一條偏好數(shù)據(jù)對就能把模型對齊到人類偏好上。我最初看到這個思路也覺得有點反直覺——不建獎勵模型怎么優(yōu)化但當你真正把代碼跑起來把損失函數(shù)拆開看一遍就會發(fā)現(xiàn)它的設計其實非常干凈。這篇博文不會去講太多學術公式推導而是從一份極簡教學 Demo 的角度把 DPO 從原理到代碼實現(xiàn)完整捋一遍。適合兩類人一是剛了解 RLHF、想知道 DPO 到底在做什么的入門者二是已經(jīng)能跑通 SFT但對著 DPO 訓練腳本不知道怎么改、踩了不少坑的實踐者。我會把 Demo 里每一段關鍵代碼的意圖、損失函數(shù)為什么長這樣、超參數(shù)怎么選連同我在實際訓練中遇到的典型問題全部寫出來希望能幫你少走一些彎路。1. 整體設計思路DPO 為什么值得上手1.1 傳統(tǒng) RLHF 的復雜鏈路與 DPO 的化繁為簡在聊 DPO 的代碼之前得先搞清楚它到底解決了什么問題。傳統(tǒng)的 RLHF 鏈路是四步走先拿人類偏好數(shù)據(jù)訓練一個獎勵模型再凍結基座模型、加載一個待優(yōu)化的策略模型然后用強化學習算法最常見的是 PPO去讓策略模型在獎勵模型的打分下不斷提升。這個鏈路有兩個難點讓人很頭疼第一獎勵模型本身要單獨訓練、單獨調(diào)參它的質(zhì)量直接決定后續(xù)強化學習的上限第二PPO 的在線采樣、優(yōu)勢估計、價值網(wǎng)絡這些組件非常重訓練不穩(wěn)定是常態(tài)動不動就崩連很多做過多年 RL 的人都覺得麻煩。DPO 的核心洞察在于它把“獎勵模型”和“策略優(yōu)化”這兩件事合并了。具體來說DPO 利用了一個數(shù)學上的等價關系——在 KL 約束下最優(yōu)策略和獎勵函數(shù)之間可以互相轉換。也就是說我們可以不顯式訓練獎勵模型而是直接把這個最優(yōu)策略下的隱式獎勵表達式代入 Bradley-Terry 偏好模型中最終得到一個只依賴策略模型和參考模型的簡單損失函數(shù)。這個損失用一行代碼就能寫完訓練過程和普通的交叉熵微調(diào)幾乎一樣簡單。這也是為什么 DPO 發(fā)布之后很快就被大量采用——性能上能對標甚至超過傳統(tǒng) RLHF但工程復雜度低了一個量級。1.2 Demo 代碼的定位教學優(yōu)先于性能我們這份極簡教學 Demo目標不是刷排行榜而是把 DPO 的核心機制完整跑通。所以它的設計會有幾個明確取舍不使用分布式訓練不使用大模型甚至連 LoRA 我都不打算直接套現(xiàn)成的訓練庫而是用最原始的 PyTorch 代碼把訓練循環(huán)寫出來。這樣做有好處你能看到每一個張量的形狀、每一步梯度是怎么回傳的、損失函數(shù)里每一項在算什么。當你真正理解了這個最簡版本再去上 Hugging Face 的 TRL 庫或者使用各種大模型訓練框架就只是換個 API 的問題底層思想是一樣的。Demo 的完整流程大概是這樣準備一組偏好數(shù)據(jù)每條數(shù)據(jù)包含一個問題、一個被偏好的回答 chosen、一個不被偏好的回答 rejected加載一個預訓練模型作為 policy model同時復制一份凍結參數(shù)作為 reference model然后計算兩條回答在 policy model 和 reference model 下的對數(shù)概率帶入 DPO 損失做常規(guī)的反向傳播。整個過程不采樣、不強化、不更新參考模型思路非常線性。我之前自己復現(xiàn)這個流程時最大的感受是DPO 的代碼框架比 RLHF 簡單太多但數(shù)據(jù)質(zhì)量的影響會被放大很多。因為整個訓練信號完全來自偏好之間的對比如果偏好數(shù)據(jù)本身標注質(zhì)量差或者 chosen 和 rejected 的差異不明顯模型的分布偏移就會變得很怪。這一點在后面會詳細說。2. 核心細節(jié)解析DPO 損失函數(shù)的數(shù)學直覺2.1 偏好模型從 Bradley-Terry 說起要理解 DPO 的損失函數(shù)得先理解數(shù)據(jù)是怎么來的。我們搜集人類反饋時通常會拿到三元組 $x$提示、$y_w$優(yōu)秀回答、$y_l$較差回答。Bradley-Terry 模型給出了一種建模方式假設存在一個底層的獎勵函數(shù) $r(x, y)$人類選擇 $y_w$ 而不是 $y_l$ 的概率可以寫成 sigmoid 形式$$P(y_w \succ y_l \mid x) \sigma(r(x, y_w) - r(x, y_l))$$這個式子很直觀兩條回答的獎勵分差越大被偏好的那條勝出的概率越高。傳統(tǒng) RLHF 的做法是先學一個參數(shù)化的獎勵模型去擬合這個概率再拿這個獎勵模型去指導策略優(yōu)化。但 DPO 走了一條完全不同的路——它壓根不去顯式學獎勵函數(shù)而是直接把獎勵函數(shù)進行參數(shù)化替換。突破口在于一個已經(jīng)證明的結論在 KL 散度約束下最大化獎勵的強化學習問題有閉式解。最優(yōu)策略 $\pi^*$ 和獎勵函數(shù) $r$ 之間存在一一對應關系獎勵可以表示為$$r(x, y) \beta \log \frac{\pi^*(y \mid x)}{\pi_{\mathrm{ref}}(y \mid x)} \beta \log Z(x)$$這里的 $Z(x)$ 是配分函數(shù)$\beta$ 是控制偏離參考模型程度的溫度參數(shù)。DPO 的核心聰明之處就是把上面這個獎勵表達式直接代回 Bradley-Terry 公式配分函數(shù) $Z(x)$ 會在分子分母的比較中消掉。最終你得到的損失函數(shù)只和當前策略模型、參考模型的概率比有關完全不需要獎勵模型。2.2 隱式獎勵與參考模型的角色DPO 里雖然沒有顯式的獎勵模型但每個策略模型其實都隱含著一個獎勵函數(shù)。你可以把 $\beta \log(\pi(y \mid x) / \pi_{\mathrm{ref}}(y \mid x))$ 看作是當前策略相對于參考模型的“優(yōu)勢分數(shù)”。當策略模型給某條回答的概率顯著高于參考模型時就等價于隱式獎勵很大反之則很小。這個視角解釋了 DPO 為什么能在不建模獎勵的情況下對齊人類偏好。那 reference model 在這里起什么作用它是訓練開始之前保存的初始策略副本全程凍結。它的存在相當于一個“錨點”防止模型在優(yōu)化過程中偏離原始分布太遠。如果你完全沒有參考模型或者參考模型加載錯了優(yōu)化目標里就沒有了防止分布漂移的約束模型很快就會過度優(yōu)化偏好數(shù)據(jù)出現(xiàn)重復、退化、單一化等問題。我在實際復現(xiàn)中曾經(jīng)偷懶跳過參考模型結果 loss 下降得非?？斓傻奈谋举|(zhì)量一塌糊涂這個教訓后面會展開講。2.3 損失實現(xiàn)中的關鍵參數(shù)DPO 的最終損失函數(shù)寫出來非常簡潔。定義兩個概率比策略模型下 chosen 與 rejected 的對數(shù)概率差$\log \pi(y_w|x) - \log \pi(y_l|x)$以及參考模型下的同樣差值。兩者相減得到一個 logits再套一個負對數(shù) sigmoid就是最終的損失$$\mathcal{L}{\mathrm{DPO}} -\log \sigma\left(\beta \left(\log \frac{\pi(y_w|x)}{\pi(y_l|x)} - \log \frac{\pi{\mathrm{ref}}(y_w|x)}{\pi_{\mathrm{ref}}(y_l|x)}\right)\right)$$這個公式的信息量很大拆開看有三層第一層如果策略模型給 chosen 的概率提升、給 rejected 的概率下降那么兩個概率差會變大損失變小第二層參考模型的概率差相當于一個基線如果參考模型本身就已經(jīng)偏向 chosen那么策略模型需要超過這個基線才會得到獎勵這有效防止了模型把分布偏移到參考模型已經(jīng)偏好過的方向上第三層$\beta$ 參數(shù)控制這個偏移的懲罰強度。在 Demo 代碼中這個損失函數(shù)通常只需要五六行即可實現(xiàn)。如果你看到別人代碼里的損失函數(shù)長得很奇怪多半是對負對數(shù) sigmoid 做了等價變換比如用 log-sum-exp 來穩(wěn)定計算核心邏輯都是一樣的。3. 實操過程與核心實現(xiàn)逐段解析3.1 數(shù)據(jù)準備偏好數(shù)據(jù)的組織方式DPO 的數(shù)據(jù)集和 SFT 不太一樣不能簡單搞一個“輸入-輸出”的映射就完事。每一條訓練樣本必須同時包含三樣東西prompt提示、chosen被偏好的回答、rejected被拒絕的回答。很多開源偏好數(shù)據(jù)集的格式就是這樣的三元組你在加載時需要注意字段名稱不同數(shù)據(jù)集叫法可能不一樣有的叫 accepted/rejected有的叫 chosen/response_chosen 等。在極簡 Demo 里我會建議先把數(shù)據(jù)組織成一個列表每個元素是(prompt, chosen, rejected)的字符串元組然后單獨寫一個預處理函數(shù)把三個字符串拼接成模型輸入的 token 序列。一個非常關鍵的細節(jié)是chosen 和 rejected 必須使用完全相同的 prompt 前綴并且要分別獨立拼接不能把兩條回答放進同一個序列否則模型看到 token 順序就會混亂。def construct_input(prompt, response): # 使用統(tǒng)一的對話模板拼接 prompt 和 response text template.format(promptprompt, responseresponse) return tokenizer(text, truncationTrue, max_lengthmax_seq_len)很多新手在第一步就踩坑chosen 和 rejected 的序列長度不一致于是在 batch 時需要 padding。此時要特別小心padding 的部分絕不能參與 loss 計算否則模型會去預測我們?nèi)藶樘畛涞?token導致概率計算完全失真。一種做法是把 padding 位置的標簽設為 -100在計算對數(shù)概率時用掩碼排除還有一種做法是構造一個loss_mask只對回答部分的 token 計算概率和損失。3.2 模型加載與參考模型凍結模型加載這塊Demo 里比較標準化的流程是加載一個預訓練模型作為 policy model再深拷貝一份權重作為 reference model。我建議用copy.deepcopy(model.state_dict())這種直接復制狀態(tài)字典的方式然后加載到另一個模型實例里而不是在同一個模型上調(diào)用兩次加載這樣更干凈。policy_model AutoModelForCausalLM.from_pretrained(model_name) ref_model AutoModelForCausalLM.from_pretrained(model_name) # 或者直接把 policy_model 的權重深拷貝給 ref_model ref_model.load_state_dict(copy.deepcopy(policy_model.state_dict()))reference model 加載完之后立刻設置requires_grad_(False)把所有參數(shù)凍結。這一步很容易被忽略但如果不凍結梯度會同時傳到兩個模型上訓練目標就完全錯亂了。我在代碼里還會加一句檢查for name, param in ref_model.named_parameters(): assert not param.requires_grad, f{name} 應該被凍結另外有個小建議如果你的顯存緊張但 GPU 能裝下模型可以把 reference model 和 policy model 放進同一個 device兩個模型的前向計算交替進行不會占用雙份激活值內(nèi)存因為 same batch 下兩個模型是順序執(zhí)行的。3.3 訓練循環(huán)與損失計算的核心實現(xiàn)下面這段是整篇博文最核心的代碼我會一段一段拆開說。DPO 的訓練循環(huán)本身并不復雜難點在于怎么把“對數(shù)概率差”算準。def compute_logps(model, input_ids, attention_mask, labels): outputs model(input_idsinput_ids, attention_maskattention_mask) logits outputs.logits # [batch, seq_len, vocab_size] log_probs F.log_softmax(logits, dim-1) # 只取每個位置模型給真實 token 的對數(shù)概率 per_token_logps torch.gather( log_probs, dim-1, indexlabels.unsqueeze(-1) ).squeeze(-1) # 把 padding 位置排除掉 mask labels ! -100 per_token_logps per_token_logps * mask.float() return per_token_logps.sum(dim-1)這段代碼做了三件事第一拿到模型對每個位置、每個詞表 token 的 logits轉成對數(shù)概率第二通過gather把每個位置模型給真實 token 的概率撈出來第三將標簽為 -100 的位置 mask 掉然后對序列求和得到整條回答的“總對數(shù)概率”。這里有個細節(jié)值得提醒求和而不是求平均在 DPO 中是故意的。因為 DPO 的損失計算的是兩條回答的概率差而概率本質(zhì)上是序列級聯(lián)合概率的對數(shù)。如果你求平均短回答和長回答的概率就被歸一化了偏好比較的尺度就失去了意義。實際操作長回答容易獲得更低的平均 logprob但不是模型生成質(zhì)量差的信號這只是概率乘法路徑更長導致的。所以 DPO 的原則是對齊所有 token 的聯(lián)合似然用求和。接下來就是 DPO 損失函數(shù)的核心計算def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta0.1): policy_log_ratios policy_chosen_logps - policy_rejected_logps ref_log_ratios ref_chosen_logps - ref_rejected_logps logits policy_log_ratios - ref_log_ratios loss -F.logsigmoid(beta * logits) return loss.mean()你會發(fā)現(xiàn)這個實現(xiàn)總共就四行但每一行都對應一個重要的概念。第一行計算策略模型對 chosen 和 rejected 的總對數(shù)概率差第二行計算參考模型的同樣差值第三行相減得到“策略相對于參考模型的偏好程度變化”第四行通過logsigmoid把 logits 壓成損失。訓練循環(huán)本身和普通的語言模型微調(diào)沒什么兩樣把一組 batch 的 chosen 和 rejected 輸入分別前向算出四個 logps然后算 loss、反向傳播、更新梯度。有一點我要特別提醒如果顯存允許建議把 chosen 和 rejected 拼成一個 batch 一起前向這樣兩個序列都能共享一次 batch padding 邏輯但計算損失時按照索引切分否則當 chosen 和 rejected 長度差異大時batch padding 會浪費大量計算。3.4 超參數(shù)選擇與訓練配置DPO 的超參數(shù)里最值得花心思的是 $\beta$。它的大小直接代表了“允許模型偏離參考模型多遠”。在 Demo 里我默認設成 0.1這個值是很多實驗驗證過的安全起點但如果你發(fā)現(xiàn)模型生成風格變化太快、過擬合嚴重可以把 $\beta$ 調(diào)大比如 0.5 甚至 1.0如果感覺模型學得不夠積極、偏好提升慢則可以調(diào)小到 0.05。學習率和 batch size 的選擇和 SFT 類似但因為 DPO 的梯度信號來自偏好對比對數(shù)據(jù)噪聲更敏感一般建議學習率不要太大在我的測試里 1e-6 到 2e-5 之間比較穩(wěn)妥LoRA 場景下可以稍微大一點。訓練輪數(shù)不宜過多通常 1 到 3 個 epoch 就足夠多了反而容易記憶偏好數(shù)據(jù)中的噪聲。還有一個常見的訓練技巧是加上梯度累積。因為偏好數(shù)據(jù)構造起來成本高通常數(shù)據(jù)量不會特別大所以小 batch 配合梯度累積既能穩(wěn)定優(yōu)化又能在有限顯存下擴大有效 batch。不過要注意DPO 的 loss 是 pairwise 的做梯度累積時不需要額外處理正常累積即可。4. 常見問題與排查技巧實錄4.1 loss 一直在下降生成質(zhì)量反而變差這是我復現(xiàn) DPO 時遇到的最詭異的狀況訓練 loss 曲線很漂亮均勻下降但生成結果卻越來越重復、越來越模板化。排查到最后發(fā)現(xiàn)這是因為我在構建偏好數(shù)據(jù)時選了一個 quality gap 很大的數(shù)據(jù)集chosen 和 rejected 的差異太明顯模型一下子就把“答案風格”也學進去了。這其實是過擬合的一種表現(xiàn)通過增大 $\beta$ 或減小訓練輪數(shù)可以緩解。我建議你在訓練過程中不定期手動看一下生成示例不要只盯 loss 曲線。DPO 的 loss 下降本身并不能保證對齊質(zhì)量提升因為 loss 衡量的是偏好對比的滿足程度而不是絕對生成質(zhì)量。你可以額外記錄一個“chosen 平均對數(shù)概率差”的指標這個差值如果一直在增高模型很可能已經(jīng)開始過度優(yōu)化偏好數(shù)據(jù)了。4.2 chosen 和 rejected 長度差異過大這個問題在真實數(shù)據(jù)里太常見了。有些標注員寫的 rejected 回答只有一句話而 chosen 是很長的段落。求和后 chosen 的總對數(shù)概率天然比 rejected 更負因為長序列的 logprob 絕對值更大但其實每個 token 的擬合程度可能差不多。這樣模型會通過“加長輸出”這種偷懶手段來降低 loss而不是真正學會回答內(nèi)容的好壞。處理方式有兩個方向。第一個方向是過濾數(shù)據(jù)拒絕掉長度差異過大的樣本第二個方向是在構造 loss mask 時只對回答部分的 token 計算概率并且不要讓 loss mask 覆蓋 prompt 部分。如果你確實想保留這類樣本可以把求和改成按 token 數(shù)量做輕微歸一化但這種情況不太推薦因為會破壞 DPO 的聯(lián)合概率比較邏輯。4.3 訓練顯存不足DPO 理論上比 PPO 省顯存因為它不需要額外的值網(wǎng)絡、不需要存儲 rollout 軌跡。但如果你一次性加載 policy model 和 reference model 兩份完整參數(shù)顯存壓力依然存在。在不影響理解核心代碼的前提下有幾個非常實用的降顯存手段第一用 LoRA 之類的方式訓練參考模型仍然全量加載但 policy model 的可訓練參數(shù)極少梯度顯存大幅降低。第二把兩個模型放進同一個 GPU用梯度檢查點gradient checkpointing減少激活值占用。第三如果 reference model 太大可以使用和 policy model 共用底層 transformer、只保存特定層副本的方式這種技巧只適合特殊網(wǎng)絡結構我這里不多展開。我的經(jīng)驗是在 Demo 階段直接用 7B 以下的小模型或者干脆用 1B 左右的模型先跑通邏輯不要一開始就上大規(guī)模模型。DPO 的訓練思路在大模型和小模型上是完全一致的把 Demo 跑通了再遷移到大模型你會輕松很多。4.4 推理時出現(xiàn)重復與退化訓練完的模型做推理時如果發(fā)現(xiàn)輸出和參考模型幾乎沒差別那通常是訓練不充分、$\beta$ 太大或者學習率太小。反之如果輸出變得奇怪、語法錯誤、重復嚴重多半是過擬合偏好數(shù)據(jù)了也就是前面說的 loss 雖然降了但分布崩了。退化問題在 DPO 里比 SFT 更容易出現(xiàn)因為訓練目標只對比相對偏好沒有絕對質(zhì)量約束參考模型的錨定作用一旦被削弱模型就會往 score 高的方向狂奔。一個很有效的補救措施是保存訓練過程中多個 checkpoint每個 checkpoint 都用固定的測試 prompt 寫幾段生成樣本人工比較之后再決定選取哪一個。不要只看驗證集上的 loss因為驗證集的構建方式和訓練集幾乎一樣模型很容易在偏好對比上作弊。5. 實操心得與后續(xù)擴展方向我在實際把 DPO 從 Demo 擴展到完整項目時有幾個很深的體會。首先是“參考模型就是隱式的約束器”這句話只有真正下場調(diào)過參才會有感覺——$\beta$ 和參考模型對結果的影響比學習率還大。其次是數(shù)據(jù)質(zhì)量再怎么強調(diào)都不過分DPO 把訓練信號全部壓縮到了一條偏好對的對比里如果這條對比本身是錯或者模糊的整個模型就是在朝一個錯誤的方向移動而且因為訓練簡單這個錯誤方向會很快被放大。所以在做過一輪完整實驗后我又回頭花了大量時間清洗偏好數(shù)據(jù)效果比調(diào)參明顯得多。講到這里如果你已經(jīng)理解了那份極簡教學 Demo 的代碼結構可以繼續(xù)往這幾個方向擴展把單輪偏好數(shù)據(jù)換成對話級別的多輪偏好數(shù)據(jù)把標準 DPO 換成帶長度懲罰或 token 級加權的變體再加上 LoRA 和 4bit 量化做高效微調(diào)。這些擴展本質(zhì)上都是在不改變核心損失函數(shù)的前提下對數(shù)據(jù) shape 和訓練策略做調(diào)整。我自己跑過一圈后最深的建議是動手前先把這個最小 Demo 從頭到尾寫一遍不用任何封裝庫你會發(fā)現(xiàn) DPO 的神秘感瞬間消失了。