告)
自我蒸餾究竟讓模型學(xué)到了什么一篇新論文對(duì)推理進(jìn)步證據(jù)的重新審查**原論文**Does self-distillation improve reasoning?**選文與版本**2026 年 10 月 14 日 arXiv cs.LG 最新列表選文10 月 15 日完成解讀依據(jù) 2610.18613v1。**閱讀范圍**正文、理論證明、完整實(shí)驗(yàn)表、訓(xùn)練參數(shù)和梯度測(cè)量附錄并核對(duì)所討論 SDPO / OPSD 原始研究的公開(kāi)主張。實(shí)驗(yàn)數(shù)字為作者報(bào)告未獨(dú)立復(fù)現(xiàn)。摘要自我蒸餾的吸引力在于同一個(gè)模型在獲得正確答案、參考解法或環(huán)境反饋后可能成為“更好的自己”再通過(guò)稠密的 token 級(jí)監(jiān)督教會(huì)沒(méi)有這些信息的學(xué)生模型。但這個(gè)故事包含幾個(gè)需要分別驗(yàn)證的環(huán)節(jié)獲得更多信息是否真的產(chǎn)生更好的教師學(xué)生的提升是否來(lái)自這些信息提升能否遷移到新問(wèn)題收益是否只是由更長(zhǎng)的思考過(guò)程換來(lái)。這篇論文圍繞 SDPO 和 OPSD 進(jìn)行復(fù)現(xiàn)與機(jī)制拆解。它發(fā)現(xiàn)所測(cè) SDPO 在代碼任務(wù)上的改善主要停留在訓(xùn)練題目部分科學(xué)領(lǐng)域訓(xùn)練伴隨跨領(lǐng)域退化OPSD 的數(shù)學(xué)收益則更符合思考模式遷移而不依賴正確參考解法的內(nèi)容。梯度分析進(jìn)一步顯示低方差的蒸餾信號(hào)不一定指向未見(jiàn)問(wèn)題上的獎(jiǎng)勵(lì)改善。我的判斷這篇論文最重要的貢獻(xiàn)是把“模型分?jǐn)?shù)提高”與“特權(quán)信息有效轉(zhuǎn)化為可泛化能力”分開(kāi)驗(yàn)證。它對(duì)兩種具體方法給出了有力質(zhì)疑但沒(méi)有證明自我蒸餾普遍無(wú)效也沒(méi)有證明強(qiáng)化學(xué)習(xí)在任何預(yù)算下都更優(yōu)。1. 論文檔案與閱讀立場(chǎng)項(xiàng)目信息標(biāo)題Does self-distillation improve reasoning?作者Jason Ken Adhinarta、Raina Wu、Ashutosh Sharma、Avinash Balakrishnan、Rameswar Panda、Polina Golland、Yoon Kim、Zhang-Wei HongarXiv2610.18613v1首次提交2026-10-13 15:59:36 UTC北京時(shí)間 10 月 13 日 23:59:36篇幅作者標(biāo)注 33 頁(yè)、11 圖、24 表模型范圍Qwen3 1.7B–14B以及 OLMo-3-7B 系列核心對(duì)象SDPO、OPSD代碼、科學(xué)問(wèn)答、工具使用和數(shù)學(xué)任務(wù)代碼sleepypandu/does-sd-improve-reasoning狀態(tài)arXiv 預(yù)印本本文不預(yù)設(shè)其已完成同行評(píng)議這是一篇以機(jī)制識(shí)別和評(píng)測(cè)審查為主的算法研究不是推出新訓(xùn)練算法的論文。評(píng)價(jià)它應(yīng)看它能否排除已有解釋的替代原因而不只看是否刷出最高分。2. 為什么“同一個(gè)模型教自己”看起來(lái)合理設(shè)學(xué)生僅看到問(wèn)題x xx教師還看到訓(xùn)練時(shí)可用、部署時(shí)不可用的信息z zz。它們分別給出p S ( ? ∣ x , y t ) , p T ( ? ∣ x , z , y t ) . p_S(\cdot\mid x,y_{t}),\qquad p_T(\cdot\mid x,z,y_{t}).pS?(?∣x,yt?),pT?(?∣x,z,yt?).這里z zz可以是正確推導(dǎo)、執(zhí)行錯(cuò)誤信息或另一條成功軌跡?！疤貦?quán)”描述的是信息可用性差異不意味著教師權(quán)重更大。訓(xùn)練先讓學(xué)生產(chǎn)生軌跡再在學(xué)生實(shí)際經(jīng)過(guò)的前綴上讓其 token 分布接近教師分布。概括為L(zhǎng) S D E x , y ～ sg ? ( p S ) , z [ ∑ t D ( p S ( ? ∣ x , y t ) , sg ? ( p T ( ? ∣ x , z , y t ) ) ) ] . L_{\mathrm{SD}} \mathbb E_{x,y\sim\operatorname{sg}(p_S),z} \left[\sum_tD\big(p_S(\cdot\mid x,y_{t}), \operatorname{sg}(p_T(\cdot\mid x,z,y_{t}))\big)\right].LSD?Ex,y～sg(pS?),z?[t∑?D(pS?(?∣x,yt?),sg(pT?(?∣x,z,yt?)))].sg ? \operatorname{sg}sg表示停止梯度。實(shí)際教師還可能是凍結(jié)副本或指數(shù)移動(dòng)平均副本不能把“同模型”理解為每一步教師與學(xué)生權(quán)重都完全相同。它的優(yōu)勢(shì)設(shè)想有兩點(diǎn)學(xué)生在自身容易訪問(wèn)的狀態(tài)上學(xué)習(xí)減少訓(xùn)練—部署分布錯(cuò)位教師每個(gè) token 都給出監(jiān)督緩解整段回答只有一個(gè)成敗獎(jiǎng)勵(lì)的稀疏性。[2–3]問(wèn)題也在這里監(jiān)督更密集只說(shuō)明信號(hào)數(shù)量更多它不保證這些信號(hào)更接近真正應(yīng)學(xué)習(xí)的內(nèi)容。SDPO 與 OPSD 的區(qū)別方法主要教師信息本文復(fù)現(xiàn)實(shí)驗(yàn)中的關(guān)鍵損失設(shè)置SDPO成功的同組軌跡、環(huán)境反饋代碼用 top-k 反向 KL科學(xué) / 工具實(shí)驗(yàn)用 Jensen–Shannon使用 EMA 教師OPSD數(shù)據(jù)集參考解法正向 KL 與 token 級(jí)裁剪凍結(jié)教師另對(duì)教師思考模式做對(duì)照GRPO 對(duì)照可驗(yàn)證的回答獎(jiǎng)勵(lì)按組估計(jì)相對(duì)優(yōu)勢(shì)直接訓(xùn)練高獎(jiǎng)勵(lì)行為這些差異很重要。不能把一項(xiàng)實(shí)驗(yàn)的失敗簡(jiǎn)單歸因于“所有 KL 蒸餾”也不能把不同方法中的教師刷新方式和散度方向混在一起。3. 第一條證據(jù)鏈通過(guò)新測(cè)試用例不等于會(huì)解新題3.1 原有評(píng)測(cè)主張需要拆成兩個(gè)問(wèn)題根據(jù)本文作者對(duì)所復(fù)現(xiàn) SDPO 設(shè)置的說(shuō)明原代碼實(shí)驗(yàn)在相同題目上留出部分測(cè)試用例。這樣的評(píng)測(cè)可以檢查模型是否學(xué)會(huì)滿足題目的完整規(guī)格但不能單獨(dú)回答它能否解決訓(xùn)練中未出現(xiàn)的新題。本文于是將 LiveCodeBench v6 的題目拆成互不重疊的訓(xùn)練題和測(cè)試題再區(qū)分三個(gè)評(píng)測(cè)集合集合題目是否訓(xùn)練過(guò)測(cè)試用例是否訓(xùn)練時(shí)使用更接近檢驗(yàn)什么train_seen是是對(duì)訓(xùn)練任務(wù)的適應(yīng)train_unseen是否同題規(guī)格內(nèi)的用例泛化test_unseen否否跨題目泛化這不是文字游戲。同一算法題的多個(gè)用例通常共享一個(gè)解題規(guī)則真正掌握那道題的解法后通過(guò)新輸入并不要求獲得可遷移到其他題目的新能力。因此問(wèn)題級(jí)記憶與測(cè)試用例級(jí)過(guò)擬合可以同時(shí)被區(qū)分模型可能沒(méi)有死記輸入輸出卻仍主要記住了訓(xùn)練題目的解法。3.2 新題成績(jī)與訓(xùn)練題成績(jī)出現(xiàn)分離以下為附錄表 5 的 test_unseen 結(jié)果均為四個(gè)種子的均值 ± 標(biāo)準(zhǔn)差單位為百分比。初始化評(píng)測(cè)存在采樣差異因此保留每個(gè)方法各自的起點(diǎn)。模型方法初始化200 步相對(duì)自身起點(diǎn)Qwen3-8BSDPO32.3 ± 1.629.8 ± 1.1?2.5 個(gè)百分點(diǎn)Qwen3-8BGRPO30.6 ± 1.034.3 ± 0.53.7 個(gè)百分點(diǎn)Qwen3-14BSDPO32.8 ± 0.732.3 ± 1.3?0.5 個(gè)百分點(diǎn)Qwen3-14BGRPO33.6 ± 0.438.5 ± 2.24.9 個(gè)百分點(diǎn)OLMo-3-7B-InstructSDPO30.9 ± 1.021.0 ± 1.4?9.9 個(gè)百分點(diǎn)OLMo-3-7B-InstructGRPO31.5 ± 1.834.1 ± 0.82.6 個(gè)百分點(diǎn)與此同時(shí)Qwen3-8B 的 SDPO 在 train_seen 提升 23.1 個(gè)百分點(diǎn)在 train_unseen 提升 18.4 個(gè)百分點(diǎn)。這組對(duì)照比“分?jǐn)?shù)下降”更有解釋力方法確實(shí)學(xué)到了有用內(nèi)容只是這些內(nèi)容的有效范圍主要局限在已接觸題目。3.3 更快上升與更好最終結(jié)果是兩種優(yōu)勢(shì)SDPO 在早期訓(xùn)練題成績(jī)上升更快延長(zhǎng)訓(xùn)練后Qwen3 上的 GRPO 繼續(xù)改善并反超部分訓(xùn)練題指標(biāo)。早期評(píng)測(cè)能支持樣本效率主張卻不能直接支持最終能力上限主張。但反過(guò)來(lái)也要公平如果部署預(yù)算只允許很短的適配階段早期優(yōu)勢(shì)仍然有實(shí)際價(jià)值?？茖W(xué)比較應(yīng)同時(shí)報(bào)告固定交互預(yù)算、固定 token 預(yù)算和固定計(jì)算時(shí)間而不是只選擇有利的一段曲線。4. 第二條證據(jù)鏈專項(xiàng)提升可能伴隨其他能力退化作者分別在生物、化學(xué)、材料、物理和工具使用上訓(xùn)練 Qwen3-8B然后在全部五域的留出題上評(píng)測(cè)。下表摘自正文表 1OOD 變化指四個(gè)非訓(xùn)練域的平均準(zhǔn)確率相對(duì)基礎(chǔ)模型的變化。訓(xùn)練域SDPO 域內(nèi)準(zhǔn)確率GRPO 域內(nèi)準(zhǔn)確率SDPO OOD 變化GRPO OOD 變化生物52.5%51.0%?12.8 ± 0.81.2 ± 0.9化學(xué)77.7%68.9%?16.6 ± 4.41.6 ± 0.4材料73.5%76.2%?7.1 ± 4.01.2 ± 0.7物理73.1%72.4%?12.5 ± 4.60.9 ± 0.1工具使用53.5%66.3%0.9 ± 1.8?2.1 ± 1.2域內(nèi)列為均值完整標(biāo)準(zhǔn)差見(jiàn)原表OOD 列保留均值 ± 標(biāo)準(zhǔn)差單位為百分點(diǎn)。原評(píng)測(cè)使用 avg16即多次采樣準(zhǔn)確率的平均估計(jì)不是“16 次中至少一次答對(duì)”的 pass16?；瘜W(xué)上 SDPO 的域內(nèi)優(yōu)勢(shì)明顯不能忽略但它同時(shí)存在更大的非訓(xùn)練域損失。工具訓(xùn)練又是例外SDPO 的 OOD 略升GRPO 略降。因此“SDPO 訓(xùn)練必然破壞其他能力”并不符合原表。更合理的問(wèn)題是目標(biāo)域改善與原有能力保持之間的交換比例是否適合實(shí)際應(yīng)用例如專門解化學(xué)題的離線模型和需要在科學(xué)、工具、日常問(wèn)答間切換的通用助手對(duì)退化的容忍度不同。平均域內(nèi)分?jǐn)?shù)不能獨(dú)立決定部署價(jià)值。5. 第三條證據(jù)鏈參考答案的內(nèi)容可能不是收益來(lái)源5.1 一個(gè)容易混淆的雙重變化在所分析的 OPSD 設(shè)置中學(xué)生關(guān)閉 thinking教師開(kāi)啟 thinking且教師獲得正確參考解法。因此教師比學(xué)生多了兩個(gè)條件更豐富的解題信息和不同的思考模式。如果不分別控制最終分?jǐn)?shù)提升既可能來(lái)自正確知識(shí)也可能來(lái)自輸出行為遷移。作者設(shè)計(jì)兩個(gè)因素教師 thinking 開(kāi) / 關(guān)參考信息為正確解法、無(wú)解法、其他題目的打亂解法。學(xué)生訓(xùn)練時(shí)保持 thinking-off再分別以 thinking-on / off 評(píng)測(cè)。5.2 結(jié)果對(duì)“參考內(nèi)容必不可少”構(gòu)成挑戰(zhàn)下表為 Qwen3-8B、AIME24 / AIME25 / HMMT25 的平均分摘自正文表 2。采用 avg12各評(píng)測(cè)模式選擇其跨種子平均表現(xiàn)最佳的 checkpoint并非所有單元格都來(lái)自同一個(gè)訓(xùn)練步。訓(xùn)練方法 / 教師設(shè)置教師參考信息thinking-off 評(píng)測(cè)thinking-on 評(píng)測(cè)基礎(chǔ)模型—19.3%63.1%GRPO訓(xùn)練時(shí)不思考—23.7%64.3%SFT參考監(jiān)督數(shù)據(jù)50.0%63.0%OPSD教師思考正確解法33.1%65.0%OPSD教師思考無(wú)解法44.6%65.3%OPSD教師思考打亂解法33.2%65.1%OPSD教師不思考正確解法19.5%64.6%OPSD教師不思考無(wú)解法20.4%64.5%OPSD教師不思考打亂解法19.1%64.9%固定教師 thinking-on 后正確解法在 thinking-off 評(píng)測(cè)下沒(méi)有超過(guò)打亂解法反而明顯低于無(wú)解法。關(guān)閉教師思考后學(xué)生直接回答模式下的增益接近消失。這支持在這些配置中正確參考內(nèi)容不是獲得收益的必要條件教師思考行為的遷移更能解釋較大的提升。但“不是必要條件”不等于“所有樣本上都沒(méi)有作用”。平均結(jié)果可能掩蓋部分題目上的正負(fù)效應(yīng)也不能從打亂解法仍有效推導(dǎo)出模型完全忽略上下文。無(wú)參考條件改變了輸入長(zhǎng)度和干擾程度需要進(jìn)一步精細(xì)控制。5.3 思考模式可以通過(guò)行為重新出現(xiàn)作者觀察到學(xué)生在 thinking-off 模式下仍可能生成長(zhǎng)篇第一人稱推理輸出孤立的/think標(biāo)記再給出整理后的答案部分設(shè)置孤立標(biāo)記占比達(dá)到 69.9%。使用 thinking-on 教師后回答長(zhǎng)度增加到原來(lái)的 2.72–5.82 倍。[1§4.3、附錄 D.3–D.4]這說(shuō)明模板上的模式開(kāi)關(guān)不等于輸出行為被嚴(yán)格限制。模型可能把已有的長(zhǎng)推理行為搬進(jìn)直接回答通道。這仍可能是有用的訓(xùn)練效果它改變了能力的調(diào)用方式。但若沒(méi)有固定生成預(yù)算就不能稱為“以同樣推理成本獲得更強(qiáng)能力”。更準(zhǔn)確的研究問(wèn)題是收益來(lái)自新的問(wèn)題解決策略還是來(lái)自更長(zhǎng)時(shí)間地運(yùn)行已有策略6. 第四條證據(jù)鏈低方差監(jiān)督為什么仍可能方向不對(duì)6.1 理想教師的條件比“知道答案”更嚴(yán)格論文討論一個(gè)相對(duì)當(dāng)前策略、帶 KL 約束的理想教師π ? ( y ∣ x ) 1 Z ( x ) π θ ( y ∣ x ) exp ? ( R ( x , y ) / β ) . \pi^*(y\mid x)\frac{1}{Z(x)}\pi_\theta(y\mid x)\exp(R(x,y)/\beta).π?(y∣x)Z(x)1?πθ?(y∣x)exp(R(x,y)/β).它按獎(jiǎng)勵(lì)重新加權(quán)學(xué)生原有輸出分布。對(duì)固定問(wèn)題、二元獎(jiǎng)勵(lì)和相應(yīng)完整分布目標(biāo)作者證明向這個(gè)凍結(jié)的理想教師做正向或反向 KL 優(yōu)化其局部更新方向與獎(jiǎng)勵(lì)策略梯度相同。[1命題 3.1、附錄 B]例如反向 KL 的梯度滿足? θ D K L ( π θ ∥ sg ? ( π ? ) ) ? 1 β ? θ E π θ [ R ] . \nabla_\theta D_{\mathrm{KL}}(\pi_\theta\|\operatorname{sg}(\pi^*)) -\frac{1}{\beta}\nabla_\theta\mathbb E_{\pi_\theta}[R].?θ?DKL?(πθ?∥sg(π?))?β1??θ?Eπθ??[R].正向 KL 在二元獎(jiǎng)勵(lì)下得到另一個(gè)正比例系數(shù)。因此關(guān)鍵不在“是否蒸餾”而在教師是否具備這種獎(jiǎng)勵(lì)重加權(quán)結(jié)構(gòu)。看到正確答案的語(yǔ)言模型并不會(huì)自動(dòng)滿足它。教師可能被參考文本的表面形式吸引偏向單一解法或更擅長(zhǎng)續(xù)寫解釋卻不擅長(zhǎng)判斷學(xué)生當(dāng)前前綴如何走向高獎(jiǎng)勵(lì)。6.2 實(shí)驗(yàn)測(cè)量訓(xùn)練方向與留出獎(jiǎng)勵(lì)方向的夾角對(duì)留出題的期望獎(jiǎng)勵(lì)J h e l d J_{\mathrm{held}}Jheld?和實(shí)際更新方向d dd局部近似為J h e l d ( θ η d ) ? J h e l d ( θ ) ≈ η ? J h e l d ( θ ) ? d . J_{\mathrm{held}}(\theta\eta d)-J_{\mathrm{held}}(\theta) \approx\eta\nabla J_{\mathrm{held}}(\theta)^\top d.Jheld?(θηd)?Jheld?(θ)≈η?Jheld?(θ)?d.作者用留出題上的 GRPO 梯度作為參考比較各方法梯度的余弦相似度。代碼實(shí)驗(yàn)的結(jié)果如下均在基礎(chǔ)模型處測(cè)量誤差為跨四種子匯總后的 jackknife 誤差。[1表 4]模型GRPO 與參考的相似度SDPO 與參考的相似度Qwen3-8B0.121 ± 0.011?0.167 ± 0.063Qwen3-14B0.070 ± 0.0420.013 ± 0.112OLMo-3-7B-Instruct0.422 ± 0.0910.062 ± 0.028Qwen3-8B 數(shù)學(xué)實(shí)驗(yàn)中訓(xùn)練時(shí)不思考的 GRPO 為 0.118 ± 0.050教師思考且使用正確參考的 OPSD 為 ?0.160 ± 0.020。自我蒸餾在這里的梯度噪聲更小但與參考方向?qū)R較弱。**穩(wěn)定地更新和朝期望目標(biāo)更新是兩種性質(zhì)。**低方差不能補(bǔ)償系統(tǒng)性的方向偏差。7. 同樣需要審查這篇批判論文的論證深刻的解讀不能只重復(fù)批判者的結(jié)論。下面幾條邊界會(huì)影響我們能從結(jié)果推到多遠(yuǎn)。7.1 梯度實(shí)驗(yàn)不是對(duì)理論命題的直接檢驗(yàn)命題比較同一固定問(wèn)題下的理想完整分布目標(biāo)實(shí)驗(yàn)比較訓(xùn)練問(wèn)題的實(shí)際損失梯度與留出問(wèn)題的參考梯度。前者研究教師與獎(jiǎng)勵(lì)是否一致后者還混入跨問(wèn)題泛化。此外實(shí)踐中使用 top-k、裁剪、EMA、不同散度和停止采樣梯度其優(yōu)化方向未必等同于理想序列分布 KL 的完整梯度。因此對(duì)齊較差可以反駁“實(shí)踐已近似理想教師”的簡(jiǎn)單敘述卻不能僅憑這一結(jié)果唯一確定教師失敗的原因。7.2 初始位置的局部反向不代表長(zhǎng)期必然退化所有梯度都在基礎(chǔ)模型處、學(xué)習(xí)率設(shè)為零的條件下測(cè)量。有限步訓(xùn)練會(huì)改變分布、特征和教師關(guān)系。一個(gè)初始方向不利的方法可能之后進(jìn)入有利區(qū)域更長(zhǎng)回答帶來(lái)的性能提升也未必由初始局部指標(biāo)完整捕獲。事實(shí)上論文中的部分 OPSD 設(shè)置最終準(zhǔn)確率提高卻具有負(fù)初始對(duì)齊。這正說(shuō)明梯度指標(biāo)是機(jī)制診斷工具不是長(zhǎng)期性能的充分判據(jù)。7.3 原始梯度與實(shí)際優(yōu)化位移并不相同數(shù)學(xué)訓(xùn)練使用 LoRA而附錄 E.3 為避免零初始化適配矩陣造成的問(wèn)題測(cè)量所有參數(shù)的梯度。AdamW 又會(huì)引入自適應(yīng)預(yù)條件、動(dòng)量、裁剪等。因此全參數(shù)原始梯度的夾角不一定等于 LoRA 參數(shù)空間中真實(shí)更新位移的夾角。更直接的驗(yàn)證是記錄實(shí)際參數(shù)變化Δ θ \Delta\thetaΔθ在多個(gè)訓(xùn)練階段測(cè)量? J h e l d ? Δ θ \nabla J_{\mathrm{held}}^\top\Delta\theta?Jheld??Δθ再用小步真實(shí)更新檢查預(yù)測(cè)是否成立。7.4 參考梯度是估計(jì)不是無(wú)噪聲真值留出 GRPO 梯度通過(guò)有限采樣得到并使用組內(nèi)標(biāo)準(zhǔn)化等實(shí)際設(shè)置。論文自己報(bào)告它有較高噪聲跨種子 jackknife 有助于量化不確定性卻不能把它變成精確總體獎(jiǎng)勵(lì)梯度。尤其 Qwen3-14B 代碼中的 SDPO 相似度為 0.013 ± 0.112應(yīng)理解為方向不明確而不能寫成“確定為負(fù)”。OLMo 數(shù)學(xué)結(jié)果也不能照搬 Qwen3 的負(fù)對(duì)齊結(jié)論。7.5 比較方法不等于比較同一成本代碼訓(xùn)練的 mini-batch 設(shè)置不同科學(xué)實(shí)驗(yàn)因穩(wěn)定性調(diào)整了 GRPO 學(xué)習(xí)率SDPO 和 GRPO 使用不同學(xué)習(xí)率。數(shù)學(xué)上 OPSD / SFT 訓(xùn)練 200 步GRPO 500 步生成長(zhǎng)度上限和訓(xùn)練批量也不同。[1附錄 E]這些選擇可用于復(fù)現(xiàn)各方法及觀察行為但不是嚴(yán)格計(jì)算預(yù)算匹配。特別是要判斷“哪個(gè)方法更經(jīng)濟(jì)”還需同時(shí)核算教師前向、學(xué)生采樣、驗(yàn)證器調(diào)用、訓(xùn)練時(shí)間和最終輸出長(zhǎng)度。7.6 論文的適用范圍有明確邊界研究主要覆蓋兩個(gè)方法、兩個(gè)模型家族和可驗(yàn)證任務(wù)。它沒(méi)有全面測(cè)試所有自我蒸餾變體、混合強(qiáng)化學(xué)習(xí)目標(biāo)、復(fù)雜反饋聚合和非可驗(yàn)證任務(wù)。原 SDPO 也討論對(duì)單個(gè)難題的測(cè)試時(shí)適配本論文的跨題泛化結(jié)果不能自動(dòng)否定那種不同目標(biāo)下的用途。8. 我認(rèn)為最有價(jià)值的解釋收益需要分成三個(gè)層次這里給出一個(gè)由論文啟發(fā)的分析框架不是作者原有分類。層次模型發(fā)生的變化需要的證據(jù)任務(wù)適應(yīng)更會(huì)處理接觸過(guò)的問(wèn)題或工作流同題新輸入、真實(shí)任務(wù)完成率能力調(diào)用更容易啟動(dòng)已有思考模式或輸出策略模式控制、長(zhǎng)度控制、行為分析可遷移學(xué)習(xí)對(duì)未見(jiàn)問(wèn)題學(xué)到更普遍的方法問(wèn)題級(jí)隔離、跨域評(píng)測(cè)、固定成本比較這三種收益都可能有價(jià)值但它們對(duì)應(yīng)不同科學(xué)主張。訓(xùn)練題改善主要支持第一層thinking-off 下出現(xiàn)長(zhǎng)思考支持第二層只有足夠獨(dú)立的泛化評(píng)測(cè)才更有資格支持第三層。真正的問(wèn)題不是“自我蒸餾有沒(méi)有提高一個(gè)數(shù)字”而是它提高的是哪一層付出了什么代價(jià)。9. 更有前景的算法方向與可檢驗(yàn)假設(shè)以下均為本文建議不是原論文已完成的方法。9.1 先確認(rèn)教師有局部?jī)?yōu)勢(shì)再蒸餾不應(yīng)默認(rèn)教師只要多看了信息就更好。可以在部分前綴上采樣教師與學(xué)生續(xù)寫用驗(yàn)證器估計(jì)教師優(yōu)勢(shì)僅在優(yōu)勢(shì)明確時(shí)賦予較高蒸餾權(quán)重。該方法會(huì)增加驗(yàn)證成本因此需要比較“增加一次驗(yàn)證”與“增加一次普通采樣”的邊際收益?？蓹z驗(yàn)假設(shè)是選擇性蒸餾比全 token 無(wú)差別匹配更能保持跨題泛化。9.2 將獎(jiǎng)勵(lì)目標(biāo)保留為訓(xùn)練約束一種候選思路是讓可驗(yàn)證獎(jiǎng)勵(lì)持續(xù)約束策略改善教師分布只作為輔助信號(hào)。例如聯(lián)合目標(biāo)可以概括為獎(jiǎng)勵(lì)項(xiàng)加受控蒸餾項(xiàng)但不能憑寫出加權(quán)和就宣稱有效。關(guān)鍵實(shí)驗(yàn)應(yīng)檢驗(yàn)輔助梯度與獎(jiǎng)勵(lì)梯度沖突時(shí)如何處理以及收益是否仍在固定預(yù)算下存在。對(duì)于“形式流暢但行為錯(cuò)誤”的反饋獎(jiǎng)勵(lì)錨定可能尤其重要。9.3 把信息內(nèi)容與計(jì)算行為真正分開(kāi)下一輪更強(qiáng)的 OPSD 實(shí)驗(yàn)可以同時(shí)控制參考信息的正確性、長(zhǎng)度、解題風(fēng)格教師和學(xué)生模式最大及實(shí)際輸出 token是否允許重復(fù)生成思考標(biāo)記。如果在這些條件固定后正確參考仍穩(wěn)定優(yōu)于無(wú)關(guān)參考才更直接支持知識(shí)內(nèi)容遷移。若優(yōu)勢(shì)消失則工程價(jià)值更可能在能力調(diào)用和預(yù)算重分配。9.4 建立持續(xù)學(xué)習(xí)的保持曲線除了當(dāng)前任務(wù)分?jǐn)?shù)應(yīng)在每次適配后評(píng)測(cè)舊任務(wù)和未見(jiàn)領(lǐng)域并繪制“新增能力—保持能力—訓(xùn)練成本”的曲線。僅報(bào)告新域成績(jī)可能掩蓋方法對(duì)整體系統(tǒng)能力的損耗。這對(duì)多功能智能體尤其重要一次工具技能更新不能只檢查那個(gè)工具調(diào)用是否更熟練還需要檢查普通問(wèn)答、其他工具和拒絕無(wú)效調(diào)用的行為是否受到影響。10. 對(duì)人機(jī)知識(shí)協(xié)調(diào)與數(shù)字人研發(fā)的啟示這部分是研究遷移思考不是論文對(duì)人類專家或數(shù)字人產(chǎn)品的直接實(shí)驗(yàn)證據(jù)。人機(jī)協(xié)作里一個(gè)系統(tǒng)可能越來(lái)越像專家的表達(dá)方式卻未必更準(zhǔn)確地使用專家知識(shí)。論文對(duì)“思考模式遷移”和“參考內(nèi)容遷移”的拆分提示我們也應(yīng)區(qū)分解釋形式更專業(yè)、建議更符合既有習(xí)慣以及對(duì)新情境的預(yù)測(cè)真正改善。例如在專家反饋后系統(tǒng)推薦質(zhì)量上升的研究中至少需要控制反饋是否包含正確信息同長(zhǎng)度但無(wú)關(guān)反饋是否也有效評(píng)測(cè)是否復(fù)用了相同候選是否通過(guò)增加計(jì)算或解釋長(zhǎng)度獲得提升。僅有訓(xùn)練后滿意度或解釋一致性不足以證明知識(shí)被有效吸收。對(duì)于數(shù)字人研發(fā)個(gè)性化訓(xùn)練提高角色一致性和用戶熟悉感可能很有價(jià)值。但角色口吻更像用戶偏好并不證明工具執(zhí)行更可靠。應(yīng)分別評(píng)估表達(dá)適應(yīng)、事實(shí)判斷、跨任務(wù)行為和原有能力保持。11. 最終評(píng)價(jià)這篇論文最強(qiáng)的證據(jù)是問(wèn)題級(jí)拆分和參考信息對(duì)照它們直接改變了評(píng)測(cè)對(duì)象并對(duì)收益來(lái)源提出了可檢驗(yàn)的替代解釋?？缬蚓仃囘M(jìn)一步揭示專項(xiàng)學(xué)習(xí)的隱藏代價(jià)。梯度分析增加了機(jī)制線索但由于局部性、估計(jì)噪聲及參數(shù)空間差異其解釋應(yīng)比作者最強(qiáng)措辭更克制。自我蒸餾仍是合理的研究方向但“同一個(gè)模型看到更多信息后會(huì)成為好老師”應(yīng)當(dāng)被視為待驗(yàn)證條件。一個(gè)可靠的系統(tǒng)需要證明自己正在學(xué)習(xí)可遷移的知識(shí)而不僅是更穩(wěn)定地模仿一種答案形式。如果只保留一個(gè)判斷標(biāo)準(zhǔn)先問(wèn)分?jǐn)?shù)為什么提高再問(wèn)這份收益能否在新問(wèn)題、同等成本和其他能力不受損的條件下保留下來(lái)。參考資料與證據(jù)位置Adhinarta et al. Does self-distillation improve reasoning?2026。代碼泛化見(jiàn) §4.1、附錄 D.1 表 5–7跨域結(jié)果見(jiàn)表 1模式與參考控制見(jiàn)表 2、附錄 D.3–D.5理論與梯度見(jiàn) §3.1、§4.4、附錄 B / E.3訓(xùn)練設(shè)置見(jiàn)表 22–24。摘要PDF。Hübotter et al. Reinforcement Learning via Self-Distillation公開(kāi) HTML。用于核對(duì) SDPO 的富反饋、稠密監(jiān)督與測(cè)試時(shí)適配主張。具體劃分復(fù)現(xiàn)與反證數(shù)字以文獻(xiàn) 1 為來(lái)源本文未重新運(yùn)行原項(xiàng)目。Zhao et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。用于核對(duì) OPSD 關(guān)于特權(quán)信息、自身軌跡和 token 級(jí)蒸餾的原始主張。復(fù)現(xiàn)研究代碼。提供項(xiàng)目地址不代表本文已審計(jì)或運(yùn)行代碼。文中標(biāo)準(zhǔn)差、jackknife 誤差和置信區(qū)間并非同一統(tǒng)計(jì)量本文按原表分別標(biāo)注不把誤差條自動(dòng)解釋為顯著性檢驗(yàn)。 自我蒸餾是否提升推理_深度解讀報(bào)告
自我蒸餾究竟讓模型學(xué)到了什么一篇新論文對(duì)推理進(jìn)步證據(jù)的重新審查**原論文**Does self-distillation improve reasoning?**選文與版本**2026 年 10 月 14 日 arXiv cs.LG 最新列表選文10 月 15 日完成解讀依據(jù) 2610.18613v1。**閱讀范圍**正文、理論證明、完整實(shí)驗(yàn)表、訓(xùn)練參數(shù)和梯度測(cè)量附錄并核對(duì)所討論 SDPO / OPSD 原始研究的公開(kāi)主張。實(shí)驗(yàn)數(shù)字為作者報(bào)告未獨(dú)立復(fù)現(xiàn)。摘要自我蒸餾的吸引力在于同一個(gè)模型在獲得正確答案、參考解法或環(huán)境反饋后可能成為“更好的自己”再通過(guò)稠密的 token 級(jí)監(jiān)督教會(huì)沒(méi)有這些信息的學(xué)生模型。但這個(gè)故事包含幾個(gè)需要分別驗(yàn)證的環(huán)節(jié)獲得更多信息是否真的產(chǎn)生更好的教師學(xué)生的提升是否來(lái)自這些信息提升能否遷移到新問(wèn)題收益是否只是由更長(zhǎng)的思考過(guò)程換來(lái)。這篇論文圍繞 SDPO 和 OPSD 進(jìn)行復(fù)現(xiàn)與機(jī)制拆解。它發(fā)現(xiàn)所測(cè) SDPO 在代碼任務(wù)上的改善主要停留在訓(xùn)練題目部分科學(xué)領(lǐng)域訓(xùn)練伴隨跨領(lǐng)域退化OPSD 的數(shù)學(xué)收益則更符合思考模式遷移而不依賴正確參考解法的內(nèi)容。梯度分析進(jìn)一步顯示低方差的蒸餾信號(hào)不一定指向未見(jiàn)問(wèn)題上的獎(jiǎng)勵(lì)改善。我的判斷這篇論文最重要的貢獻(xiàn)是把“模型分?jǐn)?shù)提高”與“特權(quán)信息有效轉(zhuǎn)化為可泛化能力”分開(kāi)驗(yàn)證。它對(duì)兩種具體方法給出了有力質(zhì)疑但沒(méi)有證明自我蒸餾普遍無(wú)效也沒(méi)有證明強(qiáng)化學(xué)習(xí)在任何預(yù)算下都更優(yōu)。1. 論文檔案與閱讀立場(chǎng)項(xiàng)目信息標(biāo)題Does self-distillation improve reasoning?作者Jason Ken Adhinarta、Raina Wu、Ashutosh Sharma、Avinash Balakrishnan、Rameswar Panda、Polina Golland、Yoon Kim、Zhang-Wei HongarXiv2610.18613v1首次提交2026-10-13 15:59:36 UTC北京時(shí)間 10 月 13 日 23:59:36篇幅作者標(biāo)注 33 頁(yè)、11 圖、24 表模型范圍Qwen3 1.7B–14B以及 OLMo-3-7B 系列核心對(duì)象SDPO、OPSD代碼、科學(xué)問(wèn)答、工具使用和數(shù)學(xué)任務(wù)代碼sleepypandu/does-sd-improve-reasoning狀態(tài)arXiv 預(yù)印本本文不預(yù)設(shè)其已完成同行評(píng)議這是一篇以機(jī)制識(shí)別和評(píng)測(cè)審查為主的算法研究不是推出新訓(xùn)練算法的論文。評(píng)價(jià)它應(yīng)看它能否排除已有解釋的替代原因而不只看是否刷出最高分。2. 為什么“同一個(gè)模型教自己”看起來(lái)合理設(shè)學(xué)生僅看到問(wèn)題x xx教師還看到訓(xùn)練時(shí)可用、部署時(shí)不可用的信息z zz。它們分別給出p S ( ? ∣ x , y t ) , p T ( ? ∣ x , z , y t ) . p_S(\cdot\mid x,y_{t}),\qquad p_T(\cdot\mid x,z,y_{t}).pS?(?∣x,yt?),pT?(?∣x,z,yt?).這里z zz可以是正確推導(dǎo)、執(zhí)行錯(cuò)誤信息或另一條成功軌跡?！疤貦?quán)”描述的是信息可用性差異不意味著教師權(quán)重更大。訓(xùn)練先讓學(xué)生產(chǎn)生軌跡再在學(xué)生實(shí)際經(jīng)過(guò)的前綴上讓其 token 分布接近教師分布。概括為L(zhǎng) S D E x , y ～ sg ? ( p S ) , z [ ∑ t D ( p S ( ? ∣ x , y t ) , sg ? ( p T ( ? ∣ x , z , y t ) ) ) ] . L_{\mathrm{SD}} \mathbb E_{x,y\sim\operatorname{sg}(p_S),z} \left[\sum_tD\big(p_S(\cdot\mid x,y_{t}), \operatorname{sg}(p_T(\cdot\mid x,z,y_{t}))\big)\right].LSD?Ex,y～sg(pS?),z?[t∑?D(pS?(?∣x,yt?),sg(pT?(?∣x,z,yt?)))].sg ? \operatorname{sg}sg表示停止梯度。實(shí)際教師還可能是凍結(jié)副本或指數(shù)移動(dòng)平均副本不能把“同模型”理解為每一步教師與學(xué)生權(quán)重都完全相同。它的優(yōu)勢(shì)設(shè)想有兩點(diǎn)學(xué)生在自身容易訪問(wèn)的狀態(tài)上學(xué)習(xí)減少訓(xùn)練—部署分布錯(cuò)位教師每個(gè) token 都給出監(jiān)督緩解整段回答只有一個(gè)成敗獎(jiǎng)勵(lì)的稀疏性。[2–3]問(wèn)題也在這里監(jiān)督更密集只說(shuō)明信號(hào)數(shù)量更多它不保證這些信號(hào)更接近真正應(yīng)學(xué)習(xí)的內(nèi)容。SDPO 與 OPSD 的區(qū)別方法主要教師信息本文復(fù)現(xiàn)實(shí)驗(yàn)中的關(guān)鍵損失設(shè)置SDPO成功的同組軌跡、環(huán)境反饋代碼用 top-k 反向 KL科學(xué) / 工具實(shí)驗(yàn)用 Jensen–Shannon使用 EMA 教師OPSD數(shù)據(jù)集參考解法正向 KL 與 token 級(jí)裁剪凍結(jié)教師另對(duì)教師思考模式做對(duì)照GRPO 對(duì)照可驗(yàn)證的回答獎(jiǎng)勵(lì)按組估計(jì)相對(duì)優(yōu)勢(shì)直接訓(xùn)練高獎(jiǎng)勵(lì)行為這些差異很重要。不能把一項(xiàng)實(shí)驗(yàn)的失敗簡(jiǎn)單歸因于“所有 KL 蒸餾”也不能把不同方法中的教師刷新方式和散度方向混在一起。3. 第一條證據(jù)鏈通過(guò)新測(cè)試用例不等于會(huì)解新題3.1 原有評(píng)測(cè)主張需要拆成兩個(gè)問(wèn)題根據(jù)本文作者對(duì)所復(fù)現(xiàn) SDPO 設(shè)置的說(shuō)明原代碼實(shí)驗(yàn)在相同題目上留出部分測(cè)試用例。這樣的評(píng)測(cè)可以檢查模型是否學(xué)會(huì)滿足題目的完整規(guī)格但不能單獨(dú)回答它能否解決訓(xùn)練中未出現(xiàn)的新題。本文于是將 LiveCodeBench v6 的題目拆成互不重疊的訓(xùn)練題和測(cè)試題再區(qū)分三個(gè)評(píng)測(cè)集合集合題目是否訓(xùn)練過(guò)測(cè)試用例是否訓(xùn)練時(shí)使用更接近檢驗(yàn)什么train_seen是是對(duì)訓(xùn)練任務(wù)的適應(yīng)train_unseen是否同題規(guī)格內(nèi)的用例泛化test_unseen否否跨題目泛化這不是文字游戲。同一算法題的多個(gè)用例通常共享一個(gè)解題規(guī)則真正掌握那道題的解法后通過(guò)新輸入并不要求獲得可遷移到其他題目的新能力。因此問(wèn)題級(jí)記憶與測(cè)試用例級(jí)過(guò)擬合可以同時(shí)被區(qū)分模型可能沒(méi)有死記輸入輸出卻仍主要記住了訓(xùn)練題目的解法。3.2 新題成績(jī)與訓(xùn)練題成績(jī)出現(xiàn)分離以下為附錄表 5 的 test_unseen 結(jié)果均為四個(gè)種子的均值 ± 標(biāo)準(zhǔn)差單位為百分比。初始化評(píng)測(cè)存在采樣差異因此保留每個(gè)方法各自的起點(diǎn)。模型方法初始化200 步相對(duì)自身起點(diǎn)Qwen3-8BSDPO32.3 ± 1.629.8 ± 1.1?2.5 個(gè)百分點(diǎn)Qwen3-8BGRPO30.6 ± 1.034.3 ± 0.53.7 個(gè)百分點(diǎn)Qwen3-14BSDPO32.8 ± 0.732.3 ± 1.3?0.5 個(gè)百分點(diǎn)Qwen3-14BGRPO33.6 ± 0.438.5 ± 2.24.9 個(gè)百分點(diǎn)OLMo-3-7B-InstructSDPO30.9 ± 1.021.0 ± 1.4?9.9 個(gè)百分點(diǎn)OLMo-3-7B-InstructGRPO31.5 ± 1.834.1 ± 0.82.6 個(gè)百分點(diǎn)與此同時(shí)Qwen3-8B 的 SDPO 在 train_seen 提升 23.1 個(gè)百分點(diǎn)在 train_unseen 提升 18.4 個(gè)百分點(diǎn)。這組對(duì)照比“分?jǐn)?shù)下降”更有解釋力方法確實(shí)學(xué)到了有用內(nèi)容只是這些內(nèi)容的有效范圍主要局限在已接觸題目。3.3 更快上升與更好最終結(jié)果是兩種優(yōu)勢(shì)SDPO 在早期訓(xùn)練題成績(jī)上升更快延長(zhǎng)訓(xùn)練后Qwen3 上的 GRPO 繼續(xù)改善并反超部分訓(xùn)練題指標(biāo)。早期評(píng)測(cè)能支持樣本效率主張卻不能直接支持最終能力上限主張。但反過(guò)來(lái)也要公平如果部署預(yù)算只允許很短的適配階段早期優(yōu)勢(shì)仍然有實(shí)際價(jià)值?？茖W(xué)比較應(yīng)同時(shí)報(bào)告固定交互預(yù)算、固定 token 預(yù)算和固定計(jì)算時(shí)間而不是只選擇有利的一段曲線。4. 第二條證據(jù)鏈專項(xiàng)提升可能伴隨其他能力退化作者分別在生物、化學(xué)、材料、物理和工具使用上訓(xùn)練 Qwen3-8B然后在全部五域的留出題上評(píng)測(cè)。下表摘自正文表 1OOD 變化指四個(gè)非訓(xùn)練域的平均準(zhǔn)確率相對(duì)基礎(chǔ)模型的變化。訓(xùn)練域SDPO 域內(nèi)準(zhǔn)確率GRPO 域內(nèi)準(zhǔn)確率SDPO OOD 變化GRPO OOD 變化生物52.5%51.0%?12.8 ± 0.81.2 ± 0.9化學(xué)77.7%68.9%?16.6 ± 4.41.6 ± 0.4材料73.5%76.2%?7.1 ± 4.01.2 ± 0.7物理73.1%72.4%?12.5 ± 4.60.9 ± 0.1工具使用53.5%66.3%0.9 ± 1.8?2.1 ± 1.2域內(nèi)列為均值完整標(biāo)準(zhǔn)差見(jiàn)原表OOD 列保留均值 ± 標(biāo)準(zhǔn)差單位為百分點(diǎn)。原評(píng)測(cè)使用 avg16即多次采樣準(zhǔn)確率的平均估計(jì)不是“16 次中至少一次答對(duì)”的 pass16?；瘜W(xué)上 SDPO 的域內(nèi)優(yōu)勢(shì)明顯不能忽略但它同時(shí)存在更大的非訓(xùn)練域損失。工具訓(xùn)練又是例外SDPO 的 OOD 略升GRPO 略降。因此“SDPO 訓(xùn)練必然破壞其他能力”并不符合原表。更合理的問(wèn)題是目標(biāo)域改善與原有能力保持之間的交換比例是否適合實(shí)際應(yīng)用例如專門解化學(xué)題的離線模型和需要在科學(xué)、工具、日常問(wèn)答間切換的通用助手對(duì)退化的容忍度不同。平均域內(nèi)分?jǐn)?shù)不能獨(dú)立決定部署價(jià)值。5. 第三條證據(jù)鏈參考答案的內(nèi)容可能不是收益來(lái)源5.1 一個(gè)容易混淆的雙重變化在所分析的 OPSD 設(shè)置中學(xué)生關(guān)閉 thinking教師開(kāi)啟 thinking且教師獲得正確參考解法。因此教師比學(xué)生多了兩個(gè)條件更豐富的解題信息和不同的思考模式。如果不分別控制最終分?jǐn)?shù)提升既可能來(lái)自正確知識(shí)也可能來(lái)自輸出行為遷移。作者設(shè)計(jì)兩個(gè)因素教師 thinking 開(kāi) / 關(guān)參考信息為正確解法、無(wú)解法、其他題目的打亂解法。學(xué)生訓(xùn)練時(shí)保持 thinking-off再分別以 thinking-on / off 評(píng)測(cè)。5.2 結(jié)果對(duì)“參考內(nèi)容必不可少”構(gòu)成挑戰(zhàn)下表為 Qwen3-8B、AIME24 / AIME25 / HMMT25 的平均分摘自正文表 2。采用 avg12各評(píng)測(cè)模式選擇其跨種子平均表現(xiàn)最佳的 checkpoint并非所有單元格都來(lái)自同一個(gè)訓(xùn)練步。訓(xùn)練方法 / 教師設(shè)置教師參考信息thinking-off 評(píng)測(cè)thinking-on 評(píng)測(cè)基礎(chǔ)模型—19.3%63.1%GRPO訓(xùn)練時(shí)不思考—23.7%64.3%SFT參考監(jiān)督數(shù)據(jù)50.0%63.0%OPSD教師思考正確解法33.1%65.0%OPSD教師思考無(wú)解法44.6%65.3%OPSD教師思考打亂解法33.2%65.1%OPSD教師不思考正確解法19.5%64.6%OPSD教師不思考無(wú)解法20.4%64.5%OPSD教師不思考打亂解法19.1%64.9%固定教師 thinking-on 后正確解法在 thinking-off 評(píng)測(cè)下沒(méi)有超過(guò)打亂解法反而明顯低于無(wú)解法。關(guān)閉教師思考后學(xué)生直接回答模式下的增益接近消失。這支持在這些配置中正確參考內(nèi)容不是獲得收益的必要條件教師思考行為的遷移更能解釋較大的提升。但“不是必要條件”不等于“所有樣本上都沒(méi)有作用”。平均結(jié)果可能掩蓋部分題目上的正負(fù)效應(yīng)也不能從打亂解法仍有效推導(dǎo)出模型完全忽略上下文。無(wú)參考條件改變了輸入長(zhǎng)度和干擾程度需要進(jìn)一步精細(xì)控制。5.3 思考模式可以通過(guò)行為重新出現(xiàn)作者觀察到學(xué)生在 thinking-off 模式下仍可能生成長(zhǎng)篇第一人稱推理輸出孤立的/think標(biāo)記再給出整理后的答案部分設(shè)置孤立標(biāo)記占比達(dá)到 69.9%。使用 thinking-on 教師后回答長(zhǎng)度增加到原來(lái)的 2.72–5.82 倍。[1§4.3、附錄 D.3–D.4]這說(shuō)明模板上的模式開(kāi)關(guān)不等于輸出行為被嚴(yán)格限制。模型可能把已有的長(zhǎng)推理行為搬進(jìn)直接回答通道。這仍可能是有用的訓(xùn)練效果它改變了能力的調(diào)用方式。但若沒(méi)有固定生成預(yù)算就不能稱為“以同樣推理成本獲得更強(qiáng)能力”。更準(zhǔn)確的研究問(wèn)題是收益來(lái)自新的問(wèn)題解決策略還是來(lái)自更長(zhǎng)時(shí)間地運(yùn)行已有策略6. 第四條證據(jù)鏈低方差監(jiān)督為什么仍可能方向不對(duì)6.1 理想教師的條件比“知道答案”更嚴(yán)格論文討論一個(gè)相對(duì)當(dāng)前策略、帶 KL 約束的理想教師π ? ( y ∣ x ) 1 Z ( x ) π θ ( y ∣ x ) exp ? ( R ( x , y ) / β ) . \pi^*(y\mid x)\frac{1}{Z(x)}\pi_\theta(y\mid x)\exp(R(x,y)/\beta).π?(y∣x)Z(x)1?πθ?(y∣x)exp(R(x,y)/β).它按獎(jiǎng)勵(lì)重新加權(quán)學(xué)生原有輸出分布。對(duì)固定問(wèn)題、二元獎(jiǎng)勵(lì)和相應(yīng)完整分布目標(biāo)作者證明向這個(gè)凍結(jié)的理想教師做正向或反向 KL 優(yōu)化其局部更新方向與獎(jiǎng)勵(lì)策略梯度相同。[1命題 3.1、附錄 B]例如反向 KL 的梯度滿足? θ D K L ( π θ ∥ sg ? ( π ? ) ) ? 1 β ? θ E π θ [ R ] . \nabla_\theta D_{\mathrm{KL}}(\pi_\theta\|\operatorname{sg}(\pi^*)) -\frac{1}{\beta}\nabla_\theta\mathbb E_{\pi_\theta}[R].?θ?DKL?(πθ?∥sg(π?))?β1??θ?Eπθ??[R].正向 KL 在二元獎(jiǎng)勵(lì)下得到另一個(gè)正比例系數(shù)。因此關(guān)鍵不在“是否蒸餾”而在教師是否具備這種獎(jiǎng)勵(lì)重加權(quán)結(jié)構(gòu)。看到正確答案的語(yǔ)言模型并不會(huì)自動(dòng)滿足它。教師可能被參考文本的表面形式吸引偏向單一解法或更擅長(zhǎng)續(xù)寫解釋卻不擅長(zhǎng)判斷學(xué)生當(dāng)前前綴如何走向高獎(jiǎng)勵(lì)。6.2 實(shí)驗(yàn)測(cè)量訓(xùn)練方向與留出獎(jiǎng)勵(lì)方向的夾角對(duì)留出題的期望獎(jiǎng)勵(lì)J h e l d J_{\mathrm{held}}Jheld?和實(shí)際更新方向d dd局部近似為J h e l d ( θ η d ) ? J h e l d ( θ ) ≈ η ? J h e l d ( θ ) ? d . J_{\mathrm{held}}(\theta\eta d)-J_{\mathrm{held}}(\theta) \approx\eta\nabla J_{\mathrm{held}}(\theta)^\top d.Jheld?(θηd)?Jheld?(θ)≈η?Jheld?(θ)?d.作者用留出題上的 GRPO 梯度作為參考比較各方法梯度的余弦相似度。代碼實(shí)驗(yàn)的結(jié)果如下均在基礎(chǔ)模型處測(cè)量誤差為跨四種子匯總后的 jackknife 誤差。[1表 4]模型GRPO 與參考的相似度SDPO 與參考的相似度Qwen3-8B0.121 ± 0.011?0.167 ± 0.063Qwen3-14B0.070 ± 0.0420.013 ± 0.112OLMo-3-7B-Instruct0.422 ± 0.0910.062 ± 0.028Qwen3-8B 數(shù)學(xué)實(shí)驗(yàn)中訓(xùn)練時(shí)不思考的 GRPO 為 0.118 ± 0.050教師思考且使用正確參考的 OPSD 為 ?0.160 ± 0.020。自我蒸餾在這里的梯度噪聲更小但與參考方向?qū)R較弱。**穩(wěn)定地更新和朝期望目標(biāo)更新是兩種性質(zhì)。**低方差不能補(bǔ)償系統(tǒng)性的方向偏差。7. 同樣需要審查這篇批判論文的論證深刻的解讀不能只重復(fù)批判者的結(jié)論。下面幾條邊界會(huì)影響我們能從結(jié)果推到多遠(yuǎn)。7.1 梯度實(shí)驗(yàn)不是對(duì)理論命題的直接檢驗(yàn)命題比較同一固定問(wèn)題下的理想完整分布目標(biāo)實(shí)驗(yàn)比較訓(xùn)練問(wèn)題的實(shí)際損失梯度與留出問(wèn)題的參考梯度。前者研究教師與獎(jiǎng)勵(lì)是否一致后者還混入跨問(wèn)題泛化。此外實(shí)踐中使用 top-k、裁剪、EMA、不同散度和停止采樣梯度其優(yōu)化方向未必等同于理想序列分布 KL 的完整梯度。因此對(duì)齊較差可以反駁“實(shí)踐已近似理想教師”的簡(jiǎn)單敘述卻不能僅憑這一結(jié)果唯一確定教師失敗的原因。7.2 初始位置的局部反向不代表長(zhǎng)期必然退化所有梯度都在基礎(chǔ)模型處、學(xué)習(xí)率設(shè)為零的條件下測(cè)量。有限步訓(xùn)練會(huì)改變分布、特征和教師關(guān)系。一個(gè)初始方向不利的方法可能之后進(jìn)入有利區(qū)域更長(zhǎng)回答帶來(lái)的性能提升也未必由初始局部指標(biāo)完整捕獲。事實(shí)上論文中的部分 OPSD 設(shè)置最終準(zhǔn)確率提高卻具有負(fù)初始對(duì)齊。這正說(shuō)明梯度指標(biāo)是機(jī)制診斷工具不是長(zhǎng)期性能的充分判據(jù)。7.3 原始梯度與實(shí)際優(yōu)化位移并不相同數(shù)學(xué)訓(xùn)練使用 LoRA而附錄 E.3 為避免零初始化適配矩陣造成的問(wèn)題測(cè)量所有參數(shù)的梯度。AdamW 又會(huì)引入自適應(yīng)預(yù)條件、動(dòng)量、裁剪等。因此全參數(shù)原始梯度的夾角不一定等于 LoRA 參數(shù)空間中真實(shí)更新位移的夾角。更直接的驗(yàn)證是記錄實(shí)際參數(shù)變化Δ θ \Delta\thetaΔθ在多個(gè)訓(xùn)練階段測(cè)量? J h e l d ? Δ θ \nabla J_{\mathrm{held}}^\top\Delta\theta?Jheld??Δθ再用小步真實(shí)更新檢查預(yù)測(cè)是否成立。7.4 參考梯度是估計(jì)不是無(wú)噪聲真值留出 GRPO 梯度通過(guò)有限采樣得到并使用組內(nèi)標(biāo)準(zhǔn)化等實(shí)際設(shè)置。論文自己報(bào)告它有較高噪聲跨種子 jackknife 有助于量化不確定性卻不能把它變成精確總體獎(jiǎng)勵(lì)梯度。尤其 Qwen3-14B 代碼中的 SDPO 相似度為 0.013 ± 0.112應(yīng)理解為方向不明確而不能寫成“確定為負(fù)”。OLMo 數(shù)學(xué)結(jié)果也不能照搬 Qwen3 的負(fù)對(duì)齊結(jié)論。7.5 比較方法不等于比較同一成本代碼訓(xùn)練的 mini-batch 設(shè)置不同科學(xué)實(shí)驗(yàn)因穩(wěn)定性調(diào)整了 GRPO 學(xué)習(xí)率SDPO 和 GRPO 使用不同學(xué)習(xí)率。數(shù)學(xué)上 OPSD / SFT 訓(xùn)練 200 步GRPO 500 步生成長(zhǎng)度上限和訓(xùn)練批量也不同。[1附錄 E]這些選擇可用于復(fù)現(xiàn)各方法及觀察行為但不是嚴(yán)格計(jì)算預(yù)算匹配。特別是要判斷“哪個(gè)方法更經(jīng)濟(jì)”還需同時(shí)核算教師前向、學(xué)生采樣、驗(yàn)證器調(diào)用、訓(xùn)練時(shí)間和最終輸出長(zhǎng)度。7.6 論文的適用范圍有明確邊界研究主要覆蓋兩個(gè)方法、兩個(gè)模型家族和可驗(yàn)證任務(wù)。它沒(méi)有全面測(cè)試所有自我蒸餾變體、混合強(qiáng)化學(xué)習(xí)目標(biāo)、復(fù)雜反饋聚合和非可驗(yàn)證任務(wù)。原 SDPO 也討論對(duì)單個(gè)難題的測(cè)試時(shí)適配本論文的跨題泛化結(jié)果不能自動(dòng)否定那種不同目標(biāo)下的用途。8. 我認(rèn)為最有價(jià)值的解釋收益需要分成三個(gè)層次這里給出一個(gè)由論文啟發(fā)的分析框架不是作者原有分類。層次模型發(fā)生的變化需要的證據(jù)任務(wù)適應(yīng)更會(huì)處理接觸過(guò)的問(wèn)題或工作流同題新輸入、真實(shí)任務(wù)完成率能力調(diào)用更容易啟動(dòng)已有思考模式或輸出策略模式控制、長(zhǎng)度控制、行為分析可遷移學(xué)習(xí)對(duì)未見(jiàn)問(wèn)題學(xué)到更普遍的方法問(wèn)題級(jí)隔離、跨域評(píng)測(cè)、固定成本比較這三種收益都可能有價(jià)值但它們對(duì)應(yīng)不同科學(xué)主張。訓(xùn)練題改善主要支持第一層thinking-off 下出現(xiàn)長(zhǎng)思考支持第二層只有足夠獨(dú)立的泛化評(píng)測(cè)才更有資格支持第三層。真正的問(wèn)題不是“自我蒸餾有沒(méi)有提高一個(gè)數(shù)字”而是它提高的是哪一層付出了什么代價(jià)。9. 更有前景的算法方向與可檢驗(yàn)假設(shè)以下均為本文建議不是原論文已完成的方法。9.1 先確認(rèn)教師有局部?jī)?yōu)勢(shì)再蒸餾不應(yīng)默認(rèn)教師只要多看了信息就更好。可以在部分前綴上采樣教師與學(xué)生續(xù)寫用驗(yàn)證器估計(jì)教師優(yōu)勢(shì)僅在優(yōu)勢(shì)明確時(shí)賦予較高蒸餾權(quán)重。該方法會(huì)增加驗(yàn)證成本因此需要比較“增加一次驗(yàn)證”與“增加一次普通采樣”的邊際收益?？蓹z驗(yàn)假設(shè)是選擇性蒸餾比全 token 無(wú)差別匹配更能保持跨題泛化。9.2 將獎(jiǎng)勵(lì)目標(biāo)保留為訓(xùn)練約束一種候選思路是讓可驗(yàn)證獎(jiǎng)勵(lì)持續(xù)約束策略改善教師分布只作為輔助信號(hào)。例如聯(lián)合目標(biāo)可以概括為獎(jiǎng)勵(lì)項(xiàng)加受控蒸餾項(xiàng)但不能憑寫出加權(quán)和就宣稱有效。關(guān)鍵實(shí)驗(yàn)應(yīng)檢驗(yàn)輔助梯度與獎(jiǎng)勵(lì)梯度沖突時(shí)如何處理以及收益是否仍在固定預(yù)算下存在。對(duì)于“形式流暢但行為錯(cuò)誤”的反饋獎(jiǎng)勵(lì)錨定可能尤其重要。9.3 把信息內(nèi)容與計(jì)算行為真正分開(kāi)下一輪更強(qiáng)的 OPSD 實(shí)驗(yàn)可以同時(shí)控制參考信息的正確性、長(zhǎng)度、解題風(fēng)格教師和學(xué)生模式最大及實(shí)際輸出 token是否允許重復(fù)生成思考標(biāo)記。如果在這些條件固定后正確參考仍穩(wěn)定優(yōu)于無(wú)關(guān)參考才更直接支持知識(shí)內(nèi)容遷移。若優(yōu)勢(shì)消失則工程價(jià)值更可能在能力調(diào)用和預(yù)算重分配。9.4 建立持續(xù)學(xué)習(xí)的保持曲線除了當(dāng)前任務(wù)分?jǐn)?shù)應(yīng)在每次適配后評(píng)測(cè)舊任務(wù)和未見(jiàn)領(lǐng)域并繪制“新增能力—保持能力—訓(xùn)練成本”的曲線。僅報(bào)告新域成績(jī)可能掩蓋方法對(duì)整體系統(tǒng)能力的損耗。這對(duì)多功能智能體尤其重要一次工具技能更新不能只檢查那個(gè)工具調(diào)用是否更熟練還需要檢查普通問(wèn)答、其他工具和拒絕無(wú)效調(diào)用的行為是否受到影響。10. 對(duì)人機(jī)知識(shí)協(xié)調(diào)與數(shù)字人研發(fā)的啟示這部分是研究遷移思考不是論文對(duì)人類專家或數(shù)字人產(chǎn)品的直接實(shí)驗(yàn)證據(jù)。人機(jī)協(xié)作里一個(gè)系統(tǒng)可能越來(lái)越像專家的表達(dá)方式卻未必更準(zhǔn)確地使用專家知識(shí)。論文對(duì)“思考模式遷移”和“參考內(nèi)容遷移”的拆分提示我們也應(yīng)區(qū)分解釋形式更專業(yè)、建議更符合既有習(xí)慣以及對(duì)新情境的預(yù)測(cè)真正改善。例如在專家反饋后系統(tǒng)推薦質(zhì)量上升的研究中至少需要控制反饋是否包含正確信息同長(zhǎng)度但無(wú)關(guān)反饋是否也有效評(píng)測(cè)是否復(fù)用了相同候選是否通過(guò)增加計(jì)算或解釋長(zhǎng)度獲得提升。僅有訓(xùn)練后滿意度或解釋一致性不足以證明知識(shí)被有效吸收。對(duì)于數(shù)字人研發(fā)個(gè)性化訓(xùn)練提高角色一致性和用戶熟悉感可能很有價(jià)值。但角色口吻更像用戶偏好并不證明工具執(zhí)行更可靠。應(yīng)分別評(píng)估表達(dá)適應(yīng)、事實(shí)判斷、跨任務(wù)行為和原有能力保持。11. 最終評(píng)價(jià)這篇論文最強(qiáng)的證據(jù)是問(wèn)題級(jí)拆分和參考信息對(duì)照它們直接改變了評(píng)測(cè)對(duì)象并對(duì)收益來(lái)源提出了可檢驗(yàn)的替代解釋?？缬蚓仃囘M(jìn)一步揭示專項(xiàng)學(xué)習(xí)的隱藏代價(jià)。梯度分析增加了機(jī)制線索但由于局部性、估計(jì)噪聲及參數(shù)空間差異其解釋應(yīng)比作者最強(qiáng)措辭更克制。自我蒸餾仍是合理的研究方向但“同一個(gè)模型看到更多信息后會(huì)成為好老師”應(yīng)當(dāng)被視為待驗(yàn)證條件。一個(gè)可靠的系統(tǒng)需要證明自己正在學(xué)習(xí)可遷移的知識(shí)而不僅是更穩(wěn)定地模仿一種答案形式。如果只保留一個(gè)判斷標(biāo)準(zhǔn)先問(wèn)分?jǐn)?shù)為什么提高再問(wèn)這份收益能否在新問(wèn)題、同等成本和其他能力不受損的條件下保留下來(lái)。參考資料與證據(jù)位置Adhinarta et al. Does self-distillation improve reasoning?2026。代碼泛化見(jiàn) §4.1、附錄 D.1 表 5–7跨域結(jié)果見(jiàn)表 1模式與參考控制見(jiàn)表 2、附錄 D.3–D.5理論與梯度見(jiàn) §3.1、§4.4、附錄 B / E.3訓(xùn)練設(shè)置見(jiàn)表 22–24。摘要PDF。Hübotter et al. Reinforcement Learning via Self-Distillation公開(kāi) HTML。用于核對(duì) SDPO 的富反饋、稠密監(jiān)督與測(cè)試時(shí)適配主張。具體劃分復(fù)現(xiàn)與反證數(shù)字以文獻(xiàn) 1 為來(lái)源本文未重新運(yùn)行原項(xiàng)目。Zhao et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。用于核對(duì) OPSD 關(guān)于特權(quán)信息、自身軌跡和 token 級(jí)蒸餾的原始主張。復(fù)現(xiàn)研究代碼。提供項(xiàng)目地址不代表本文已審計(jì)或運(yùn)行代碼。文中標(biāo)準(zhǔn)差、jackknife 誤差和置信區(qū)間并非同一統(tǒng)計(jì)量本文按原表分別標(biāo)注不把誤差條自動(dòng)解釋為顯著性檢驗(yàn)。