我印象里“讓強(qiáng)模型跟著弱標(biāo)簽走”這件事已經(jīng)成了對(duì)齊訓(xùn)練里一個(gè)心照不宣的“雷區(qū)”。所謂弱標(biāo)簽指的是由參數(shù)量較小、能力較弱的模型生成的監(jiān)督數(shù)據(jù)或者是標(biāo)注質(zhì)量參差不齊的人工數(shù)據(jù)。很多團(tuán)隊(duì)在微調(diào)階段圖省事直接用這些數(shù)據(jù)去訓(xùn)練強(qiáng)模型結(jié)果發(fā)現(xiàn)參數(shù)越大學(xué)得越歪甚至出現(xiàn)“能力回退”——模型說(shuō)話越來(lái)越像那個(gè)小模型邏輯漏洞也被一并繼承。我一度以為這個(gè)問(wèn)題只能靠清洗數(shù)據(jù)、堆人力標(biāo)注來(lái)解決直到看到這篇被AI頂級(jí)學(xué)術(shù)會(huì)議AAAI收錄的研究才意識(shí)到還有另一條路與其把弱標(biāo)簽全部清洗干凈不如讓強(qiáng)模型在訓(xùn)練時(shí)自己決定“哪些標(biāo)簽值得學(xué)哪些標(biāo)簽該忽略”。這個(gè)思路就是標(biāo)題里說(shuō)的“不再盲從弱標(biāo)簽讓強(qiáng)模型自主選擇”也是眼下“超級(jí)對(duì)齊”方向里相當(dāng)有工程價(jià)值的一個(gè)新范式。這篇文章想和你聊透幾個(gè)事弱標(biāo)簽為什么會(huì)讓強(qiáng)模型越訓(xùn)越差、這個(gè)“自主選擇”機(jī)制是怎么實(shí)現(xiàn)的、實(shí)驗(yàn)效果到底有多明顯以及如果我想在自己的訓(xùn)練流程里復(fù)現(xiàn)這套思路應(yīng)該怎么落地。適合正在做SFT、RLHF、偏好優(yōu)化或者被弱監(jiān)督數(shù)據(jù)坑過(guò)的同學(xué)認(rèn)真看一遍應(yīng)該能少走不少?gòu)澛贰?. 弱標(biāo)簽的“雙刃劍”強(qiáng)模型為什么會(huì)被一份錯(cuò)誤答案帶偏1.1 先搞清楚什么是弱標(biāo)簽為什么大家都在用在正式拆解這個(gè)方法前先給“弱標(biāo)簽”一個(gè)清晰的畫(huà)像。所謂弱標(biāo)簽通常指三路數(shù)據(jù)源一是小模型生成的偏好對(duì)或指令回復(fù)比如用幾億參數(shù)的模型批量產(chǎn)出回答再和大模型的答案配成對(duì)比樣本二是眾包標(biāo)注中質(zhì)量參差不齊的人工數(shù)據(jù)標(biāo)注員水平不一有些甚至就是復(fù)制粘貼三是規(guī)則抽取或遠(yuǎn)程監(jiān)督得到的自動(dòng)標(biāo)注比如用關(guān)鍵詞匹配或外部知識(shí)庫(kù)回填標(biāo)簽。大家明知道弱標(biāo)簽有噪聲為什么還在用答案很簡(jiǎn)單強(qiáng)標(biāo)簽太貴了。請(qǐng)高水平標(biāo)注員給一條復(fù)雜指令寫(xiě)參考答案成本動(dòng)輒幾十塊起步用弱模型批量生成一條的成本接近零。在“數(shù)據(jù)規(guī)模決定模型天花板”的共識(shí)下大多數(shù)團(tuán)隊(duì)都會(huì)選擇先用弱標(biāo)簽堆量再花錢(qián)雇人抽檢。問(wèn)題在于抽檢只能保下限保不了訓(xùn)練過(guò)程的穩(wěn)定性。我見(jiàn)過(guò)最典型的翻車場(chǎng)景某團(tuán)隊(duì)用一個(gè)小模型生成了幾萬(wàn)條“用戶偏好對(duì)”A是用戶想要的B是不想要的然后拿這批數(shù)據(jù)去微調(diào)一個(gè)百億參數(shù)模型。結(jié)果訓(xùn)練了兩輪之后模型在代碼生成任務(wù)上的準(zhǔn)確率掉了接近十個(gè)百分點(diǎn)生成風(fēng)格也變得啰嗦、喜歡堆砌廢話。后來(lái)一查小模型在偏好標(biāo)注里有一個(gè)隱藏的系統(tǒng)性偏差凡涉及數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)的題它幾乎都偏好“先給完整代碼、后逐行解釋”這種輸出格式而真正的高質(zhì)量回答應(yīng)該是“先給思路再給關(guān)鍵片段”。大模型把這些錯(cuò)誤偏好當(dāng)成真理學(xué)進(jìn)去了等于被一個(gè)水平不如自己的“老師”洗了腦。1.2 為什么強(qiáng)模型越想對(duì)齊反而越容易倒退這里要引入一個(gè)概念叫“繼承梯度”。弱標(biāo)簽之所以危險(xiǎn)不只是因?yàn)樗e(cuò)而是因?yàn)樗腻e(cuò)誤方向會(huì)通過(guò)梯度的方式傳染給強(qiáng)模型。直覺(jué)上很好理解假設(shè)強(qiáng)模型的初始能力是80分弱標(biāo)簽里40%的樣本是錯(cuò)誤的。訓(xùn)練時(shí)強(qiáng)模型對(duì)一部分錯(cuò)誤標(biāo)簽會(huì)產(chǎn)生較高的預(yù)測(cè)損失因?yàn)樗X(jué)得正確答案是另一個(gè)這時(shí)梯度會(huì)推著模型往“符合弱標(biāo)簽”的方向調(diào)整。由于弱模型作為標(biāo)簽生成器其錯(cuò)誤往往是系統(tǒng)性的、有偏的比如總是偏好某一種句式、某個(gè)推理套路梯度就會(huì)在這些方向上反復(fù)疊加。更麻煩的是強(qiáng)模型本身是夠聰明的——它在某些樣本上已經(jīng)能“看出”弱標(biāo)簽不對(duì)但訓(xùn)練目標(biāo)不允許它表達(dá)這種判斷。損失函數(shù)是死的只要模型輸出和弱標(biāo)簽不一致就要受懲罰。于是模型被迫在“自己的判斷”和“標(biāo)簽的要求”之間做妥協(xié)這種妥協(xié)累積起來(lái)就會(huì)表現(xiàn)為能力回退推理能力被壓縮生成風(fēng)格被帶偏甚至出現(xiàn)“選擇性失明”——該拒絕的請(qǐng)求不拒絕不該拒絕的反而拒了。用個(gè)生活化的類比你讓一位博士生去跟一個(gè)小學(xué)生做同桌老師規(guī)定一切以小學(xué)生作業(yè)本上的答案為準(zhǔn)博士生明明看出來(lái)有些題算錯(cuò)了但為了“配合教學(xué)”只能把對(duì)的改成錯(cuò)的。改一次沒(méi)問(wèn)題改一百次他自己的計(jì)算能力也會(huì)退化。所以“弱到強(qiáng)泛化”這個(gè)研究方向的本質(zhì)就是解決“強(qiáng)者服從弱者時(shí)如何不變成弱者”的問(wèn)題。現(xiàn)有的主流做法無(wú)非兩類一類是清洗標(biāo)簽在訓(xùn)練前把弱標(biāo)簽盡量修對(duì)但成本高、且很難消除系統(tǒng)性偏差另一類是讓強(qiáng)模型“硬扛”通過(guò)正則化、早停等手段減輕損傷但效果通常只是延緩不能根治。而這篇論文選擇了一個(gè)更直接的切入點(diǎn)——把選擇權(quán)交給強(qiáng)模型自己。2. 核心機(jī)制拆解強(qiáng)模型如何“自主選擇”而不是被動(dòng)接收2.1 從“全盤(pán)接收”到“擇善而從”一個(gè)簡(jiǎn)單的范式轉(zhuǎn)變“讓強(qiáng)模型自主選擇”這個(gè)概念聽(tīng)起來(lái)有點(diǎn)玄但拆開(kāi)來(lái)看思路其實(shí)非常樸素。傳統(tǒng)訓(xùn)練流程是數(shù)據(jù)進(jìn)模型模型算損失梯度更新參數(shù)。弱標(biāo)簽從頭到尾都是“不可違背”的——你說(shuō)A對(duì)模型就得學(xué)A對(duì)你說(shuō)B答案不合格模型就得認(rèn)為B不合格。整個(gè)過(guò)程里模型沒(méi)有質(zhì)疑標(biāo)簽的權(quán)利。這篇論文的突破在于它把標(biāo)簽從“硬約束”變成了“候選答案”。訓(xùn)練時(shí)強(qiáng)模型不需要無(wú)條件相信弱標(biāo)簽而是先對(duì)每個(gè)標(biāo)簽做一個(gè)內(nèi)部判斷——這個(gè)標(biāo)簽和我的能力水平匹配嗎如果讓我自己回答我會(huì)不會(huì)給出同樣的答案這個(gè)判斷的結(jié)果會(huì)直接影響梯度更新的方向和強(qiáng)度。也就是說(shuō)模型學(xué)會(huì)了說(shuō)一句話“這個(gè)標(biāo)簽我可以學(xué)或者那個(gè)標(biāo)簽我應(yīng)該忽略。”這個(gè)轉(zhuǎn)變的意義怎么強(qiáng)調(diào)都不過(guò)分。它意味著弱標(biāo)簽不再是一個(gè)需要被預(yù)先審判的“數(shù)據(jù)質(zhì)量”問(wèn)題而是一個(gè)可以被動(dòng)態(tài)評(píng)估的“信息置信度”問(wèn)題。模型不再是被動(dòng)接受知識(shí)的容器而是變成了一個(gè)主動(dòng)篩選知識(shí)的學(xué)習(xí)者——這點(diǎn)和人類的學(xué)習(xí)過(guò)程反而更像了我們小時(shí)候都抄過(guò)參考書(shū)上的答案聰明的學(xué)生會(huì)挑著抄而不是全抄。2.2 三層機(jī)制打分、過(guò)濾、加權(quán)具體如何實(shí)現(xiàn)“自主選擇”論文提出的框架大體可以拆成三層每層解決一個(gè)不同的問(wèn)題。第一層是“置信度感知打標(biāo)”。給每一條弱標(biāo)簽樣本計(jì)算一個(gè)分?jǐn)?shù)表示“強(qiáng)模型認(rèn)為這個(gè)標(biāo)簽有多可信”。這個(gè)分?jǐn)?shù)不能只看模型輸出的softmax最大值——我后面會(huì)講到這樣容易造成“模型非常自信地犯錯(cuò)”。更穩(wěn)妥的做法是同時(shí)衡量模型在多個(gè)隨機(jī)溫度采樣下的輸出一致性或者計(jì)算模型內(nèi)部隱層表征的熵值綜合得出一個(gè)不確定性估計(jì)。打分邏輯不復(fù)雜如果強(qiáng)模型自己的回答和弱標(biāo)簽給出的答案高度一致說(shuō)明這個(gè)標(biāo)簽是“可以安全學(xué)習(xí)”的如果不一致甚至互相矛盾說(shuō)明這個(gè)標(biāo)簽很可能存在問(wèn)題。第二層是“動(dòng)態(tài)閾值過(guò)濾”。拿到置信度分?jǐn)?shù)后不是按一個(gè)固定閾值一刀切而是結(jié)合樣本難度、類別分布做動(dòng)態(tài)調(diào)整。簡(jiǎn)單說(shuō)太難的樣本即使標(biāo)簽是準(zhǔn)的也不能強(qiáng)學(xué)太簡(jiǎn)單的樣本標(biāo)簽即便稍有偏差學(xué)了也無(wú)妨因?yàn)槟Ｐ驮缇驼莆樟恕Ｖ挥新湓凇疤惶鴫虻弥眳^(qū)間的樣本才值得被高權(quán)重地學(xué)習(xí)。這個(gè)思維其實(shí)和課程學(xué)習(xí)curriculum learning很像都是讓模型在合適的時(shí)間學(xué)合適的內(nèi)容。第三層是“梯度級(jí)軟加權(quán)”。這一層是最體現(xiàn)工作量的地方。傳統(tǒng)篩選思路會(huì)把低分樣本直接丟棄但實(shí)際情況是——弱標(biāo)簽雖然整體不靠譜但里面常常夾雜著有價(jià)值的信息。如果直接扔了模型會(huì)丟失這部分?jǐn)?shù)據(jù)量反而更容易在剩余樣本上過(guò)擬合如果全留著噪聲又會(huì)嚴(yán)重影響梯度方向。論文的做法是不丟給低置信度樣本分配一個(gè)較小的梯度權(quán)重同時(shí)疊加一個(gè)標(biāo)簽平滑項(xiàng)讓模型在“弱認(rèn)可”的樣本上只做輕微調(diào)整。用數(shù)學(xué)化的語(yǔ)言描述訓(xùn)練的總損失大致是每個(gè)樣本的交叉熵?fù)p失乘上它的置信度權(quán)重w再加上一項(xiàng)“不采納”時(shí)的平滑損失。w由強(qiáng)模型自身的判斷決定而不是由標(biāo)簽生成器決定。這樣一來(lái)梯度的大部分貢獻(xiàn)都來(lái)自強(qiáng)模型“認(rèn)可”的樣本弱標(biāo)簽真正變成了輔助信息而不是主導(dǎo)信息。2.3 為什么要“軟加權(quán)”而不是“直接丟棄”這是實(shí)際操作里最值得聊的細(xì)節(jié)。我最初接觸類似方案時(shí)直覺(jué)是既然低置信度樣本是噪聲直接扔掉不就完了其實(shí)不然。弱標(biāo)簽數(shù)據(jù)集里低置信度樣本往往不是“純?cè)肼暋倍恰昂胄盘?hào)”——里面既有完全錯(cuò)誤的反例也有模棱兩可的邊界案例還有難度過(guò)高、連強(qiáng)模型自己都沒(méi)把握的樣本。如果簡(jiǎn)單丟棄相當(dāng)于把所有“難啃的骨頭”都排除在訓(xùn)練集之外模型就失去了對(duì)邊界樣本的區(qū)分能力。舉一個(gè)實(shí)際的例子。在安全對(duì)齊場(chǎng)景中最容易導(dǎo)致模型誤判的樣本恰恰是那些“看似有害、實(shí)則合規(guī)”的邊界請(qǐng)求比如“我心情很差想找人說(shuō)說(shuō)話”這類包含負(fù)面情緒但不違反安全規(guī)范的內(nèi)容。弱標(biāo)簽很可能把這些誤標(biāo)為“有害”并拒答。如果強(qiáng)模型直接丟棄這類低置信度樣本就學(xué)不會(huì)區(qū)分“情緒表達(dá)”和“惡意攻擊”拒答率會(huì)飆升如果用軟加權(quán)的方式保留一部分模型就能在“不確定該不該拒絕”的時(shí)候?qū)W習(xí)到更細(xì)膩的判斷標(biāo)準(zhǔn)。所以這套機(jī)制的精髓就在于不是讓強(qiáng)模型和弱標(biāo)簽割裂而是讓強(qiáng)模型決定“以什么力度”去參考弱標(biāo)簽。這個(gè)“力度”是動(dòng)態(tài)變化的取決于模型當(dāng)前的能力狀態(tài)——訓(xùn)練初期模型不成熟可能更多依賴弱標(biāo)簽訓(xùn)練后期模型能力增強(qiáng)會(huì)自動(dòng)減少對(duì)不可信標(biāo)簽的依賴。這種自適應(yīng)特性也讓它在多種任務(wù)上表現(xiàn)更穩(wěn)定。3. 實(shí)驗(yàn)設(shè)計(jì)與效果驗(yàn)證數(shù)據(jù)不會(huì)說(shuō)謊3.1 驗(yàn)證場(chǎng)景是怎么設(shè)計(jì)的論文在實(shí)驗(yàn)環(huán)節(jié)覆蓋了三類任務(wù)通用指令跟隨、安全對(duì)齊、以及推理能力保持性驗(yàn)證。這個(gè)設(shè)計(jì)很有心機(jī)——前兩者考察“對(duì)齊效果”后者考察“對(duì)齊傷害”也就是訓(xùn)練對(duì)齊之后模型在數(shù)學(xué)、代碼、邏輯推理等硬任務(wù)上有沒(méi)有退步。通用指令跟隨用的是對(duì)話偏好數(shù)據(jù)安全對(duì)齊用的是紅隊(duì)測(cè)試樣本推理能力則用幾套公開(kāi)的數(shù)學(xué)和代碼基準(zhǔn)來(lái)評(píng)估。對(duì)照組包括直接用弱標(biāo)簽微調(diào)傳統(tǒng)基線、對(duì)弱標(biāo)簽做靜態(tài)清洗后再訓(xùn)練、以及只做硬過(guò)濾的版本低置信度樣本直接丟棄。這樣一對(duì)比就能清楚看見(jiàn)“軟加權(quán)自主選擇”相比其他方案的優(yōu)勢(shì)到底在哪。在指令跟隨上自主選擇方案比傳統(tǒng)基線有明顯提升尤其是對(duì)復(fù)雜指令的理解和遵循能力遠(yuǎn)超直接微調(diào)的效果。在安全對(duì)齊上拒答的“精確率”和“召回率”得到了更好的平衡——該拒的沒(méi)放不該拒的也沒(méi)誤殺。最有說(shuō)服力的是推理能力保持性傳統(tǒng)方案在訓(xùn)練后數(shù)學(xué)推理成績(jī)明顯下降而自主選擇方案幾乎沒(méi)什么折損。3.2 消融實(shí)驗(yàn)告訴你哪些環(huán)節(jié)最不能省論文的消融實(shí)驗(yàn)有幾個(gè)值得記錄的發(fā)現(xiàn)。第一動(dòng)態(tài)閾值比固定閾值重要得多。固定閾值帶來(lái)的問(wèn)題在兩個(gè)極端都很明顯閾值太低模型幾乎是全盤(pán)接收弱標(biāo)簽和傳統(tǒng)方式?jīng)]有本質(zhì)區(qū)別閾值太高低置信度樣本全部被過(guò)濾訓(xùn)練信號(hào)驟減模型在驗(yàn)證集上的損失反而上升。動(dòng)態(tài)閾值相當(dāng)于給選擇器裝了一個(gè)“自適應(yīng)旋鈕”始終讓訓(xùn)練集保持在一個(gè)信息量充沛又足夠干凈的狀態(tài)。第二軟加權(quán)的作用不可替代。把“軟加權(quán)”替換成“硬丟棄”之后安全對(duì)齊的紅線指標(biāo)出現(xiàn)回退——就是誤殺率上升了。原因上面說(shuō)過(guò)邊界樣本被丟光了模型學(xué)不會(huì)區(qū)分惡劣意圖和正常宣泄。而軟加權(quán)相當(dāng)于給邊界樣本留了一扇門(mén)讓模型在“不確定”的時(shí)候有機(jī)會(huì)繼續(xù)學(xué)習(xí)。第三置信度分?jǐn)?shù)的設(shè)計(jì)直接影響上限。在多頭溫度采樣的不確定性估計(jì)加持下模型對(duì)弱標(biāo)簽的篩選準(zhǔn)確率明顯優(yōu)于單一softmax分?jǐn)?shù)。這說(shuō)明好的分?jǐn)?shù)比好的閾值更重要——閾值只是篩選規(guī)則分?jǐn)?shù)是篩選依據(jù)依據(jù)錯(cuò)了規(guī)則再精細(xì)也白搭。3.3 一個(gè)值得關(guān)注的副產(chǎn)品訓(xùn)練效率反而提升了這里有個(gè)出乎意料的發(fā)現(xiàn)因?yàn)槟Ｐ筒皇蔷鶆虻卦谒袠颖旧细聶?quán)重而是自適應(yīng)地集中資源在“值得學(xué)”的樣本上最終收斂步數(shù)反而減少了大概節(jié)約了20-30%的訓(xùn)練步數(shù)。尤其在目標(biāo)領(lǐng)域的任務(wù)上模型會(huì)更快到達(dá)最優(yōu)區(qū)域。這個(gè)發(fā)現(xiàn)背后的道理很樸素以前弱標(biāo)簽里有大量“學(xué)不學(xué)都無(wú)所謂”的簡(jiǎn)單樣本占了計(jì)算資源卻沒(méi)有提供新知識(shí)現(xiàn)在這些樣本的梯度權(quán)重被壓低模型把計(jì)算資源讓給了真正有難度、有區(qū)分度的邊界樣本學(xué)習(xí)效率自然上去了。這提醒了我們一件事數(shù)據(jù)質(zhì)量對(duì)訓(xùn)練效率的影響可能比我們想象的更大。4. 落到工程實(shí)踐怎么把這套“自主選擇”搬進(jìn)自己的訓(xùn)練流程4.1 一套可直接照抄的訓(xùn)練流水線你不需要完全復(fù)現(xiàn)論文里的全部細(xì)節(jié)才能吃到這波紅利。我自己按這套思路改造了一個(gè)小規(guī)模的SFT流程效果就很明顯。整體流程大致分五步。第一步用弱模型批量生成監(jiān)督樣本?？梢允瞧脤?duì)也可以是三元組用戶指令、弱模型回答、強(qiáng)模型回答。注意生成時(shí)要保存一條關(guān)鍵信息——弱模型對(duì)該回答的自置信度后面有大用。第二步用強(qiáng)模型對(duì)每條樣本做“一致性評(píng)估”。這里的強(qiáng)模型是凍結(jié)不參與訓(xùn)練的主要負(fù)責(zé)判斷“這條弱標(biāo)簽和我自己的判斷是否一致”。具體做法可以是用強(qiáng)模型回答同一個(gè)問(wèn)題再計(jì)算兩種答案的語(yǔ)義一致性也可以直接讓強(qiáng)模型輸出一個(gè)“認(rèn)同度”評(píng)分。我的實(shí)操經(jīng)驗(yàn)是語(yǔ)義一致性比直觀評(píng)分更可靠因?yàn)榇竽Ｐ徒o自己打分會(huì)存在系統(tǒng)性樂(lè)觀偏差。第三步生成置信度分布并確定閾值。把所有樣本的置信度分?jǐn)?shù)做一個(gè)直方圖找到分布中的“斷裂點(diǎn)”也就是分?jǐn)?shù)出現(xiàn)斷崖式下降的位置把動(dòng)態(tài)閾值的基座放在這里再留出一定的緩沖帶。如果分布過(guò)于尖銳先把temperature調(diào)高到0.7再做評(píng)估。第四步為每一條樣本計(jì)算梯度權(quán)重。具體來(lái)說(shuō)置信度高于高閾值的樣本權(quán)重設(shè)為1低于低閾值的樣本權(quán)重設(shè)為0.05到0.2之間中間部分按線性插值或sigmoid函數(shù)過(guò)渡。同時(shí)為低置信度樣本疊加一個(gè)標(biāo)簽平滑項(xiàng)防止模型在錯(cuò)誤標(biāo)簽上學(xué)得太徹底。第五步用加權(quán)交叉熵?fù)p失進(jìn)行微調(diào)。這里有一個(gè)我自己踩過(guò)坑得出的教訓(xùn)權(quán)重的min值不能設(shè)成0。設(shè)成0意味著模型對(duì)這些樣本完全忽視損失函數(shù)對(duì)這些樣本沒(méi)有梯度等價(jià)于硬丟棄。建議至少要保留0.05的最小權(quán)重讓模型有機(jī)會(huì)從這些樣本中獲取“反面信息”。4.2 三個(gè)必看的動(dòng)力學(xué)細(xì)節(jié)整個(gè)訓(xùn)練過(guò)程里有多個(gè)細(xì)節(jié)對(duì)效果影響很大。一是權(quán)重w千萬(wàn)不能劇烈波動(dòng)。如果每一條batch內(nèi)不同樣本的權(quán)重差異過(guò)大梯度更新會(huì)非常不穩(wěn)定表現(xiàn)為loss曲線大幅震蕩。我給w加了一個(gè)指數(shù)移動(dòng)平均相當(dāng)于讓模型對(duì)弱標(biāo)簽的“態(tài)度”變得平穩(wěn)不會(huì)隨著單個(gè)樣本的置信度劇烈變化而左右搖擺。這個(gè)操作讓loss收斂速度明顯變快訓(xùn)練也更穩(wěn)。二是置信度的絕對(duì)值和相對(duì)值要區(qū)分看待。大模型打分普遍偏高長(zhǎng)期在0.9以上這時(shí)候直接設(shè)0.8作為高分閾值沒(méi)有意義。正確做法是看相對(duì)分位以75分位作為高閾值以30分位作為低閾值。這樣就不受模型打分習(xí)慣的影響在各種基座模型上都能自動(dòng)適配。三是“不要只依賴一種不確定性指標(biāo)”。我試過(guò)用softmax作為唯一置信度時(shí)在性別化或風(fēng)格化比較強(qiáng)的數(shù)據(jù)上模型的置信度存在明顯偏差——它對(duì)風(fēng)格化的內(nèi)容往往高估自己的確定性。后來(lái)用多溫度采樣自熵融合的方式這個(gè)問(wèn)題緩解了很多。多花一次推理成本的收益遠(yuǎn)大于后期調(diào)閾值的成本。4.3 實(shí)驗(yàn)復(fù)現(xiàn)需要準(zhǔn)備什么如果你想在自己數(shù)據(jù)集上跑通這套流程建議按下面的資源清單準(zhǔn)備。硬件方面一張至少擁有80GB顯存的推理卡是必須的因?yàn)樵u(píng)估階段需要跑強(qiáng)模型的多溫度采樣同時(shí)要保持訓(xùn)練階段的可復(fù)現(xiàn)性。軟件方面建議使用開(kāi)源的分布式訓(xùn)練框架配合支持動(dòng)態(tài)權(quán)重的損失函數(shù)實(shí)現(xiàn)。整個(gè)流程里最耗時(shí)的其實(shí)是置信度打分因?yàn)橐獙?duì)每條樣本跑多次采樣推理數(shù)據(jù)量大的時(shí)候最好做并行化。數(shù)據(jù)方面最好先準(zhǔn)備一個(gè)和目標(biāo)任務(wù)領(lǐng)域接近的驗(yàn)證集用于觀察訓(xùn)練過(guò)程中模型的效果變化。如果驗(yàn)證集上沒(méi)有明顯指標(biāo)提升先別急著加大訓(xùn)練量回頭檢查置信度分?jǐn)?shù)的分布是不是出了問(wèn)題。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 我剛開(kāi)始復(fù)現(xiàn)時(shí)踩過(guò)的一系列坑第一個(gè)坑強(qiáng)模型幾乎全盤(pán)接受所有弱標(biāo)簽。一開(kāi)始我以為訓(xùn)練成功了——所有樣本置信度都接近滿分毫無(wú)篩選阻力。后來(lái)發(fā)現(xiàn)是評(píng)估階段的temperature設(shè)置太低模型幾乎以貪心解碼方式回答輸出高度確定自然和弱標(biāo)簽高度一致。把temperature調(diào)到0.7以上分?jǐn)?shù)分布才拉開(kāi)差距。第二個(gè)坑訓(xùn)練loss震蕩得厲害。排查后發(fā)現(xiàn)是動(dòng)態(tài)權(quán)重w在每一個(gè)step都在劇烈變化模型像一只“反復(fù)變卦”的學(xué)生前一步還在認(rèn)真學(xué)習(xí)某個(gè)樣本后一步就把它丟棄了。解決方法是給w加EMA平滑讓模型對(duì)弱標(biāo)簽的“態(tài)度”變化更緩和。這個(gè)改動(dòng)讓loss曲線立刻平滑了很多。第三個(gè)坑訓(xùn)練后雖然對(duì)齊指標(biāo)提升了但通用能力明顯下降?；仡^看是“軟加權(quán)”沒(méi)有做好低閾值被設(shè)成了0等價(jià)于硬丟棄。把最小權(quán)重從0改成0.1之后通用能力掉點(diǎn)問(wèn)題明顯緩解。所以我在前文反復(fù)強(qiáng)調(diào)軟加權(quán)的最小值不能設(shè)成0這是一個(gè)數(shù)字之差效果天壤之別。5.2 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因排查順序置信度分?jǐn)?shù)聚成一團(tuán)沒(méi)有區(qū)分度評(píng)估溫度太低或打分方式單一先調(diào)temperature再嘗試多溫度采樣訓(xùn)練loss全程高位震蕩動(dòng)態(tài)權(quán)重波動(dòng)過(guò)于劇烈給權(quán)重加EMA平滑觀察曲線變化對(duì)齊效果好但通用推理掉點(diǎn)低置信度樣本被硬丟棄把最小權(quán)重從0改為0.05-0.2訓(xùn)練效率沒(méi)有提升動(dòng)態(tài)閾值沒(méi)有生效相當(dāng)于全盤(pán)接收檢查閾值是否處于合理分位區(qū)間安全拒答率飆升邊界樣本被過(guò)濾殆盡恢復(fù)軟加權(quán)保留低置信度樣本這張表是我反復(fù)實(shí)驗(yàn)后總結(jié)出來(lái)的基本覆蓋了第一次復(fù)現(xiàn)這類方案時(shí)最容易碰到的報(bào)文。如果你在實(shí)驗(yàn)中也遇到類似情況照上面的順序排查通常能很快找到問(wèn)題所在。6. 我的實(shí)操體會(huì)與可能的擴(kuò)展方向?qū)懙竭@里聊聊我自己的心得。這套“讓強(qiáng)模型自主選擇”的思路本質(zhì)上是把對(duì)齊訓(xùn)練從“服從模式”切換成了“協(xié)商模式”讓強(qiáng)模型用自己的判斷力去反哺自己的訓(xùn)練過(guò)程。我用它改造了自己的SFT流程之后最強(qiáng)烈的體感不是某個(gè)指標(biāo)暴漲了多少而是訓(xùn)練過(guò)程變得“可控”了——模型不再是一味地吸收數(shù)據(jù)而是開(kāi)始有選擇地學(xué)習(xí)這個(gè)轉(zhuǎn)變?cè)谡{(diào)試和排障時(shí)帶來(lái)的安全感是傳統(tǒng)全盤(pán)接收式訓(xùn)練給不了的。當(dāng)然這套方法也不是萬(wàn)能的。如果你的弱標(biāo)簽生成模型和強(qiáng)模型能力差距過(guò)大比如用幾百萬(wàn)參數(shù)的模型給幾千億參數(shù)的模型當(dāng)老師置信度打分本身就可能毫無(wú)參考意義——因?yàn)閺?qiáng)模型看弱模型處處都覺(jué)得不靠譜最后要么全部低置信度要么全部高置信度選擇器失效。這個(gè)“能力差窗口”的問(wèn)題我認(rèn)為是這個(gè)方向下一步最值得探索的課題。擴(kuò)展方向上我有兩個(gè)直覺(jué)。一是這套選擇機(jī)制可以和“可驗(yàn)證獎(jiǎng)勵(lì)”結(jié)合。比如代碼生成場(chǎng)景用編譯通過(guò)率和單測(cè)通過(guò)率作為額外的硬信號(hào)疊加在置信度評(píng)估之上相當(dāng)于在“自主選擇”的基礎(chǔ)上再多一層客觀驗(yàn)證篩選會(huì)更準(zhǔn)。二是可以遷移到多模態(tài)對(duì)齊上讓視覺(jué)模型對(duì)文本標(biāo)簽做同樣的自主甄別在圖文不一致的樣本上避免被弱標(biāo)簽帶偏。最后再分享一個(gè)小技巧在訓(xùn)練中后期把強(qiáng)模型的置信度打分開(kāi)溫到1.0讓選擇器“更信任自己”能進(jìn)一步壓榨模型的潛力。我在幾個(gè)場(chǎng)景里試下來(lái)都有效代價(jià)是前期要準(zhǔn)備更干凈的訓(xùn)練數(shù)據(jù)來(lái)兜底。這里面的平衡值得你親自拿數(shù)據(jù)試一試。