最近有段時(shí)間我一直在糾結(jié)同一個(gè)問(wèn)題模型明明已經(jīng)在手機(jī)本地跑推理了響應(yīng)速度和我自己的使用習(xí)慣也還算能接受可只要數(shù)據(jù)集里的表達(dá)風(fēng)格稍微偏一點(diǎn)或者更新一批新場(chǎng)景下的對(duì)話模型就明顯跟不上。想重新微調(diào)一版就要整批數(shù)據(jù)打包上傳服務(wù)器等排隊(duì)、等訓(xùn)練、等回傳中間還得操心格式校驗(yàn)、權(quán)限審批、版本對(duì)齊這些瑣碎事。折騰幾次之后我意識(shí)到推理設(shè)備就在手邊為什么微調(diào)不能也在本地閉環(huán)跑完這個(gè)想法最后變成了一個(gè)小項(xiàng)目名字就叫MobileFineTuner: A Unified End-to-End Framework for Fine-Tuning LLMs on Mobile Phones簡(jiǎn)單說(shuō)就是把大語(yǔ)言模型的微調(diào)能力從服務(wù)器塞進(jìn)手機(jī)環(huán)境用統(tǒng)一框架把數(shù)據(jù)準(zhǔn)備、參數(shù)更新、權(quán)重落盤(pán)和推理驗(yàn)證串成一條完整鏈路。這篇博客我會(huì)從做這個(gè)框架最常被問(wèn)的幾個(gè)問(wèn)題講起聊清楚為什么手機(jī)微調(diào)和服務(wù)器微調(diào)在本質(zhì)上是兩回事再拆開(kāi)講框架的四個(gè)核心環(huán)節(jié)然后列一點(diǎn)真機(jī)調(diào)試過(guò)程中踩過(guò)的坑和解決思路最后說(shuō)說(shuō)這個(gè)框架還能往哪些方向延伸。適合正在做移動(dòng)端 AI 功能、設(shè)備端模型定制、或者對(duì)端側(cè)訓(xùn)練感興趣的開(kāi)發(fā)者參考。1. 先定邊界手機(jī)微調(diào)不是把服務(wù)器訓(xùn)練搬到本地一開(kāi)始我也想過(guò)能不能直接把常見(jiàn)的訓(xùn)練腳本改改靠手機(jī)跑起來(lái)。試完就明白了一個(gè)道理服務(wù)器微調(diào)和手機(jī)微調(diào)面臨的約束條件幾乎完全不一樣不能用同一套思路硬搬。服務(wù)器上做微調(diào)通常默認(rèn)你有足夠的內(nèi)存、穩(wěn)定的供電、強(qiáng)大的算力和可靠的散熱環(huán)境。單卡顯存放不下就去搞多卡卡數(shù)不夠就排隊(duì)等資源訓(xùn)練中斷了就斷點(diǎn)續(xù)跑。大模型訓(xùn)練框架里那些批量跑到幾百、學(xué)習(xí)率調(diào)度切成幾十步的設(shè)計(jì)全都建立在“硬件資源基本管夠”這個(gè)前提上。手機(jī)不是這樣的一部手機(jī)的內(nèi)存空間、電池容量、發(fā)熱上限、算力規(guī)模都是明碼標(biāo)價(jià)的訓(xùn)練一個(gè)中等規(guī)模的模型很可能直接占掉可用內(nèi)存的一大半而且訓(xùn)練是長(zhǎng)時(shí)間高負(fù)載任務(wù)手機(jī)續(xù)航和溫度很快就到紅線。所以 MobileFineTuner 的設(shè)計(jì)邊界從一開(kāi)始就很明確它不追求替代服務(wù)器去微調(diào)超大模型它只解決“端側(cè)小規(guī)模增量適配”這一件事。目標(biāo)場(chǎng)景是基礎(chǔ)模型已經(jīng)在手機(jī)里了用戶有新的私有數(shù)據(jù)不方便也不希望上傳到云上這時(shí)候在手機(jī)本地完成一小段精細(xì)化的 LoRA低秩適配微調(diào)讓模型快速適應(yīng)用戶的語(yǔ)言習(xí)慣、領(lǐng)域術(shù)語(yǔ)或特定偏好。這個(gè)邊界一旦定下來(lái)后續(xù)所有技術(shù)選型都順了。另一個(gè)認(rèn)識(shí)上的坑是“端到端”。有人聽(tīng)到端到端就以為是訓(xùn)練代碼到推理代碼一路打通實(shí)際沒(méi)那么玄乎。MobileFineTuner 的端到端指的是一個(gè)可交付的完整閉環(huán)數(shù)據(jù)進(jìn)入手機(jī)后經(jīng)過(guò)清洗和格式統(tǒng)一進(jìn)入微調(diào)計(jì)算微調(diào)形成的增量參數(shù)再被合并或掛載到原模型權(quán)重上最后通過(guò)推理側(cè)驗(yàn)證結(jié)果質(zhì)量必要時(shí)還能回滾到上一版。每一步之間不是幾個(gè)孤立工具拼接而是在同一套配置語(yǔ)言和同一組數(shù)據(jù)契約下運(yùn)作開(kāi)發(fā)者只要描述“我要用什么數(shù)據(jù)、什么方式微調(diào)多少步”框架就能把后面的流程編排起來(lái)。剛開(kāi)始做這個(gè)項(xiàng)目的時(shí)候很多同事問(wèn)的第一句話是手機(jī)內(nèi)存又不比服務(wù)器你拿什么訓(xùn)練我當(dāng)時(shí)的答案很簡(jiǎn)單剪裁、量化、加 LoRA把要訓(xùn)練的參數(shù)量縮到極小同時(shí)用低精度的方式存儲(chǔ)中間狀態(tài)。但這些技術(shù)細(xì)節(jié)不是靠想象力選出來(lái)的而是被一個(gè)接一個(gè)的真實(shí)崩潰教訓(xùn)逼出來(lái)的。后面幾節(jié)我會(huì)詳細(xì)展開(kāi)。2. 框架主鏈路數(shù)據(jù)整理、LoRA微調(diào)、權(quán)重合并、推理驗(yàn)證四個(gè)環(huán)節(jié)MobileFineTuner 的主鏈路非常樸素就是四個(gè)環(huán)節(jié)數(shù)據(jù)整理、LoRA微調(diào)、權(quán)重合并、推理驗(yàn)證?？雌饋?lái)像是個(gè)流水賬但每個(gè)環(huán)節(jié)內(nèi)部都有一堆容易被忽視的細(xì)節(jié)。2.1 數(shù)據(jù)整理端側(cè)數(shù)據(jù)怎么變成訓(xùn)練樣本手機(jī)上的數(shù)據(jù)源通常比較零散可能來(lái)自本地聊天記錄、用戶標(biāo)注的收藏內(nèi)容、某個(gè) App 導(dǎo)出的筆記文件或者一臺(tái)設(shè)備的緩存。格式亂、質(zhì)量參差、長(zhǎng)度不統(tǒng)一是常態(tài)。MobileFineTuner 在數(shù)據(jù)整理這一層做三件事。第一是格式歸一化。所有輸入統(tǒng)一轉(zhuǎn)成一個(gè)內(nèi)部消息格式包含消息角色、文本內(nèi)容、原始元數(shù)據(jù)三塊。角色決定對(duì)話結(jié)構(gòu)是單輪問(wèn)答還是多輪上下文文本內(nèi)容做編碼轉(zhuǎn)換和非法字符過(guò)濾元數(shù)據(jù)則保留數(shù)據(jù)來(lái)源、時(shí)間戳、用戶指令等信息方便后面做數(shù)據(jù)審計(jì)或回滾。第二是樣本切分。大模型微調(diào)的樣本通常是指令加回應(yīng)的成對(duì)結(jié)構(gòu)手機(jī)上的原始數(shù)據(jù)往往是一條連續(xù)大文本?？蚣軙?huì)按預(yù)設(shè)的窗口長(zhǎng)度把長(zhǎng)文本切成可訓(xùn)練的對(duì)齊片段同時(shí)保證切割點(diǎn)落在完整句子上而不是硬生生把句子劈成兩半。這里有個(gè)小技巧切分時(shí)寧可讓部分樣本重疊也別漏掉重要上下文重疊部分的重復(fù)樣本會(huì)影響收斂速度但丟失上下文會(huì)導(dǎo)致模型學(xué)到錯(cuò)誤關(guān)聯(lián)。實(shí)測(cè)下來(lái)重疊率控制在百分之十到百分之十五比較穩(wěn)妥。第三是臟數(shù)據(jù)攔截。手機(jī)數(shù)據(jù)的臟數(shù)據(jù)類型比服務(wù)器上更多樣比如廣告文本、超短回應(yīng)、空白片段、大量重復(fù)字符。MobileFineTuner 內(nèi)置了一個(gè)輕量規(guī)則引擎能對(duì)樣本做快速過(guò)濾規(guī)則包括最小長(zhǎng)度限制、重復(fù)度檢測(cè)、語(yǔ)言占比檢測(cè)。這部分不需要跑大模型去判斷語(yǔ)義用正則和統(tǒng)計(jì)特征就夠用了因?yàn)槎藗?cè)計(jì)算資源太寶貴不值得在數(shù)據(jù)清洗階段浪費(fèi)大量算力。數(shù)據(jù)整理完成后框架會(huì)產(chǎn)出一個(gè)本地的統(tǒng)一訓(xùn)練緩存文件格式自包含模型結(jié)構(gòu)信息、訓(xùn)練參數(shù)、樣本數(shù)據(jù)都在同一個(gè)文件里方便后續(xù)流程反復(fù)讀取。2.2 微調(diào)內(nèi)核LoRA和量化怎么配合才不崩MobileFineTuner 的微調(diào)內(nèi)核選的是 LoRA 加量化路線的組合。這里先把 LoRA 的原理簡(jiǎn)單說(shuō)一下。LoRA 的核心想法是不直接更新原來(lái)那個(gè)很大的權(quán)重矩陣而是訓(xùn)練兩個(gè)很小的低秩矩陣組合成的增量訓(xùn)練完成后把增量合并回原權(quán)重或者保持增量和原權(quán)重分離運(yùn)行。這樣做的直接好處是訓(xùn)練參數(shù)量大幅減少前端可以少算很多梯度內(nèi)存需求也就降下來(lái)了。但 LoRA 本身還不夠因?yàn)榛A(chǔ)模型權(quán)重即使不做梯度更新前向計(jì)算和反向計(jì)算時(shí)依然需要讀取全部權(quán)重。手機(jī)上跑一個(gè)十億級(jí)參數(shù)的模型光權(quán)重文件就有好幾個(gè) G半精度存也會(huì)超過(guò)內(nèi)存預(yù)算。MobileFineTuner 的處理方式是把基礎(chǔ)權(quán)重量化到低比特格式比如常見(jiàn)的 4bit。量化后的權(quán)重不但體積小而且前向計(jì)算時(shí)參與乘法的數(shù)據(jù)規(guī)模也變小了模型加載和推理都會(huì)更快。這里面的坑在于量化和訓(xùn)練同時(shí)進(jìn)行時(shí)參數(shù)更新路徑必須小心設(shè)計(jì)。一種做法是把基礎(chǔ)權(quán)重固定為量化后的值不變只讓 LoRA 的低秩矩陣以高精度方式訓(xùn)練完成后把 LoRA 增量合并回量化權(quán)重的反量化結(jié)果上。MobileFineTuner 采用的就是這個(gè)策略好處是梯度計(jì)算只走 LoRA 分支反向傳播的計(jì)算量大幅減少訓(xùn)練穩(wěn)定性也容易把控。實(shí)際跑起來(lái)之后我遇到一個(gè)反直覺(jué)的現(xiàn)象學(xué)習(xí)率稍微設(shè)大一點(diǎn)損失就劇烈震蕩設(shè)得保守一些loss 又降不下去。后來(lái)發(fā)現(xiàn)是低比特量化引入的噪聲加上端側(cè)數(shù)值精度變化放大了梯度的抖動(dòng)。解決方式是給 LoRA 分支加梯度和更新值的雙重裁剪同時(shí)對(duì)學(xué)習(xí)率做線性預(yù)熱在最初幾十步用很小的學(xué)習(xí)率讓量化噪聲先“預(yù)熱”過(guò)去。這一步看起來(lái)不起眼但直接把訓(xùn)練的收斂成功率拉高了一大截。2.3 權(quán)重合并與增量提交保證不破壞原始能力微調(diào)完成后框架要做的事情是把訓(xùn)練得到的 LoRA 增量合并進(jìn)原始模型或者保留增量文件并記錄一份掛載配置。MobileFineTuner 默認(rèn)走“合并為主、移存儲(chǔ)量”的路線因?yàn)槭謾C(jī)上推理如果每次都動(dòng)態(tài)加載LoRA增量加載路徑和計(jì)算路徑都會(huì)多一層復(fù)雜度在這個(gè)階段不值得。合并時(shí)需要注意基礎(chǔ)權(quán)重是量化過(guò)的直接做數(shù)值加法可能損傷精度所以合并流程是先把基礎(chǔ)權(quán)重反量化到中間精度加上 LoRA 增量再重新量化為部署格式。整個(gè)過(guò)程在端側(cè)的臨時(shí)工作區(qū)進(jìn)行完成后產(chǎn)出新的模型權(quán)重文件。文件命名和版本記錄是很容易被忽略的環(huán)節(jié)。權(quán)重文件不像代碼它沒(méi)有肉眼可見(jiàn)的 diff。MobileFineTuner 會(huì)在每個(gè)權(quán)重文件頭部寫(xiě)入一個(gè)版本塊包含基礎(chǔ)模型標(biāo)識(shí)、訓(xùn)練數(shù)據(jù)指紋、LoRA 配置摘要、訓(xùn)練時(shí)間和校驗(yàn)值。這樣后續(xù)推理側(cè)加載時(shí)可以快速校驗(yàn)文件完整性也能在多個(gè)版本權(quán)重之間切換?；貪L功能之所以重要是因?yàn)槎藗?cè)訓(xùn)練的數(shù)據(jù)質(zhì)量再穩(wěn)定也難免出錯(cuò)一旦微調(diào)結(jié)果讓用戶不滿意至少能一鍵回到上一版本不能把用戶的設(shè)備鎖死在一個(gè)壞版本上。2.4 推理驗(yàn)證不能只盯著loss要看真實(shí)對(duì)話效果訓(xùn)練損失降下去只是第一步它沒(méi)法保證模型真正變好。MobileFineTuner 在最后一個(gè)環(huán)節(jié)接上推理驗(yàn)證用一組固定的測(cè)試樣本跑實(shí)際生成效果評(píng)估。測(cè)試樣本可以來(lái)自用戶自己的歷史數(shù)據(jù)也可以是框架自帶的通用評(píng)測(cè)集。評(píng)估標(biāo)準(zhǔn)不是用對(duì)話式流暢度這種虛指標(biāo)而是更實(shí)際的三點(diǎn)回答是否與輸入問(wèn)題相關(guān)、關(guān)鍵實(shí)體是否出現(xiàn)、整體語(yǔ)氣是否保持了原始模型的風(fēng)格一致性。推理驗(yàn)證環(huán)節(jié)還做另一個(gè)很重要的檢查就是退化檢測(cè)。微調(diào)模型在適配新數(shù)據(jù)時(shí)偶爾會(huì)出現(xiàn)“災(zāi)難性遺忘”學(xué)會(huì)了新領(lǐng)域卻忘了原本會(huì)的通用能力?？蚣苡靡恍∨A(chǔ)能力測(cè)試問(wèn)題比如數(shù)學(xué)計(jì)算、常識(shí)問(wèn)答、多輪指代消解跑一遍對(duì)比分?jǐn)?shù)如果分?jǐn)?shù)明顯下降就會(huì)給出警告建議用戶調(diào)整訓(xùn)練數(shù)據(jù)比例或回退版本。加入這個(gè)檢查之后MobileFineTuner 在真實(shí)場(chǎng)景下交付的權(quán)重版本質(zhì)量就穩(wěn)定多了。整個(gè)主鏈路跑通的耗時(shí)取決于設(shè)備性能和訓(xùn)練數(shù)據(jù)規(guī)模一般幾百條樣本在主流手機(jī)上耗時(shí)從幾分鐘到二三十分鐘不等。純用 CPU 也能跑但用支持加速的圖形計(jì)算單元會(huì)快不少。3. 支撐層設(shè)計(jì)內(nèi)存預(yù)算、算子調(diào)度和端側(cè)自動(dòng)微分主鏈路邏輯上很簡(jiǎn)單真正難的是技術(shù)支撐層因?yàn)槭謾C(jī)不像服務(wù)器那樣可以隨便加內(nèi)存MobileFineTuner 想讓訓(xùn)練在端側(cè)跑得動(dòng)必須從三個(gè)層面做精細(xì)設(shè)計(jì)。3.1 內(nèi)存預(yù)算每個(gè)階段用多少內(nèi)存提前算好我在最初做原型的時(shí)候內(nèi)存是最先打爆的地方。一個(gè)十億參數(shù)模型做訓(xùn)練光模型權(quán)重和優(yōu)化器狀態(tài)就可能占掉好幾個(gè) G再加上中間激活值、計(jì)算圖臨時(shí)存儲(chǔ)、推理驗(yàn)證時(shí)的解碼緩存內(nèi)存很容易在某個(gè)瞬間直接溢出。MobileFineTuner 的做法是在框架啟動(dòng)前先做一次內(nèi)存預(yù)算把整個(gè)訓(xùn)練流程拆成加載階段、前向計(jì)算階段、反向計(jì)算階段、優(yōu)化器更新階段、驗(yàn)證階段每個(gè)階段分別估算峰值然后取上限值做成硬約束。估算公式其實(shí)很簡(jiǎn)單粗暴峰值內(nèi)存主要由模型權(quán)重、LoRA 權(quán)重、優(yōu)化器狀態(tài)、激活緩存、臨時(shí)緩沖區(qū)五塊組成。權(quán)重和優(yōu)化器狀態(tài)大小是確定的激活緩存則和數(shù)據(jù)批大小、序列長(zhǎng)度直接相關(guān)。MobileFineTuner 會(huì)根據(jù)當(dāng)前設(shè)備的可用內(nèi)存動(dòng)態(tài)調(diào)整批大小寧可用很小的批也不讓內(nèi)存溢出這是端側(cè)訓(xùn)練的底線。小批次的副作用是梯度方差變大所以優(yōu)化器里補(bǔ)上了梯度累積把好幾個(gè)小批次的梯度累積后再更新一次既控制了內(nèi)存又保持了訓(xùn)練穩(wěn)定。3.2 算子調(diào)度讓訓(xùn)練盡量少做冗余計(jì)算手機(jī)上的計(jì)算資源比服務(wù)器精細(xì)得多能不能高效利用直接決定一次微調(diào)要跑多久。MobileFineTuner 做了兩件事來(lái)優(yōu)化算子調(diào)度。第一是算子融合把前向計(jì)算中連續(xù)的矩陣乘、加偏置、激活函數(shù)合并成一個(gè)復(fù)合算子減少中間結(jié)果的反復(fù)讀寫(xiě)。別小看這個(gè)優(yōu)化在端側(cè)它可能把整體耗時(shí)縮短百分之二十以上。第二是圖級(jí)優(yōu)化。訓(xùn)練過(guò)程本質(zhì)上就是一張計(jì)算圖框架會(huì)在圖構(gòu)建階段遍歷整個(gè)圖把可以在一個(gè)批次內(nèi)并行計(jì)算的算子排在一起把內(nèi)存中的重復(fù)分配去掉。比如說(shuō)量化反量化這類操作如果被多個(gè)分支共享就只計(jì)算一次結(jié)果直接復(fù)用。這些優(yōu)化通常只有編譯型框架才會(huì)主動(dòng)做MobileFineTuner 在運(yùn)行時(shí)也實(shí)現(xiàn)了一個(gè)輕量版代價(jià)是啟動(dòng)前多花一點(diǎn)時(shí)間做圖分析但在每個(gè)訓(xùn)練迭代里都能省回這部分開(kāi)銷。3.3 端側(cè)自動(dòng)微分不是把服務(wù)器的自動(dòng)微分庫(kù)搬過(guò)來(lái)自動(dòng)微分是訓(xùn)練框架的核心運(yùn)行機(jī)制。服務(wù)器端的自動(dòng)微分庫(kù)功能完整、支持動(dòng)態(tài)圖、算子覆蓋多但它假定內(nèi)存不限、加載體積不是問(wèn)題。手機(jī)上沒(méi)法直接搬過(guò)來(lái)所以 MobileFineTuner 自己維護(hù)了一個(gè)精簡(jiǎn)的端側(cè)自動(dòng)微分執(zhí)行器。這個(gè)執(zhí)行器的關(guān)鍵設(shè)計(jì)是有兩個(gè)模式一個(gè)是推理模式只跑前向一個(gè)是訓(xùn)練模式前向加反向。前向計(jì)算時(shí)會(huì)同步記錄運(yùn)算軌跡給每個(gè)中間張量打分記錄它對(duì)應(yīng)的是哪個(gè)算子和哪個(gè)依賴關(guān)系反向時(shí)按照拓?fù)漤樞虬烟荻然貍骰厝?。為了省?nèi)存框架還實(shí)現(xiàn)了激活重計(jì)算機(jī)制并不是所有中間結(jié)果都留在內(nèi)存里而是只存一部分關(guān)鍵節(jié)點(diǎn)反向需要某個(gè)中間結(jié)果時(shí)從前一個(gè)關(guān)鍵節(jié)點(diǎn)重新前向計(jì)算一遍。代價(jià)是多了前向計(jì)算開(kāi)銷但內(nèi)存占用能降下來(lái)百分之三十到四十對(duì)端側(cè)來(lái)說(shuō)是值得的。還有一點(diǎn)要提的是數(shù)值精度策略。端側(cè)訓(xùn)練里混合精度不是可選項(xiàng)而是剛需。MobileFineTuner 內(nèi)部讓權(quán)重和梯度以較低精度存儲(chǔ)但優(yōu)化器狀態(tài)和部分累積操作保持較高精度避免小數(shù)誤差在長(zhǎng)時(shí)間訓(xùn)練里被放大。測(cè)試下來(lái)這套策略能讓訓(xùn)練損失曲線更平滑最終權(quán)重質(zhì)量也更高。4. 真機(jī)調(diào)試中踩過(guò)的坑和解決思路這里單獨(dú)留一節(jié)專門(mén)講我在真機(jī)調(diào)試中踩過(guò)的坑。這些坑很多不是原理性難題卻能在關(guān)鍵時(shí)刻讓你懷疑人生。4.1 溫度墻直接中斷訓(xùn)練第一次在真機(jī)上連續(xù)跑訓(xùn)練時(shí)設(shè)備在高負(fù)載下迅速發(fā)熱系統(tǒng)很快就觸發(fā)了溫度保護(hù)訓(xùn)練進(jìn)程被系統(tǒng)直接凍結(jié)再恢復(fù)時(shí)狀態(tài)已經(jīng)被回收了。這個(gè)問(wèn)題在跑服務(wù)器訓(xùn)練時(shí)幾乎遇不到但在手機(jī)上避不開(kāi)。MobileFineTuner 后來(lái)加入了一個(gè)功耗感知調(diào)度開(kāi)始訓(xùn)練前就讀取設(shè)備當(dāng)前的功耗狀態(tài)和溫度傳感器值如果溫度過(guò)高先把訓(xùn)練任務(wù)降頻執(zhí)行或者在訓(xùn)練流程里插入主動(dòng)等待讓設(shè)備降溫后再繼續(xù)。表面上訓(xùn)練時(shí)間變長(zhǎng)了但至少不會(huì)半路消失。一個(gè)更值得注意的坑是系統(tǒng)回收資源并不一定發(fā)生在溫度最高點(diǎn)而是發(fā)生在功耗策略認(rèn)為風(fēng)險(xiǎn)足夠大的時(shí)刻。所以框架不能只盯著溫度還要關(guān)注電流和整機(jī)功耗的動(dòng)態(tài)變化。我把這個(gè)做成了一個(gè)簡(jiǎn)單的告警模型一旦檢測(cè)到功耗驟增就自動(dòng)把訓(xùn)練框架內(nèi)的并行度降下來(lái)保進(jìn)程優(yōu)先。4.2 浮點(diǎn)精度引發(fā)的概率失真端側(cè)訓(xùn)練時(shí)模型內(nèi)的大量計(jì)算都跑在低精度路徑上。如果數(shù)據(jù)分布稍微極端一點(diǎn)數(shù)值誤差就可能在幾十步迭代后累積成明顯的結(jié)果劣化。這個(gè)問(wèn)題的典型表現(xiàn)是訓(xùn)練損失還在合理下降但模型生成的結(jié)果開(kāi)始重復(fù)、呆板甚至在亮度、概率權(quán)重上都出現(xiàn)怪異的偏向。排查后發(fā)現(xiàn)問(wèn)題出在歸一化層和殘差連接上這些結(jié)構(gòu)對(duì)數(shù)值誤差特別敏感。解決方式是在這些關(guān)鍵計(jì)算路徑上強(qiáng)制用高精度。代價(jià)是這部分算子變慢但整體影響可控?fù)Q來(lái)的是生成結(jié)果穩(wěn)定。4.3 訓(xùn)練數(shù)據(jù)緩存和文件讀寫(xiě)的一致性問(wèn)題手機(jī)端訓(xùn)練過(guò)程中要頻繁讀寫(xiě)訓(xùn)練緩存、臨時(shí)模型權(quán)重、日志文件。蘋(píng)果和安卓這類主流手機(jī)操作系統(tǒng)都有一個(gè)共同特點(diǎn)文件系統(tǒng)對(duì)大數(shù)據(jù)塊寫(xiě)入有自己的一套緩存策略如果訓(xùn)練進(jìn)程因?yàn)槟硞€(gè)原因被系統(tǒng)殺掉最后一批寫(xiě)盤(pán)數(shù)據(jù)可能沒(méi)寫(xiě)完整下次訓(xùn)練加載時(shí)就出現(xiàn)校驗(yàn)失敗。MobileFineTuner 的做法是在關(guān)鍵檢查點(diǎn)使用原子寫(xiě)加校驗(yàn)的雙重機(jī)制。先寫(xiě)臨時(shí)文件寫(xiě)完馬上進(jìn)行校驗(yàn)確認(rèn)再改成最終文件名。這個(gè)寫(xiě)文件的過(guò)程花不了多少時(shí)間但對(duì)可靠性的提升是實(shí)打?qū)嵉?。端?cè)訓(xùn)練不是服務(wù)器進(jìn)程隨時(shí)可能掛框架必須做足恢復(fù)和回退策略。4.4 數(shù)據(jù)隱私和本地審計(jì)的默認(rèn)姿態(tài)很多人沒(méi)注意到端側(cè)訓(xùn)練的便利性也意味著數(shù)據(jù)管理必須嚴(yán)格。MobileFineTuner 默認(rèn)不清除本地訓(xùn)練數(shù)據(jù)但會(huì)把所有訓(xùn)練數(shù)據(jù)、降級(jí)日志、權(quán)重版本信息統(tǒng)一記錄在本地審計(jì)區(qū)。這樣做不是因?yàn)榭蚣軓?qiáng)制要求日志合規(guī)而是為了你自己排查問(wèn)題時(shí)能翻舊賬。有一次我發(fā)現(xiàn)一個(gè)版本模型表現(xiàn)異常反復(fù)查了幾天才發(fā)現(xiàn)是原因?qū)懺诋?dāng)年的訓(xùn)練數(shù)據(jù)日志里那個(gè)數(shù)據(jù)切片的格式標(biāo)記和實(shí)際內(nèi)容不一致。有了審計(jì)日志這類問(wèn)題幾分鐘就能定位不用浪費(fèi)時(shí)間翻山越嶺。5. 延伸思路MobileFineTuner 還能怎么長(zhǎng)成更通用的形態(tài)MobileFineTuner 目前的實(shí)現(xiàn)主要聚焦在 LoRA 微調(diào)和端側(cè)部署閉環(huán)上但我在做這個(gè)框架的時(shí)候心里一直給它留了幾個(gè)擴(kuò)展方向這些方向不一定要全部實(shí)現(xiàn)但對(duì)后續(xù)工作挺有價(jià)值。第一個(gè)方向是偏好對(duì)齊。現(xiàn)在手機(jī)端模型適配的主要是語(yǔ)言風(fēng)格和領(lǐng)域術(shù)語(yǔ)進(jìn)一步可以做偏好對(duì)齊用用戶對(duì)生成結(jié)果的點(diǎn)贊、點(diǎn)踩、編輯行為作為反饋信號(hào)在端側(cè)做一輪輕量偏好優(yōu)化。這類信號(hào)天然就在手機(jī)上不需要額外做數(shù)據(jù)采集配合 MobileFineTuner 的數(shù)據(jù)鏈路實(shí)現(xiàn)難度比想象中低。第二個(gè)方向是任務(wù)棧定制。不同的手機(jī)型號(hào)、不同芯片平臺(tái)、不同內(nèi)存規(guī)格對(duì)訓(xùn)練任務(wù)的約束不一樣。MobileFineTuner 可以把設(shè)備能力探測(cè)和任務(wù)配置自動(dòng)匹配做成一套適配層讓同一個(gè)框架在不同硬件形態(tài)上自動(dòng)選用不同精度的策略、不同的批量大小和不同的算子實(shí)現(xiàn)。這會(huì)讓框架價(jià)值大幅提升因?yàn)榫S護(hù)一套適配層比維護(hù)多套訓(xùn)練方案省力太多。第三個(gè)方向是把多個(gè)設(shè)備協(xié)同起來(lái)。手機(jī)雖然算力小但身邊可能同時(shí)有一部手機(jī)、一臺(tái)平板、一臺(tái)筆記本電腦。這些設(shè)備的算力聯(lián)合起來(lái)理論上可以跑更大的模型的微調(diào)任務(wù)?？蚣芸梢宰龀梢粋€(gè)協(xié)調(diào)者把數(shù)據(jù)集切分成小塊分發(fā)到不同設(shè)備各自訓(xùn)練 LoRA然后再匯總更新。這個(gè)方向工程復(fù)雜度和通信開(kāi)銷都不小但想想挺有潛力。第四個(gè)方向是沉淀幾個(gè)場(chǎng)景化的模板。比如客服場(chǎng)景、教育場(chǎng)景、內(nèi)容創(chuàng)作者的寫(xiě)作助手場(chǎng)景它們的數(shù)據(jù)格式和微調(diào)目標(biāo)各不相同MobileFineTuner 可以做成一個(gè)內(nèi)置模板庫(kù)用戶選擇一個(gè)模板框架就自動(dòng)推薦配套的數(shù)據(jù)清洗規(guī)則、切分長(zhǎng)度、訓(xùn)練輪數(shù)和驗(yàn)證集。這樣使用門(mén)檻會(huì)低很多不再是開(kāi)發(fā)者專用工具普通用戶也能在手機(jī)上完成模型定制。我自己做這個(gè)項(xiàng)目最深的體會(huì)是端側(cè)訓(xùn)練不是為了和服務(wù)器訓(xùn)練掰手腕而是為了把數(shù)據(jù)主權(quán)和模型自主性還給設(shè)備和個(gè)人。數(shù)據(jù)的價(jià)值在越來(lái)越多的地方體現(xiàn)在個(gè)性化上而個(gè)性化的第一步就是不用把數(shù)據(jù)交給別人。MobileFineTuner 這個(gè)框架談不上多完美但至少證明了手機(jī)這樣一個(gè)資源受限的設(shè)備也能夠承載從數(shù)據(jù)整理到模型微調(diào)、再回到推理使用的完整閉環(huán)。如果你也在折騰設(shè)備端模型定制我強(qiáng)烈建議你從一個(gè)小切口的場(chǎng)景開(kāi)始先把數(shù)據(jù)鏈路跑通再回頭優(yōu)化計(jì)算效率這樣踩坑最少也最容易看到實(shí)實(shí)在在的效果。