比：架構(gòu)、預(yù)訓(xùn)練目標(biāo)與微調(diào)選型指南)
1. 從標(biāo)題說(shuō)起為什么BERT和GPT值得反復(fù)拆解“Transformer BERT 與 GPT七”這個(gè)標(biāo)題一看就是某個(gè)系列文章的第七篇。能寫到第七篇說(shuō)明前面六篇已經(jīng)把Transformer的基礎(chǔ)架構(gòu)、自注意力機(jī)制、多頭注意力的計(jì)算細(xì)節(jié)、位置編碼的來(lái)龍去脈、Encoder-Decoder的整體框架都講得差不多了。到了第七篇核心話題自然要落到BERT和GPT這兩個(gè)最具代表性的預(yù)訓(xùn)練語(yǔ)言模型上而且大概率是要做一次系統(tǒng)性的對(duì)比和深度拆解。我接觸Transformer這套東西也有幾年了從最開(kāi)始看Attention is All You Need那篇論文一頭霧水到后來(lái)自己動(dòng)手復(fù)現(xiàn)、微調(diào)、部署踩過(guò)的坑不算少。這個(gè)系列能寫到第七篇說(shuō)明作者是真的在認(rèn)真梳理這條技術(shù)脈絡(luò)。而BERT和GPT恰恰是Transformer架構(gòu)往兩個(gè)不同方向演化的典型代表——一個(gè)走的是雙向編碼的路子一個(gè)走的是自回歸生成的路子。把這兩個(gè)模型放在一起對(duì)比基本上就能把預(yù)訓(xùn)練語(yǔ)言模型的核心設(shè)計(jì)思路摸清楚了。這篇文章適合誰(shuí)看如果你已經(jīng)了解了Transformer的基本結(jié)構(gòu)知道Self-Attention是怎么回事但對(duì)BERT和GPT的區(qū)別還停留在“一個(gè)用Encoder一個(gè)用Decoder”這種粗淺認(rèn)知上那這篇內(nèi)容就是為你準(zhǔn)備的。如果你正在做NLP相關(guān)的項(xiàng)目需要選型預(yù)訓(xùn)練模型或者想自己動(dòng)手微調(diào)一個(gè)模型來(lái)解決具體問(wèn)題那這篇文章里的對(duì)比分析和實(shí)操建議也能幫你少走彎路。再退一步哪怕你只是對(duì)這兩個(gè)模型的工作原理感到好奇想知道它們?yōu)槭裁茨苓@么強(qiáng)這篇文章也會(huì)用盡量通俗的方式把核心邏輯講清楚。我寫這個(gè)系列的一貫原則是不堆公式不抄論文盡量用從業(yè)者的視角把“為什么這么設(shè)計(jì)”和“實(shí)際用起來(lái)是什么感覺(jué)”講明白。第七篇作為BERT和GPT的專題對(duì)比會(huì)從架構(gòu)差異、預(yù)訓(xùn)練目標(biāo)、訓(xùn)練數(shù)據(jù)、微調(diào)方式、實(shí)際表現(xiàn)、適用場(chǎng)景這幾個(gè)維度逐一展開(kāi)中間穿插一些我自己在項(xiàng)目里積累的經(jīng)驗(yàn)和踩過(guò)的坑。2. BERT和GPT的架構(gòu)差異到底在哪2.1 一個(gè)用Encoder一個(gè)用Decoder但這意味著什么很多人第一次接觸BERT和GPT的時(shí)候記住的第一句話就是“BERT用的是Transformer的EncoderGPT用的是Decoder”。這話沒(méi)錯(cuò)但只說(shuō)到了表面。真正重要的是Encoder和Decoder在結(jié)構(gòu)上的差異直接決定了這兩個(gè)模型能做什么、不能做什么。Transformer的Encoder是由多個(gè)相同的層堆疊而成的每一層里面包含一個(gè)多頭自注意力模塊和一個(gè)前饋神經(jīng)網(wǎng)絡(luò)模塊每個(gè)模塊后面都跟著殘差連接和層歸一化。關(guān)鍵在于Encoder的自注意力是雙向的——也就是說(shuō)在處理某個(gè)位置的詞時(shí)它可以同時(shí)看到左邊和右邊的所有詞。這種雙向性讓Encoder能夠捕捉到完整的上下文信息非常適合做理解類的任務(wù)。Decoder的結(jié)構(gòu)稍微復(fù)雜一點(diǎn)。它同樣由多個(gè)層堆疊而成但每一層里面有三個(gè)子模塊一個(gè)帶掩碼的多頭自注意力模塊、一個(gè)交叉注意力模塊用于關(guān)注Encoder的輸出、以及一個(gè)前饋神經(jīng)網(wǎng)絡(luò)模塊。帶掩碼的自注意力是Decoder的核心特征——它通過(guò)一個(gè)上三角矩陣把未來(lái)位置的注意力權(quán)重置為負(fù)無(wú)窮經(jīng)過(guò)Softmax之后就變成了零從而確保模型在預(yù)測(cè)第t個(gè)詞的時(shí)候只能看到前t-1個(gè)詞看不到后面的內(nèi)容。這種單向性也叫自回歸特性讓Decoder天生適合做生成任務(wù)。GPT系列用的就是Decoder結(jié)構(gòu)而且是只用了Decoder沒(méi)有Encoder部分所以也沒(méi)有交叉注意力模塊。BERT用的是Encoder結(jié)構(gòu)而且是只用了Encoder沒(méi)有Decoder部分。這種“各取一半”的設(shè)計(jì)思路背后其實(shí)是對(duì)不同任務(wù)需求的精準(zhǔn)回應(yīng)。2.2 雙向注意力與單向注意力的本質(zhì)區(qū)別雙向注意力和單向注意力的區(qū)別用生活化的類比來(lái)說(shuō)就是BERT像是一個(gè)可以反復(fù)閱讀整篇文章的讀者讀完之后對(duì)文章的理解是全局的、完整的GPT像是一個(gè)只能從左到右逐字閱讀的讀者每讀到一個(gè)新詞只能基于前面已經(jīng)讀過(guò)的內(nèi)容來(lái)理解當(dāng)前這個(gè)詞。這個(gè)區(qū)別帶來(lái)的影響是根本性的。BERT在做掩碼語(yǔ)言模型任務(wù)時(shí)可以同時(shí)利用被掩碼詞左邊和右邊的信息來(lái)預(yù)測(cè)這個(gè)詞所以它對(duì)上下文的理解更加充分。GPT在做自回歸語(yǔ)言模型任務(wù)時(shí)只能利用左邊的信息來(lái)預(yù)測(cè)下一個(gè)詞所以它更擅長(zhǎng)的是“根據(jù)前文生成后文”這種能力。但這里有一個(gè)容易被忽略的點(diǎn)GPT的單向注意力并不意味著它的理解能力就一定比BERT差。實(shí)際上通過(guò)大規(guī)模預(yù)訓(xùn)練GPT也學(xué)到了非常豐富的語(yǔ)言知識(shí)只不過(guò)這些知識(shí)是以“生成式”的方式編碼在模型參數(shù)里的。而BERT的雙向注意力也不意味著它就能直接用來(lái)做生成——因?yàn)樗陬A(yù)訓(xùn)練階段沒(méi)有學(xué)習(xí)過(guò)“根據(jù)前文生成后文”這種模式所以直接用BERT來(lái)做文本生成效果通常不理想。2.3 模型規(guī)模與層數(shù)設(shè)計(jì)的取舍BERT-base有12層Encoder隱藏層維度768注意力頭數(shù)12總參數(shù)量約1.1億。BERT-large有24層隱藏層維度1024注意力頭數(shù)16總參數(shù)量約3.4億。GPT-2的small版本有12層Decoder隱藏層維度768注意力頭數(shù)12參數(shù)量約1.17億GPT-2的XL版本有48層隱藏層維度1600注意力頭數(shù)25參數(shù)量約15億。到了GPT-3參數(shù)量直接飆到了1750億層數(shù)96隱藏層維度12288注意力頭數(shù)96。這些數(shù)字背后反映的是一個(gè)趨勢(shì)GPT系列在模型規(guī)模上的擴(kuò)張比BERT系列激進(jìn)得多。BERT-large在2018年發(fā)布的時(shí)候已經(jīng)算是很大的模型了但GPT-3的規(guī)模是它的500倍以上。這種規(guī)模差異帶來(lái)的能力差異是顯著的——GPT-3展現(xiàn)出了很多BERT不具備的少樣本學(xué)習(xí)能力而BERT在同等規(guī)模下更擅長(zhǎng)做判別式任務(wù)。從實(shí)操角度來(lái)說(shuō)如果你手頭的計(jì)算資源有限BERT-base通常是一個(gè)比較穩(wěn)妥的選擇它在大多數(shù)理解類任務(wù)上的表現(xiàn)已經(jīng)足夠好了而且微調(diào)成本相對(duì)可控。如果你需要做生成類任務(wù)GPT-2的small或medium版本可以作為起點(diǎn)但要注意生成質(zhì)量和模型規(guī)模之間的權(quán)衡。3. 預(yù)訓(xùn)練目標(biāo)的差異決定了能力邊界3.1 BERT的掩碼語(yǔ)言模型與下一句預(yù)測(cè)BERT的預(yù)訓(xùn)練用了兩個(gè)任務(wù)Masked Language ModelMLM和Next Sentence PredictionNSP。MLM的做法是隨機(jī)把輸入序列中15%的詞替換成[MASK]標(biāo)記然后讓模型去預(yù)測(cè)這些被掩碼的詞。這15%里面80%替換成[MASK]10%替換成隨機(jī)詞10%保持不變。為什么要這么設(shè)計(jì)因?yàn)槿绻刻鎿Q成[MASK]模型在微調(diào)階段就看不到[MASK]這個(gè)標(biāo)記了會(huì)造成預(yù)訓(xùn)練和微調(diào)之間的不一致。加入隨機(jī)詞和不變?cè)~就是為了讓模型在預(yù)訓(xùn)練階段也能見(jiàn)到正常的詞匯減少這種不一致帶來(lái)的影響。NSP任務(wù)的做法是給模型輸入兩個(gè)句子讓模型判斷第二個(gè)句子是不是第一個(gè)句子的下一句。正樣本是真實(shí)的連續(xù)句子對(duì)負(fù)樣本是從語(yǔ)料中隨機(jī)抽取的句子對(duì)。這個(gè)任務(wù)的目的是讓模型學(xué)會(huì)捕捉句子之間的關(guān)系對(duì)問(wèn)答、自然語(yǔ)言推理這類需要理解句子間關(guān)系的任務(wù)有幫助。但后來(lái)的研究比如RoBERTa發(fā)現(xiàn)NSP任務(wù)其實(shí)并沒(méi)有想象中那么有用甚至可能有害。RoBERTa直接去掉了NSP任務(wù)只保留MLM并且在MLM的細(xì)節(jié)上做了優(yōu)化比如動(dòng)態(tài)掩碼、更大的batch size、更多的訓(xùn)練數(shù)據(jù)結(jié)果在多個(gè)基準(zhǔn)測(cè)試上都超過(guò)了BERT。這說(shuō)明預(yù)訓(xùn)練任務(wù)的設(shè)計(jì)并不是越多越好關(guān)鍵是要和下游任務(wù)的需求匹配。3.2 GPT的自回歸語(yǔ)言模型GPT的預(yù)訓(xùn)練任務(wù)就一個(gè)自回歸語(yǔ)言模型。給定一個(gè)詞序列讓模型預(yù)測(cè)下一個(gè)詞。這個(gè)任務(wù)看起來(lái)很簡(jiǎn)單但它的威力在于當(dāng)模型規(guī)模足夠大、訓(xùn)練數(shù)據(jù)足夠多的時(shí)候模型為了做好“預(yù)測(cè)下一個(gè)詞”這件事不得不學(xué)會(huì)大量的語(yǔ)言知識(shí)、世界知識(shí)和推理能力。GPT的自回歸特性決定了它在生成任務(wù)上的天然優(yōu)勢(shì)。你給它一個(gè)開(kāi)頭它就能順著往下寫而且寫出來(lái)的內(nèi)容在語(yǔ)法和語(yǔ)義上都是連貫的。這種能力在文本摘要、機(jī)器翻譯、對(duì)話生成、代碼生成等任務(wù)上都非常有用。但自回歸語(yǔ)言模型也有一個(gè)明顯的短板它是單向的只能從左到右。這意味著它在做需要雙向上下文理解的任務(wù)時(shí)天然處于劣勢(shì)。比如做閱讀理解你需要同時(shí)看問(wèn)題和文章然后從文章中找答案。GPT的單向注意力讓它在處理這類任務(wù)時(shí)不如BERT高效。3.3 兩種預(yù)訓(xùn)練目標(biāo)的實(shí)際影響從實(shí)際項(xiàng)目經(jīng)驗(yàn)來(lái)看BERT在分類、序列標(biāo)注、抽取式問(wèn)答、自然語(yǔ)言推理這些判別式任務(wù)上的表現(xiàn)通常更好而且微調(diào)需要的標(biāo)注數(shù)據(jù)相對(duì)較少。GPT在文本生成、對(duì)話、摘要、翻譯這些生成式任務(wù)上更有優(yōu)勢(shì)但通常需要更多的數(shù)據(jù)和更大的模型才能達(dá)到理想效果。有一個(gè)常見(jiàn)的誤區(qū)是認(rèn)為GPT什么都能做BERT只能做理解。實(shí)際上BERT也可以通過(guò)一些技巧來(lái)做生成比如用Masked Language Model的方式做完形填空式的生成或者用Seq2Seq的方式把BERT作為Encoder接一個(gè)Decoder。但這些方案的效果通常不如直接用GPT或者T5這樣的模型。反過(guò)來(lái)GPT也可以通過(guò)微調(diào)來(lái)做分類任務(wù)但效果通常不如BERT因?yàn)镚PT的單向注意力在理解任務(wù)上天然吃虧。所以選型的時(shí)候關(guān)鍵是要看你的任務(wù)類型理解類任務(wù)優(yōu)先考慮BERT及其變體生成類任務(wù)優(yōu)先考慮GPT及其變體。4. 微調(diào)方式與實(shí)操要點(diǎn)4.1 BERT微調(diào)的典型流程BERT的微調(diào)流程相對(duì)標(biāo)準(zhǔn)化。以文本分類為例基本步驟是這樣的首先加載預(yù)訓(xùn)練的BERT模型然后在BERT的輸出層上面接一個(gè)分類頭通常是一個(gè)全連接層最后用標(biāo)注數(shù)據(jù)對(duì)整個(gè)模型進(jìn)行微調(diào)。具體來(lái)說(shuō)BERT的輸出是每個(gè)token的隱藏狀態(tài)向量。做分類任務(wù)時(shí)通常取[CLS]標(biāo)記對(duì)應(yīng)的隱藏狀態(tài)作為整個(gè)序列的表示然后把這個(gè)向量輸入到一個(gè)全連接層輸出類別概率。微調(diào)的時(shí)候?qū)W習(xí)率通常設(shè)置得比較小比如2e-5到5e-5之間因?yàn)轭A(yù)訓(xùn)練模型的參數(shù)已經(jīng)比較好了太大的學(xué)習(xí)率會(huì)破壞已經(jīng)學(xué)到的知識(shí)。Batch size通常設(shè)置在16到32之間訓(xùn)練輪數(shù)一般3到5輪就夠了。如果數(shù)據(jù)量比較小可以適當(dāng)增加訓(xùn)練輪數(shù)但要小心過(guò)擬合。我自己的經(jīng)驗(yàn)是在數(shù)據(jù)量少于5000條的時(shí)候凍結(jié)BERT的前幾層往往能帶來(lái)更穩(wěn)定的效果因?yàn)榈讓訉W(xué)到的是一些通用的語(yǔ)言特征不需要針對(duì)特定任務(wù)做太多調(diào)整。4.2 GPT微調(diào)的典型流程GPT的微調(diào)流程和BERT類似但有一些細(xì)節(jié)上的差異。以文本生成為例你需要把輸入和輸出拼接成一個(gè)序列然后用自回歸的方式計(jì)算損失。比如做摘要任務(wù)輸入是原文輸出是摘要你可以把原文和摘要用特殊標(biāo)記分隔開(kāi)然后讓模型學(xué)習(xí)從原文生成摘要。GPT微調(diào)的學(xué)習(xí)率通常比BERT稍大一些因?yàn)樯扇蝿?wù)需要模型做出更大的調(diào)整。但也不能太大否則容易導(dǎo)致生成結(jié)果不穩(wěn)定。我一般會(huì)從1e-5開(kāi)始試如果效果不好再逐步調(diào)整。另一個(gè)需要注意的點(diǎn)是GPT微調(diào)時(shí)序列長(zhǎng)度往往比BERT更長(zhǎng)因?yàn)樯扇蝿?wù)通常需要更長(zhǎng)的上下文。這就對(duì)顯存提出了更高的要求。如果顯存不夠可以考慮用梯度累積來(lái)模擬更大的batch size或者用混合精度訓(xùn)練來(lái)減少顯存占用。4.3 微調(diào)中的常見(jiàn)坑與規(guī)避方法第一個(gè)坑是學(xué)習(xí)率設(shè)置不當(dāng)。太大的學(xué)習(xí)率會(huì)導(dǎo)致模型在微調(diào)初期就發(fā)散太小的學(xué)習(xí)率又會(huì)導(dǎo)致收斂太慢。我的建議是先用一個(gè)較小的學(xué)習(xí)率跑幾輪觀察loss的變化趨勢(shì)如果loss下降太慢再適當(dāng)調(diào)大。第二個(gè)坑是數(shù)據(jù)預(yù)處理不一致。BERT和GPT都有自己的tokenizer微調(diào)時(shí)必須用和預(yù)訓(xùn)練時(shí)相同的tokenizer否則模型看到的token分布和預(yù)訓(xùn)練時(shí)不一樣效果會(huì)大打折扣。另外特殊標(biāo)記如[CLS]、[SEP]、[MASK]的使用也要和預(yù)訓(xùn)練時(shí)保持一致。第三個(gè)坑是過(guò)擬合。預(yù)訓(xùn)練模型參數(shù)量很大在小數(shù)據(jù)集上微調(diào)很容易過(guò)擬合。常用的應(yīng)對(duì)方法包括早停、權(quán)重衰減、Dropout、數(shù)據(jù)增強(qiáng)等。我自己的經(jīng)驗(yàn)是在數(shù)據(jù)量小于10000條的時(shí)候早停是最簡(jiǎn)單有效的方法。第四個(gè)坑是顯存不足。BERT-large和GPT-2以上的模型對(duì)顯存要求比較高。如果顯存不夠可以嘗試減小batch size、縮短序列長(zhǎng)度、使用梯度檢查點(diǎn)、或者用混合精度訓(xùn)練。這些方法可以在幾乎不損失效果的前提下顯著降低顯存占用。5. 實(shí)際項(xiàng)目中的選型建議與性能對(duì)比5.1 不同任務(wù)類型下的模型選擇在實(shí)際項(xiàng)目中選型的第一原則是看任務(wù)類型。如果是文本分類、情感分析、命名實(shí)體識(shí)別、抽取式問(wèn)答這類判別式任務(wù)BERT及其變體如RoBERTa、ALBERT、DistilBERT通常是首選。如果是文本生成、對(duì)話系統(tǒng)、摘要生成、機(jī)器翻譯這類生成式任務(wù)GPT及其變體如GPT-2、GPT-3、以及各種開(kāi)源復(fù)現(xiàn)版本更有優(yōu)勢(shì)。如果是既需要理解又需要生成的任務(wù)比如生成式問(wèn)答或者對(duì)話摘要可以考慮T5、BART這類Encoder-Decoder架構(gòu)的模型。它們結(jié)合了BERT的雙向編碼能力和GPT的生成能力在很多任務(wù)上表現(xiàn)都很不錯(cuò)。5.2 推理速度與部署成本的權(quán)衡BERT-base在GPU上的推理速度大約是一次前向傳播幾毫秒到幾十毫秒具體取決于序列長(zhǎng)度和硬件配置。GPT-2的推理速度因?yàn)橐曰貧w地一個(gè)詞一個(gè)詞生成所以會(huì)慢很多生成100個(gè)詞可能需要幾百毫秒到幾秒。如果對(duì)推理速度有要求可以考慮模型蒸餾和量化。DistilBERT是BERT的一個(gè)蒸餾版本參數(shù)量減少了40%推理速度提升了60%但效果只下降了不到3%。量化可以把模型參數(shù)從FP32降到INT8推理速度可以提升2到4倍顯存占用減少到原來(lái)的四分之一。部署成本方面BERT-base可以在單張消費(fèi)級(jí)GPU上輕松部署GPT-2的small版本也可以但GPT-2的XL版本或者更大的模型就需要多卡或者更專業(yè)的硬件了。5.3 小樣本場(chǎng)景下的表現(xiàn)差異在小樣本場(chǎng)景下BERT通常比GPT更有優(yōu)勢(shì)因?yàn)锽ERT的微調(diào)方式更適合利用少量標(biāo)注數(shù)據(jù)。你只需要幾百條標(biāo)注數(shù)據(jù)就能把BERT微調(diào)到不錯(cuò)的效果。GPT在小樣本場(chǎng)景下也有一定的能力特別是GPT-3展現(xiàn)出的少樣本學(xué)習(xí)能力但那是建立在1750億參數(shù)的基礎(chǔ)上的。如果你用的是GPT-2這樣規(guī)模的模型小樣本場(chǎng)景下的表現(xiàn)通常不如BERT。有一個(gè)折中的方案是用BERT做特征提取然后把提取的特征輸入到一個(gè)簡(jiǎn)單的分類器如邏輯回歸或SVM里。這種方法在標(biāo)注數(shù)據(jù)極少比如幾十條的時(shí)候特別有用因?yàn)锽ERT的參數(shù)不需要更新避免了過(guò)擬合的風(fēng)險(xiǎn)。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 微調(diào)后效果不升反降怎么辦這是最常見(jiàn)的問(wèn)題之一?？赡艿脑蛴袔讉€(gè)學(xué)習(xí)率太大、訓(xùn)練輪數(shù)太多、數(shù)據(jù)預(yù)處理有問(wèn)題、或者預(yù)訓(xùn)練模型和任務(wù)不匹配。排查步驟是這樣的首先檢查學(xué)習(xí)率試著降低一個(gè)數(shù)量級(jí)看看效果有沒(méi)有改善。然后檢查訓(xùn)練輪數(shù)如果訓(xùn)練loss在下降但驗(yàn)證loss在上升說(shuō)明過(guò)擬合了需要早停。接著檢查數(shù)據(jù)預(yù)處理確保tokenizer的使用和預(yù)訓(xùn)練時(shí)一致特殊標(biāo)記的位置正確。最后檢查預(yù)訓(xùn)練模型的選擇如果你用的是中文BERT但數(shù)據(jù)是英文的效果肯定不好。6.2 生成結(jié)果重復(fù)或不通順怎么調(diào)GPT生成重復(fù)內(nèi)容是一個(gè)經(jīng)典問(wèn)題。常見(jiàn)的原因包括解碼策略不當(dāng)、模型過(guò)擬合、或者輸入提示不夠明確。解決方法有幾種一是調(diào)整解碼策略用Top-k采樣或Top-p采樣代替貪心搜索增加生成的多樣性。二是加入重復(fù)懲罰對(duì)已經(jīng)生成過(guò)的詞降低其概率。三是調(diào)整溫度參數(shù)溫度越高生成越隨機(jī)溫度越低生成越保守。四是檢查訓(xùn)練數(shù)據(jù)如果訓(xùn)練數(shù)據(jù)本身就有很多重復(fù)內(nèi)容模型學(xué)到的就是重復(fù)。6.3 顯存不夠用的幾種解決方案顯存不夠用是實(shí)操中最常遇到的問(wèn)題。解決方案按優(yōu)先級(jí)排列第一減小batch size這是最簡(jiǎn)單直接的。第二縮短序列長(zhǎng)度很多任務(wù)不需要用最大序列長(zhǎng)度。第三使用梯度累積用多個(gè)小batch模擬一個(gè)大batch。第四使用混合精度訓(xùn)練FP16可以節(jié)省大約一半的顯存。第五使用梯度檢查點(diǎn)用計(jì)算時(shí)間換顯存空間。第六使用模型并行或數(shù)據(jù)并行把模型或數(shù)據(jù)分散到多張GPU上。6.4 預(yù)訓(xùn)練模型加載失敗的排查思路加載預(yù)訓(xùn)練模型失敗通常有幾種原因模型文件下載不完整、模型版本和代碼版本不匹配、緩存路徑有問(wèn)題、或者網(wǎng)絡(luò)問(wèn)題導(dǎo)致下載中斷。排查的時(shí)候首先檢查模型文件是否完整可以對(duì)比文件大小和官方提供的大小。然后檢查代碼庫(kù)的版本不同版本的代碼可能對(duì)模型文件的格式要求不一樣。接著檢查緩存路徑有時(shí)候緩存滿了或者權(quán)限不對(duì)也會(huì)導(dǎo)致加載失敗。最后如果是在線加載確保網(wǎng)絡(luò)連接穩(wěn)定或者考慮先把模型文件下載到本地再加載。7. 一些實(shí)操中的個(gè)人體會(huì)寫了這么多最后分享幾個(gè)我在實(shí)際項(xiàng)目里積累的小經(jīng)驗(yàn)。第一個(gè)是關(guān)于學(xué)習(xí)率的我習(xí)慣用一個(gè)非常小的學(xué)習(xí)率比如1e-5先跑一輪看看loss能不能正常下降如果能再逐步調(diào)大。這樣雖然多花了一點(diǎn)時(shí)間但能避免一開(kāi)始就發(fā)散的情況。第二個(gè)是關(guān)于數(shù)據(jù)預(yù)處理的我強(qiáng)烈建議在微調(diào)之前先把tokenizer的輸出打印出來(lái)看看。很多時(shí)候效果不好就是因?yàn)閠okenizer的使用有問(wèn)題比如特殊標(biāo)記沒(méi)加對(duì)、序列截?cái)喾绞讲粚?duì)、padding策略不對(duì)。這些問(wèn)題在代碼里不容易發(fā)現(xiàn)但打印出來(lái)一看就清楚了。第三個(gè)是關(guān)于模型選擇的不要盲目追求大模型。BERT-base在大多數(shù)任務(wù)上已經(jīng)足夠好了GPT-2的small版本也能生成不錯(cuò)的內(nèi)容。大模型帶來(lái)的效果提升往往沒(méi)有想象中那么大但部署成本和推理時(shí)間卻會(huì)顯著增加。先用小模型快速迭代等確實(shí)遇到瓶頸了再考慮換大模型。第四個(gè)是關(guān)于評(píng)估的一定要用獨(dú)立的驗(yàn)證集和測(cè)試集不要用訓(xùn)練集來(lái)評(píng)估效果。我見(jiàn)過(guò)太多人因?yàn)橛糜?xùn)練集評(píng)估而高估了模型的效果上線之后才發(fā)現(xiàn)問(wèn)題。另外評(píng)估指標(biāo)要選對(duì)分類任務(wù)用準(zhǔn)確率、F1、AUC生成任務(wù)用BLEU、ROUGE、Perplexity不同任務(wù)適合的指標(biāo)不一樣。這個(gè)系列寫到第七篇基本上把Transformer、BERT和GPT的核心內(nèi)容都覆蓋到了。如果你是從第一篇一路看過(guò)來(lái)的現(xiàn)在應(yīng)該對(duì)這套技術(shù)體系有了比較完整的認(rèn)識(shí)。接下來(lái)如果要深入可以考慮的方向包括更高效的注意力機(jī)制、更大規(guī)模的預(yù)訓(xùn)練、多模態(tài)融合、以及針對(duì)特定領(lǐng)域的微調(diào)策略。每一個(gè)方向都有很多值得探索的內(nèi)容后續(xù)有機(jī)會(huì)再慢慢展開(kāi)。 BERT與GPT深度對(duì)比：架構(gòu)、預(yù)訓(xùn)練目標(biāo)與微調(diào)選型指南
1. 從標(biāo)題說(shuō)起為什么BERT和GPT值得反復(fù)拆解“Transformer BERT 與 GPT七”這個(gè)標(biāo)題一看就是某個(gè)系列文章的第七篇。能寫到第七篇說(shuō)明前面六篇已經(jīng)把Transformer的基礎(chǔ)架構(gòu)、自注意力機(jī)制、多頭注意力的計(jì)算細(xì)節(jié)、位置編碼的來(lái)龍去脈、Encoder-Decoder的整體框架都講得差不多了。到了第七篇核心話題自然要落到BERT和GPT這兩個(gè)最具代表性的預(yù)訓(xùn)練語(yǔ)言模型上而且大概率是要做一次系統(tǒng)性的對(duì)比和深度拆解。我接觸Transformer這套東西也有幾年了從最開(kāi)始看Attention is All You Need那篇論文一頭霧水到后來(lái)自己動(dòng)手復(fù)現(xiàn)、微調(diào)、部署踩過(guò)的坑不算少。這個(gè)系列能寫到第七篇說(shuō)明作者是真的在認(rèn)真梳理這條技術(shù)脈絡(luò)。而BERT和GPT恰恰是Transformer架構(gòu)往兩個(gè)不同方向演化的典型代表——一個(gè)走的是雙向編碼的路子一個(gè)走的是自回歸生成的路子。把這兩個(gè)模型放在一起對(duì)比基本上就能把預(yù)訓(xùn)練語(yǔ)言模型的核心設(shè)計(jì)思路摸清楚了。這篇文章適合誰(shuí)看如果你已經(jīng)了解了Transformer的基本結(jié)構(gòu)知道Self-Attention是怎么回事但對(duì)BERT和GPT的區(qū)別還停留在“一個(gè)用Encoder一個(gè)用Decoder”這種粗淺認(rèn)知上那這篇內(nèi)容就是為你準(zhǔn)備的。如果你正在做NLP相關(guān)的項(xiàng)目需要選型預(yù)訓(xùn)練模型或者想自己動(dòng)手微調(diào)一個(gè)模型來(lái)解決具體問(wèn)題那這篇文章里的對(duì)比分析和實(shí)操建議也能幫你少走彎路。再退一步哪怕你只是對(duì)這兩個(gè)模型的工作原理感到好奇想知道它們?yōu)槭裁茨苓@么強(qiáng)這篇文章也會(huì)用盡量通俗的方式把核心邏輯講清楚。我寫這個(gè)系列的一貫原則是不堆公式不抄論文盡量用從業(yè)者的視角把“為什么這么設(shè)計(jì)”和“實(shí)際用起來(lái)是什么感覺(jué)”講明白。第七篇作為BERT和GPT的專題對(duì)比會(huì)從架構(gòu)差異、預(yù)訓(xùn)練目標(biāo)、訓(xùn)練數(shù)據(jù)、微調(diào)方式、實(shí)際表現(xiàn)、適用場(chǎng)景這幾個(gè)維度逐一展開(kāi)中間穿插一些我自己在項(xiàng)目里積累的經(jīng)驗(yàn)和踩過(guò)的坑。2. BERT和GPT的架構(gòu)差異到底在哪2.1 一個(gè)用Encoder一個(gè)用Decoder但這意味著什么很多人第一次接觸BERT和GPT的時(shí)候記住的第一句話就是“BERT用的是Transformer的EncoderGPT用的是Decoder”。這話沒(méi)錯(cuò)但只說(shuō)到了表面。真正重要的是Encoder和Decoder在結(jié)構(gòu)上的差異直接決定了這兩個(gè)模型能做什么、不能做什么。Transformer的Encoder是由多個(gè)相同的層堆疊而成的每一層里面包含一個(gè)多頭自注意力模塊和一個(gè)前饋神經(jīng)網(wǎng)絡(luò)模塊每個(gè)模塊后面都跟著殘差連接和層歸一化。關(guān)鍵在于Encoder的自注意力是雙向的——也就是說(shuō)在處理某個(gè)位置的詞時(shí)它可以同時(shí)看到左邊和右邊的所有詞。這種雙向性讓Encoder能夠捕捉到完整的上下文信息非常適合做理解類的任務(wù)。Decoder的結(jié)構(gòu)稍微復(fù)雜一點(diǎn)。它同樣由多個(gè)層堆疊而成但每一層里面有三個(gè)子模塊一個(gè)帶掩碼的多頭自注意力模塊、一個(gè)交叉注意力模塊用于關(guān)注Encoder的輸出、以及一個(gè)前饋神經(jīng)網(wǎng)絡(luò)模塊。帶掩碼的自注意力是Decoder的核心特征——它通過(guò)一個(gè)上三角矩陣把未來(lái)位置的注意力權(quán)重置為負(fù)無(wú)窮經(jīng)過(guò)Softmax之后就變成了零從而確保模型在預(yù)測(cè)第t個(gè)詞的時(shí)候只能看到前t-1個(gè)詞看不到后面的內(nèi)容。這種單向性也叫自回歸特性讓Decoder天生適合做生成任務(wù)。GPT系列用的就是Decoder結(jié)構(gòu)而且是只用了Decoder沒(méi)有Encoder部分所以也沒(méi)有交叉注意力模塊。BERT用的是Encoder結(jié)構(gòu)而且是只用了Encoder沒(méi)有Decoder部分。這種“各取一半”的設(shè)計(jì)思路背后其實(shí)是對(duì)不同任務(wù)需求的精準(zhǔn)回應(yīng)。2.2 雙向注意力與單向注意力的本質(zhì)區(qū)別雙向注意力和單向注意力的區(qū)別用生活化的類比來(lái)說(shuō)就是BERT像是一個(gè)可以反復(fù)閱讀整篇文章的讀者讀完之后對(duì)文章的理解是全局的、完整的GPT像是一個(gè)只能從左到右逐字閱讀的讀者每讀到一個(gè)新詞只能基于前面已經(jīng)讀過(guò)的內(nèi)容來(lái)理解當(dāng)前這個(gè)詞。這個(gè)區(qū)別帶來(lái)的影響是根本性的。BERT在做掩碼語(yǔ)言模型任務(wù)時(shí)可以同時(shí)利用被掩碼詞左邊和右邊的信息來(lái)預(yù)測(cè)這個(gè)詞所以它對(duì)上下文的理解更加充分。GPT在做自回歸語(yǔ)言模型任務(wù)時(shí)只能利用左邊的信息來(lái)預(yù)測(cè)下一個(gè)詞所以它更擅長(zhǎng)的是“根據(jù)前文生成后文”這種能力。但這里有一個(gè)容易被忽略的點(diǎn)GPT的單向注意力并不意味著它的理解能力就一定比BERT差。實(shí)際上通過(guò)大規(guī)模預(yù)訓(xùn)練GPT也學(xué)到了非常豐富的語(yǔ)言知識(shí)只不過(guò)這些知識(shí)是以“生成式”的方式編碼在模型參數(shù)里的。而BERT的雙向注意力也不意味著它就能直接用來(lái)做生成——因?yàn)樗陬A(yù)訓(xùn)練階段沒(méi)有學(xué)習(xí)過(guò)“根據(jù)前文生成后文”這種模式所以直接用BERT來(lái)做文本生成效果通常不理想。2.3 模型規(guī)模與層數(shù)設(shè)計(jì)的取舍BERT-base有12層Encoder隱藏層維度768注意力頭數(shù)12總參數(shù)量約1.1億。BERT-large有24層隱藏層維度1024注意力頭數(shù)16總參數(shù)量約3.4億。GPT-2的small版本有12層Decoder隱藏層維度768注意力頭數(shù)12參數(shù)量約1.17億GPT-2的XL版本有48層隱藏層維度1600注意力頭數(shù)25參數(shù)量約15億。到了GPT-3參數(shù)量直接飆到了1750億層數(shù)96隱藏層維度12288注意力頭數(shù)96。這些數(shù)字背后反映的是一個(gè)趨勢(shì)GPT系列在模型規(guī)模上的擴(kuò)張比BERT系列激進(jìn)得多。BERT-large在2018年發(fā)布的時(shí)候已經(jīng)算是很大的模型了但GPT-3的規(guī)模是它的500倍以上。這種規(guī)模差異帶來(lái)的能力差異是顯著的——GPT-3展現(xiàn)出了很多BERT不具備的少樣本學(xué)習(xí)能力而BERT在同等規(guī)模下更擅長(zhǎng)做判別式任務(wù)。從實(shí)操角度來(lái)說(shuō)如果你手頭的計(jì)算資源有限BERT-base通常是一個(gè)比較穩(wěn)妥的選擇它在大多數(shù)理解類任務(wù)上的表現(xiàn)已經(jīng)足夠好了而且微調(diào)成本相對(duì)可控。如果你需要做生成類任務(wù)GPT-2的small或medium版本可以作為起點(diǎn)但要注意生成質(zhì)量和模型規(guī)模之間的權(quán)衡。3. 預(yù)訓(xùn)練目標(biāo)的差異決定了能力邊界3.1 BERT的掩碼語(yǔ)言模型與下一句預(yù)測(cè)BERT的預(yù)訓(xùn)練用了兩個(gè)任務(wù)Masked Language ModelMLM和Next Sentence PredictionNSP。MLM的做法是隨機(jī)把輸入序列中15%的詞替換成[MASK]標(biāo)記然后讓模型去預(yù)測(cè)這些被掩碼的詞。這15%里面80%替換成[MASK]10%替換成隨機(jī)詞10%保持不變。為什么要這么設(shè)計(jì)因?yàn)槿绻刻鎿Q成[MASK]模型在微調(diào)階段就看不到[MASK]這個(gè)標(biāo)記了會(huì)造成預(yù)訓(xùn)練和微調(diào)之間的不一致。加入隨機(jī)詞和不變?cè)~就是為了讓模型在預(yù)訓(xùn)練階段也能見(jiàn)到正常的詞匯減少這種不一致帶來(lái)的影響。NSP任務(wù)的做法是給模型輸入兩個(gè)句子讓模型判斷第二個(gè)句子是不是第一個(gè)句子的下一句。正樣本是真實(shí)的連續(xù)句子對(duì)負(fù)樣本是從語(yǔ)料中隨機(jī)抽取的句子對(duì)。這個(gè)任務(wù)的目的是讓模型學(xué)會(huì)捕捉句子之間的關(guān)系對(duì)問(wèn)答、自然語(yǔ)言推理這類需要理解句子間關(guān)系的任務(wù)有幫助。但后來(lái)的研究比如RoBERTa發(fā)現(xiàn)NSP任務(wù)其實(shí)并沒(méi)有想象中那么有用甚至可能有害。RoBERTa直接去掉了NSP任務(wù)只保留MLM并且在MLM的細(xì)節(jié)上做了優(yōu)化比如動(dòng)態(tài)掩碼、更大的batch size、更多的訓(xùn)練數(shù)據(jù)結(jié)果在多個(gè)基準(zhǔn)測(cè)試上都超過(guò)了BERT。這說(shuō)明預(yù)訓(xùn)練任務(wù)的設(shè)計(jì)并不是越多越好關(guān)鍵是要和下游任務(wù)的需求匹配。3.2 GPT的自回歸語(yǔ)言模型GPT的預(yù)訓(xùn)練任務(wù)就一個(gè)自回歸語(yǔ)言模型。給定一個(gè)詞序列讓模型預(yù)測(cè)下一個(gè)詞。這個(gè)任務(wù)看起來(lái)很簡(jiǎn)單但它的威力在于當(dāng)模型規(guī)模足夠大、訓(xùn)練數(shù)據(jù)足夠多的時(shí)候模型為了做好“預(yù)測(cè)下一個(gè)詞”這件事不得不學(xué)會(huì)大量的語(yǔ)言知識(shí)、世界知識(shí)和推理能力。GPT的自回歸特性決定了它在生成任務(wù)上的天然優(yōu)勢(shì)。你給它一個(gè)開(kāi)頭它就能順著往下寫而且寫出來(lái)的內(nèi)容在語(yǔ)法和語(yǔ)義上都是連貫的。這種能力在文本摘要、機(jī)器翻譯、對(duì)話生成、代碼生成等任務(wù)上都非常有用。但自回歸語(yǔ)言模型也有一個(gè)明顯的短板它是單向的只能從左到右。這意味著它在做需要雙向上下文理解的任務(wù)時(shí)天然處于劣勢(shì)。比如做閱讀理解你需要同時(shí)看問(wèn)題和文章然后從文章中找答案。GPT的單向注意力讓它在處理這類任務(wù)時(shí)不如BERT高效。3.3 兩種預(yù)訓(xùn)練目標(biāo)的實(shí)際影響從實(shí)際項(xiàng)目經(jīng)驗(yàn)來(lái)看BERT在分類、序列標(biāo)注、抽取式問(wèn)答、自然語(yǔ)言推理這些判別式任務(wù)上的表現(xiàn)通常更好而且微調(diào)需要的標(biāo)注數(shù)據(jù)相對(duì)較少。GPT在文本生成、對(duì)話、摘要、翻譯這些生成式任務(wù)上更有優(yōu)勢(shì)但通常需要更多的數(shù)據(jù)和更大的模型才能達(dá)到理想效果。有一個(gè)常見(jiàn)的誤區(qū)是認(rèn)為GPT什么都能做BERT只能做理解。實(shí)際上BERT也可以通過(guò)一些技巧來(lái)做生成比如用Masked Language Model的方式做完形填空式的生成或者用Seq2Seq的方式把BERT作為Encoder接一個(gè)Decoder。但這些方案的效果通常不如直接用GPT或者T5這樣的模型。反過(guò)來(lái)GPT也可以通過(guò)微調(diào)來(lái)做分類任務(wù)但效果通常不如BERT因?yàn)镚PT的單向注意力在理解任務(wù)上天然吃虧。所以選型的時(shí)候關(guān)鍵是要看你的任務(wù)類型理解類任務(wù)優(yōu)先考慮BERT及其變體生成類任務(wù)優(yōu)先考慮GPT及其變體。4. 微調(diào)方式與實(shí)操要點(diǎn)4.1 BERT微調(diào)的典型流程BERT的微調(diào)流程相對(duì)標(biāo)準(zhǔn)化。以文本分類為例基本步驟是這樣的首先加載預(yù)訓(xùn)練的BERT模型然后在BERT的輸出層上面接一個(gè)分類頭通常是一個(gè)全連接層最后用標(biāo)注數(shù)據(jù)對(duì)整個(gè)模型進(jìn)行微調(diào)。具體來(lái)說(shuō)BERT的輸出是每個(gè)token的隱藏狀態(tài)向量。做分類任務(wù)時(shí)通常取[CLS]標(biāo)記對(duì)應(yīng)的隱藏狀態(tài)作為整個(gè)序列的表示然后把這個(gè)向量輸入到一個(gè)全連接層輸出類別概率。微調(diào)的時(shí)候?qū)W習(xí)率通常設(shè)置得比較小比如2e-5到5e-5之間因?yàn)轭A(yù)訓(xùn)練模型的參數(shù)已經(jīng)比較好了太大的學(xué)習(xí)率會(huì)破壞已經(jīng)學(xué)到的知識(shí)。Batch size通常設(shè)置在16到32之間訓(xùn)練輪數(shù)一般3到5輪就夠了。如果數(shù)據(jù)量比較小可以適當(dāng)增加訓(xùn)練輪數(shù)但要小心過(guò)擬合。我自己的經(jīng)驗(yàn)是在數(shù)據(jù)量少于5000條的時(shí)候凍結(jié)BERT的前幾層往往能帶來(lái)更穩(wěn)定的效果因?yàn)榈讓訉W(xué)到的是一些通用的語(yǔ)言特征不需要針對(duì)特定任務(wù)做太多調(diào)整。4.2 GPT微調(diào)的典型流程GPT的微調(diào)流程和BERT類似但有一些細(xì)節(jié)上的差異。以文本生成為例你需要把輸入和輸出拼接成一個(gè)序列然后用自回歸的方式計(jì)算損失。比如做摘要任務(wù)輸入是原文輸出是摘要你可以把原文和摘要用特殊標(biāo)記分隔開(kāi)然后讓模型學(xué)習(xí)從原文生成摘要。GPT微調(diào)的學(xué)習(xí)率通常比BERT稍大一些因?yàn)樯扇蝿?wù)需要模型做出更大的調(diào)整。但也不能太大否則容易導(dǎo)致生成結(jié)果不穩(wěn)定。我一般會(huì)從1e-5開(kāi)始試如果效果不好再逐步調(diào)整。另一個(gè)需要注意的點(diǎn)是GPT微調(diào)時(shí)序列長(zhǎng)度往往比BERT更長(zhǎng)因?yàn)樯扇蝿?wù)通常需要更長(zhǎng)的上下文。這就對(duì)顯存提出了更高的要求。如果顯存不夠可以考慮用梯度累積來(lái)模擬更大的batch size或者用混合精度訓(xùn)練來(lái)減少顯存占用。4.3 微調(diào)中的常見(jiàn)坑與規(guī)避方法第一個(gè)坑是學(xué)習(xí)率設(shè)置不當(dāng)。太大的學(xué)習(xí)率會(huì)導(dǎo)致模型在微調(diào)初期就發(fā)散太小的學(xué)習(xí)率又會(huì)導(dǎo)致收斂太慢。我的建議是先用一個(gè)較小的學(xué)習(xí)率跑幾輪觀察loss的變化趨勢(shì)如果loss下降太慢再適當(dāng)調(diào)大。第二個(gè)坑是數(shù)據(jù)預(yù)處理不一致。BERT和GPT都有自己的tokenizer微調(diào)時(shí)必須用和預(yù)訓(xùn)練時(shí)相同的tokenizer否則模型看到的token分布和預(yù)訓(xùn)練時(shí)不一樣效果會(huì)大打折扣。另外特殊標(biāo)記如[CLS]、[SEP]、[MASK]的使用也要和預(yù)訓(xùn)練時(shí)保持一致。第三個(gè)坑是過(guò)擬合。預(yù)訓(xùn)練模型參數(shù)量很大在小數(shù)據(jù)集上微調(diào)很容易過(guò)擬合。常用的應(yīng)對(duì)方法包括早停、權(quán)重衰減、Dropout、數(shù)據(jù)增強(qiáng)等。我自己的經(jīng)驗(yàn)是在數(shù)據(jù)量小于10000條的時(shí)候早停是最簡(jiǎn)單有效的方法。第四個(gè)坑是顯存不足。BERT-large和GPT-2以上的模型對(duì)顯存要求比較高。如果顯存不夠可以嘗試減小batch size、縮短序列長(zhǎng)度、使用梯度檢查點(diǎn)、或者用混合精度訓(xùn)練。這些方法可以在幾乎不損失效果的前提下顯著降低顯存占用。5. 實(shí)際項(xiàng)目中的選型建議與性能對(duì)比5.1 不同任務(wù)類型下的模型選擇在實(shí)際項(xiàng)目中選型的第一原則是看任務(wù)類型。如果是文本分類、情感分析、命名實(shí)體識(shí)別、抽取式問(wèn)答這類判別式任務(wù)BERT及其變體如RoBERTa、ALBERT、DistilBERT通常是首選。如果是文本生成、對(duì)話系統(tǒng)、摘要生成、機(jī)器翻譯這類生成式任務(wù)GPT及其變體如GPT-2、GPT-3、以及各種開(kāi)源復(fù)現(xiàn)版本更有優(yōu)勢(shì)。如果是既需要理解又需要生成的任務(wù)比如生成式問(wèn)答或者對(duì)話摘要可以考慮T5、BART這類Encoder-Decoder架構(gòu)的模型。它們結(jié)合了BERT的雙向編碼能力和GPT的生成能力在很多任務(wù)上表現(xiàn)都很不錯(cuò)。5.2 推理速度與部署成本的權(quán)衡BERT-base在GPU上的推理速度大約是一次前向傳播幾毫秒到幾十毫秒具體取決于序列長(zhǎng)度和硬件配置。GPT-2的推理速度因?yàn)橐曰貧w地一個(gè)詞一個(gè)詞生成所以會(huì)慢很多生成100個(gè)詞可能需要幾百毫秒到幾秒。如果對(duì)推理速度有要求可以考慮模型蒸餾和量化。DistilBERT是BERT的一個(gè)蒸餾版本參數(shù)量減少了40%推理速度提升了60%但效果只下降了不到3%。量化可以把模型參數(shù)從FP32降到INT8推理速度可以提升2到4倍顯存占用減少到原來(lái)的四分之一。部署成本方面BERT-base可以在單張消費(fèi)級(jí)GPU上輕松部署GPT-2的small版本也可以但GPT-2的XL版本或者更大的模型就需要多卡或者更專業(yè)的硬件了。5.3 小樣本場(chǎng)景下的表現(xiàn)差異在小樣本場(chǎng)景下BERT通常比GPT更有優(yōu)勢(shì)因?yàn)锽ERT的微調(diào)方式更適合利用少量標(biāo)注數(shù)據(jù)。你只需要幾百條標(biāo)注數(shù)據(jù)就能把BERT微調(diào)到不錯(cuò)的效果。GPT在小樣本場(chǎng)景下也有一定的能力特別是GPT-3展現(xiàn)出的少樣本學(xué)習(xí)能力但那是建立在1750億參數(shù)的基礎(chǔ)上的。如果你用的是GPT-2這樣規(guī)模的模型小樣本場(chǎng)景下的表現(xiàn)通常不如BERT。有一個(gè)折中的方案是用BERT做特征提取然后把提取的特征輸入到一個(gè)簡(jiǎn)單的分類器如邏輯回歸或SVM里。這種方法在標(biāo)注數(shù)據(jù)極少比如幾十條的時(shí)候特別有用因?yàn)锽ERT的參數(shù)不需要更新避免了過(guò)擬合的風(fēng)險(xiǎn)。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 微調(diào)后效果不升反降怎么辦這是最常見(jiàn)的問(wèn)題之一?？赡艿脑蛴袔讉€(gè)學(xué)習(xí)率太大、訓(xùn)練輪數(shù)太多、數(shù)據(jù)預(yù)處理有問(wèn)題、或者預(yù)訓(xùn)練模型和任務(wù)不匹配。排查步驟是這樣的首先檢查學(xué)習(xí)率試著降低一個(gè)數(shù)量級(jí)看看效果有沒(méi)有改善。然后檢查訓(xùn)練輪數(shù)如果訓(xùn)練loss在下降但驗(yàn)證loss在上升說(shuō)明過(guò)擬合了需要早停。接著檢查數(shù)據(jù)預(yù)處理確保tokenizer的使用和預(yù)訓(xùn)練時(shí)一致特殊標(biāo)記的位置正確。最后檢查預(yù)訓(xùn)練模型的選擇如果你用的是中文BERT但數(shù)據(jù)是英文的效果肯定不好。6.2 生成結(jié)果重復(fù)或不通順怎么調(diào)GPT生成重復(fù)內(nèi)容是一個(gè)經(jīng)典問(wèn)題。常見(jiàn)的原因包括解碼策略不當(dāng)、模型過(guò)擬合、或者輸入提示不夠明確。解決方法有幾種一是調(diào)整解碼策略用Top-k采樣或Top-p采樣代替貪心搜索增加生成的多樣性。二是加入重復(fù)懲罰對(duì)已經(jīng)生成過(guò)的詞降低其概率。三是調(diào)整溫度參數(shù)溫度越高生成越隨機(jī)溫度越低生成越保守。四是檢查訓(xùn)練數(shù)據(jù)如果訓(xùn)練數(shù)據(jù)本身就有很多重復(fù)內(nèi)容模型學(xué)到的就是重復(fù)。6.3 顯存不夠用的幾種解決方案顯存不夠用是實(shí)操中最常遇到的問(wèn)題。解決方案按優(yōu)先級(jí)排列第一減小batch size這是最簡(jiǎn)單直接的。第二縮短序列長(zhǎng)度很多任務(wù)不需要用最大序列長(zhǎng)度。第三使用梯度累積用多個(gè)小batch模擬一個(gè)大batch。第四使用混合精度訓(xùn)練FP16可以節(jié)省大約一半的顯存。第五使用梯度檢查點(diǎn)用計(jì)算時(shí)間換顯存空間。第六使用模型并行或數(shù)據(jù)并行把模型或數(shù)據(jù)分散到多張GPU上。6.4 預(yù)訓(xùn)練模型加載失敗的排查思路加載預(yù)訓(xùn)練模型失敗通常有幾種原因模型文件下載不完整、模型版本和代碼版本不匹配、緩存路徑有問(wèn)題、或者網(wǎng)絡(luò)問(wèn)題導(dǎo)致下載中斷。排查的時(shí)候首先檢查模型文件是否完整可以對(duì)比文件大小和官方提供的大小。然后檢查代碼庫(kù)的版本不同版本的代碼可能對(duì)模型文件的格式要求不一樣。接著檢查緩存路徑有時(shí)候緩存滿了或者權(quán)限不對(duì)也會(huì)導(dǎo)致加載失敗。最后如果是在線加載確保網(wǎng)絡(luò)連接穩(wěn)定或者考慮先把模型文件下載到本地再加載。7. 一些實(shí)操中的個(gè)人體會(huì)寫了這么多最后分享幾個(gè)我在實(shí)際項(xiàng)目里積累的小經(jīng)驗(yàn)。第一個(gè)是關(guān)于學(xué)習(xí)率的我習(xí)慣用一個(gè)非常小的學(xué)習(xí)率比如1e-5先跑一輪看看loss能不能正常下降如果能再逐步調(diào)大。這樣雖然多花了一點(diǎn)時(shí)間但能避免一開(kāi)始就發(fā)散的情況。第二個(gè)是關(guān)于數(shù)據(jù)預(yù)處理的我強(qiáng)烈建議在微調(diào)之前先把tokenizer的輸出打印出來(lái)看看。很多時(shí)候效果不好就是因?yàn)閠okenizer的使用有問(wèn)題比如特殊標(biāo)記沒(méi)加對(duì)、序列截?cái)喾绞讲粚?duì)、padding策略不對(duì)。這些問(wèn)題在代碼里不容易發(fā)現(xiàn)但打印出來(lái)一看就清楚了。第三個(gè)是關(guān)于模型選擇的不要盲目追求大模型。BERT-base在大多數(shù)任務(wù)上已經(jīng)足夠好了GPT-2的small版本也能生成不錯(cuò)的內(nèi)容。大模型帶來(lái)的效果提升往往沒(méi)有想象中那么大但部署成本和推理時(shí)間卻會(huì)顯著增加。先用小模型快速迭代等確實(shí)遇到瓶頸了再考慮換大模型。第四個(gè)是關(guān)于評(píng)估的一定要用獨(dú)立的驗(yàn)證集和測(cè)試集不要用訓(xùn)練集來(lái)評(píng)估效果。我見(jiàn)過(guò)太多人因?yàn)橛糜?xùn)練集評(píng)估而高估了模型的效果上線之后才發(fā)現(xiàn)問(wèn)題。另外評(píng)估指標(biāo)要選對(duì)分類任務(wù)用準(zhǔn)確率、F1、AUC生成任務(wù)用BLEU、ROUGE、Perplexity不同任務(wù)適合的指標(biāo)不一樣。這個(gè)系列寫到第七篇基本上把Transformer、BERT和GPT的核心內(nèi)容都覆蓋到了。如果你是從第一篇一路看過(guò)來(lái)的現(xiàn)在應(yīng)該對(duì)這套技術(shù)體系有了比較完整的認(rèn)識(shí)。接下來(lái)如果要深入可以考慮的方向包括更高效的注意力機(jī)制、更大規(guī)模的預(yù)訓(xùn)練、多模態(tài)融合、以及針對(duì)特定領(lǐng)域的微調(diào)策略。每一個(gè)方向都有很多值得探索的內(nèi)容后續(xù)有機(jī)會(huì)再慢慢展開(kāi)。