簡介基于BERT模型的情感分析項目旨在對IMDB影評進(jìn)行正面或負(fù)面情感的二分類面向自然語言處理入門者、課程設(shè)計或畢業(yè)設(shè)計選題的學(xué)生也適合作為NLP教學(xué)中的配套實戰(zhàn)案例。壓縮包體積僅4KB共包含5個文件其中4個為Python腳本1個為使用說明文檔腳本分工明確分別覆蓋數(shù)據(jù)準(zhǔn)備與核心分類邏輯、模型訓(xùn)練流程、GPU環(huán)境測試以及PyTorch框架下的推理實現(xiàn)說明文檔則提供運行步驟與環(huán)境配置注意事項便于快速搭建實驗環(huán)境。所有源碼均經(jīng)過本地編譯并通過運行項目難度適中內(nèi)容經(jīng)過助教審定適合在理解BERT原理后通過實際代碼熟悉tokenizer、微調(diào)、評估等完整環(huán)節(jié)。項目結(jié)構(gòu)緊湊入口清晰便于按需修改超參數(shù)與數(shù)據(jù)路徑目前已有226人學(xué)習(xí)下載作為一份輕量級、即刻可跑的參考實現(xiàn)能夠幫助讀者減少環(huán)境配置彎路更專注于模型與算法本身。1. 從一條IMDB影評到正面/負(fù)面標(biāo)簽這個BERT項目真正值得跑的地方第一次解壓這個“基于BERT模型的情感分析項目”時我預(yù)想的是看到一整套手寫Transformer結(jié)果打開code.py發(fā)現(xiàn)核心代碼比想象中短很多項目并沒有從零實現(xiàn)BERT而是借助 Transformers 生態(tài)里的BertForSequenceClassification加載預(yù)訓(xùn)練權(quán)重后在IMDB影評上做二分類微調(diào)。它解決的問題很實際給定一段英文影評文本判斷它是正面還是負(fù)面。這個項目難度適中特別適合正在做NLP課程任務(wù)、或者想從 TF-IDF 和 Word2Vec 時代跨到預(yù)訓(xùn)練模型時代的開發(fā)者。源碼里文件分工也清晰兩個環(huán)境自檢腳本負(fù)責(zé)確認(rèn)PyTorch和GPU狀態(tài)code.py負(fù)責(zé)訓(xùn)練Examination.py負(fù)責(zé)推理驗證。跑通它等于把BERT微調(diào)的標(biāo)準(zhǔn)流程完整走了一遍。2. 項目結(jié)構(gòu)與技術(shù)選型壓縮包里那五個文件分別干什么解壓之后看到的文件數(shù)量不多一個主目錄名BERT-IMDB-analysiser-main下面五個獨立文件外加一個使用說明.txt。這里有個容易被忽略的細(xì)節(jié)GPU TEST.py和PyTorch TEST.py這兩個文件名里帶了空格在命令行里執(zhí)行時會被拆成多個參數(shù)所以后面所有命令都得給文件名加雙引號。不用急著打開代碼從文件命名就能看出一條作業(yè)流程環(huán)境自檢在前訓(xùn)練在后推理驗證收尾。這種編排方式在課程源碼包里很常見比把全部邏輯塞進(jìn)一個main.py更好排查——哪一步掛了就去對應(yīng)的文件里看。2.1 文件職責(zé)拆解從環(huán)境檢測到推理驗證文件職責(zé)什么時候運行使用說明.txt記錄運行順序、環(huán)境要求、常見報錯說明全程參照PyTorch TEST.py驗證PyTorch能否正常創(chuàng)建張量并完成計算第一次運行前GPU TEST.py檢測CUDA版本、顯卡是否可用打印顯存信息第一次運行前code.py核心主流程加載IMDB數(shù)據(jù)、tokenizer編碼、BERT微調(diào)、保存模型環(huán)境自檢通過后Examination.py加載訓(xùn)練好的模型對測試句子做預(yù)測并輸出標(biāo)簽與概率訓(xùn)練完成之后PyTorch TEST.py和GPU TEST.py這兩個腳本本質(zhì)上是環(huán)境哨兵。前者會做一次最簡單的張量運算如果這里就報錯說明 PyTorch 本身沒裝好跟BERT一點關(guān)系都沒有后者用來確認(rèn)你裝的 PyTorch 是否帶CUDA支持。很多課程作業(yè)翻車都不是模型問題而是環(huán)境問題把檢查腳本單獨拆出來是這套源碼里比較實用的設(shè)計。code.py承擔(dān)了完整流程數(shù)據(jù)集讀入、tokenizer、微調(diào)、保存。按常見寫法它內(nèi)部大概是“數(shù)據(jù)下載 - 編碼 - 構(gòu)造 DataLoader - 加載 BertForSequenceClassification - 兩層 for 循環(huán)訓(xùn)練 - save_pretrained”這一段主線。Examination.py不需要重新訓(xùn)練它讀入code.py保存的模型目錄對一段文本做推理打印結(jié)果是positive還是negative以及對應(yīng)的概率。如果把這幾個文件全部打開對比你會發(fā)現(xiàn)重復(fù)導(dǎo)入的代碼不少比如兩個測試腳本里都有import torchcode.py里大概率也有同樣的片段。這是課程級源碼的正常狀態(tài)可讀性優(yōu)先于 DRYDont Repeat Yourself二次開發(fā)時不要一上來就重構(gòu)先跑通再合并。這套文件結(jié)構(gòu)的真正價值在于把一個大任務(wù)拆成了三個階段驗證環(huán)境、訓(xùn)練、推理。對開發(fā)者來說最大的收益是出錯時定位范圍小環(huán)境階段報錯不動模型代碼訓(xùn)練階段報錯不動數(shù)據(jù)代碼。很多項目喜歡把所有內(nèi)容塞進(jìn)一個入口一旦報錯就要從頭到尾找這套源碼的結(jié)構(gòu)明顯更適合邊跑邊學(xué)。2.2 技術(shù)選型拆解為什么是PyTorch Transformers BERT技術(shù)組件在這個項目里的作用BERTbert-base-uncased預(yù)訓(xùn)練語言模型提供上下文相關(guān)的語義表示BertForSequenceClassificationBERT加分類頭的完整封裝直接輸出二分類 logitsPyTorch張量運算、DataLoader、反向傳播的底層框架Transformers 庫統(tǒng)一提供模型、tokenizer、保存與加載 APIIMDB 數(shù)據(jù)集25,000 條訓(xùn)練、25,000 條測試的正面/負(fù)面影評做情感分析有不少路線。傳統(tǒng)一點的做法是 TF-IDF 加邏輯回歸速度快但看不到語義連 “not good” 這種否定都容易判錯。BERT 的方案把每個詞放到整個句子的上下文里去表示“not good” 整體會形成一個強烈負(fù)向的語義向量這是這個項目在效果上能跑出高準(zhǔn)確率的核心原因。舉個例子I loved this movie和I did not love this movie這種句子在詞向量模型里距離可能很近但在 BERT 的 attention 機制里模型能明確看到not對后面情感詞的修飾關(guān)系。選擇BertForSequenceClassification而不是手動再包一層 Linear是因為 Transformers 庫已經(jīng)替你把池化輸出接到分類層了。使用的時候只需要指定num_labels2模型內(nèi)部會自動計算交叉熵?fù)p失訓(xùn)練代碼因此變得很干凈。如果你去看 code.py 的訓(xùn)練部分大概率就是標(biāo)準(zhǔn)的 forward loss.backward optimizer.step 三段式不需要自己寫分類頭。為什么用bert-base-uncased而不是其他模型因為IMDB是英文語料uncased 會把大小寫統(tǒng)一對影評這種任務(wù)影響很小還能減小詞表壓力。如果你以后想換成roberta-base代碼層面幾乎零改動這也是預(yù)訓(xùn)練模型時代選型帶來的擴展性。IMDB 數(shù)據(jù)集本身對個人PC也比較友好單條影評大多一兩句話tokenize 之后長度普遍在 200 以內(nèi)。即使沒有 GPU用 CPU 把max_length限制在 128 也能在可接受時間內(nèi)跑完只是慢。理解這一點后面調(diào)參數(shù)才不至于一上來就選 512。這份源碼是經(jīng)過本地運行驗證的腳本之間配合好了可以連續(xù)跑通不是缺頭缺尾的半成品。3. 環(huán)境準(zhǔn)備與首次運行先跑兩個測試腳本再決定要不要動訓(xùn)練拿到源碼先別急著訓(xùn)練。我的習(xí)慣是把環(huán)境自檢放在第一位這幾步全部通過訓(xùn)練階段報錯就只需要懷疑代碼邏輯不需要再回頭懷疑環(huán)境。3.1 環(huán)境清單與兩個測試腳本先證明你的機器能跑Python 版本建議保持 3.8 以上PyTorch 按你自己的顯卡驅(qū)動裝 CUDA 版沒有顯卡就裝 CPU 版Transformers 庫負(fù)責(zé)模型與 tokenizerdatasets 庫負(fù)責(zé)數(shù)據(jù)讀取。如果是在干凈機器上重建環(huán)境我一般會用一個獨立虛擬環(huán)境把這些裝齊避免污染系統(tǒng) Python。安裝依賴時常見的做法是pip install torch transformers datasets如果在 GPU 機器上建議先去確認(rèn)驅(qū)動支持的 CUDA 版本再安裝對應(yīng)版本的 torch這樣后面能省不少事。依賴裝完先跑第一個測試腳本python PyTorch TEST.py腳本名里的空格不能省這一點值得單獨強調(diào)因為直接復(fù)制文件名去終端執(zhí)行會報“找不到文件”之類的問題。這個腳本的本質(zhì)是讓 PyTorch 做一次張量運算只要它打印出計算結(jié)果說明框架安裝正常。如果出現(xiàn)ModuleNotFoundError: No module named torch說明 torch 根本沒進(jìn)當(dāng)前環(huán)境。再跑第二個python GPU TEST.py它會檢測 CUDA 是否可用、打印顯卡型號和顯存大小。如果顯示 CUDA 不可用通常有兩種可能裝的是 CPU 版 torch或者顯卡驅(qū)動和 CUDA 版本不匹配。這個階段我建議按顯卡驅(qū)動支持的 CUDA 版本重新安裝對應(yīng) torch而不是去降驅(qū)動版本后者容易引起別的軟件連鎖問題。提示這兩個測試腳本全部通過再進(jìn)入訓(xùn)練。任何一個失敗后面訓(xùn)練的所有報錯都可能是同一個原因反復(fù)出現(xiàn)。3.2 跑通主流程code.py訓(xùn)練與關(guān)鍵參數(shù)環(huán)境沒問題就直接執(zhí)行python code.py第一次運行會看到模型權(quán)重下載和數(shù)據(jù)集加載的日志然后進(jìn)入 epoch 循環(huán)。訓(xùn)練過程中每過幾百個 step 會打印一次 loss正常趨勢是從 0.7 附近往下掉到第三個 epoch 末尾應(yīng)該落在 0.2 以下。如果你看到的 loss 一直不降或者反而升高優(yōu)先檢查學(xué)習(xí)率和數(shù)據(jù)標(biāo)簽是否對得上。訓(xùn)練環(huán)節(jié)有幾個參數(shù)決定了最終效果和顯存占用參數(shù)建議值在這個項目里的作用epochs3IMDB 小任務(wù)三輪足夠再多容易過擬合batch_size1616G 顯存下穩(wěn)妥顯存小就改 8learning_rate2e-5BERT 微調(diào)標(biāo)準(zhǔn)學(xué)習(xí)率1e-5 更保守max_length128超過部分截斷影評文本大多足夠用num_labels2與 positive / negative 兩個類別對應(yīng)這里的batch_size16是顯存與訓(xùn)練穩(wěn)定性的權(quán)衡單個 step 在 16G 顯存的單卡上大概占 10G 左右。如果你用 CPU 跑batch_size可以保持 16只是每個 step 會慢很多。max_length調(diào)成 512 能保留更多原文信息但 attention 的顯存占用會顯著上升對IMDB這類短文本收益很小。learning_rate千萬不要用默認(rèn)的 1e-3預(yù)訓(xùn)練模型微調(diào)用大學(xué)習(xí)率很容易把已經(jīng)學(xué)好的語義表示“沖”掉。如果code.py里用的是load_dataset(imdb)這種聯(lián)網(wǎng)加載方式在網(wǎng)絡(luò)不佳或離線環(huán)境下會卡很久。常見做法是提前把IMDB原始數(shù)據(jù)解壓到本地目錄再用data_dir參數(shù)指過去具體的解決方案我在第 5 章展開。訓(xùn)練結(jié)束后會保存一個模型目錄里面至少包括配置文件和權(quán)重文件。最后執(zhí)行推理驗證python Examination.py這個腳本會加載剛才保存的模型目錄對測試句子或測試集做預(yù)測輸出標(biāo)簽和概率。到這里一條“環(huán)境自檢 - 微調(diào) - 預(yù)測”的完整鏈路就通了。如果你中間臨時中斷訓(xùn)練也不用擔(dān)心模型保存一般在全部 epoch 結(jié)束后才執(zhí)行損失的只是已經(jīng)跑掉的進(jìn)程時間如果想隨時保存中間狀態(tài)就得自己在訓(xùn)練循環(huán)里加 checkpoint 邏輯。4. 核心代碼拆解從Tokenizer到softmax的完整鏈路原包里的code.py和Examination.py我不打算逐行貼出來因為兩個文件核心邏輯高度標(biāo)準(zhǔn)化。下面按最常見結(jié)構(gòu)把關(guān)鍵段落重構(gòu)一遍你拿到源碼后可以逐行對照參數(shù)含義是一致的。4.1 數(shù)據(jù)管線Tokenizer與DataLoader怎么搭BERT 不能直接吃原始字符串它要求先把文本切成 token再轉(zhuǎn)成 input_ids 和 attention_mask。這一步由 tokenizer 完成from datasets import load_dataset from transformers import BertTokenizer from torch.utils.data import DataLoader model_name bert-base-uncased tokenizer BertTokenizer.from_pretrained(model_name) def encode(examples): return tokenizer( examples[text], truncationTrue, paddingmax_length, max_length128, ) raw_data load_dataset(imdb) tokenized raw_data.map(encode, batchedTrue) tokenized.set_format(typetorch, columns[input_ids, attention_mask, label]) train_loader DataLoader(tokenized[train], batch_size16, shuffleTrue) test_loader DataLoader(tokenized[test], batch_size64)這段代碼的核心是map(encode, batchedTrue)它會一次性處理整批文本速度比逐條循環(huán)快得多。paddingmax_length的含義是每一條都補齊到 128 的長度這樣 DataLoader 才能拼成規(guī)整的張量truncationTrue用來把過長的影評截斷。這里選擇固定長度 padding而不是動態(tài) padding是為了代碼簡單穩(wěn)定——雖然會浪費一點存儲和算力但對課程級項目來說先求跑通比追求極致效率重要。set_format(typetorch)把數(shù)據(jù)集字段轉(zhuǎn)成 PyTorch 張量訓(xùn)練時可以直接喂給模型。字段里只留了input_ids、attention_mask和label沒有token_type_ids因為單句分類任務(wù)里這個字段全為 0不傳也影響不大。DataLoader 的batch_size訓(xùn)練用 16、測試用 64 是常見做法推理階段不需要計算梯度可以放寬 batch 大小加速評估。4.2 訓(xùn)練循環(huán)BertForSequenceClassification的微調(diào)過程模型加載是這套代碼里最省事的一行from transformers import BertForSequenceClassification, AdamW model BertForSequenceClassification.from_pretrained(model_name, num_labels2) optimizer AdamW(model.parameters(), lr2e-5) model.train() for epoch in range(3): for batch_idx, batch in enumerate(train_loader): outputs model( input_idsbatch[input_ids], attention_maskbatch[attention_mask], labelsbatch[label], ) loss outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() if batch_idx % 500 0: print(fepoch {epoch 1}, step {batch_idx}, loss {loss.item():.4f})from_pretrained做的事情很多下載權(quán)重、加載配置、初始化分類頭。num_labels2會自動在 BERT 輸出之上接一個二分類線性層forward 時傳入labels參數(shù)損失函數(shù)已經(jīng)在模型內(nèi)部算好了不需要在外面手動交叉熵。AdamW是 BERT 微調(diào)場景的標(biāo)準(zhǔn)選擇它把權(quán)重衰減和 Adam 的動量解耦對預(yù)訓(xùn)練模型更友好。學(xué)習(xí)率 2e-5 幾乎是這類任務(wù)的默認(rèn)值如果你發(fā)現(xiàn)訓(xùn)練震蕩可以降到 1e-5。loss.backward()之后必須optimizer.step()再optimizer.zero_grad()順序?qū)懛磿?dǎo)致梯度累加到上一個 batch。這里有個容易忽略的點model.train()會打開 Dropout訓(xùn)練過程中隨機丟棄一部分神經(jīng)元這是防止過擬合的機制。如果直接拿訓(xùn)練模式的模型去做推理預(yù)測結(jié)果會帶隨機性所以 4.3 節(jié)里必須先切換model.eval()。4.3 推理腳本Examination.py如何輸出正面/負(fù)面訓(xùn)練結(jié)束后code.py一般會把模型目錄保存到本地Examination.py再把它加載回來執(zhí)行預(yù)測from transformers import BertTokenizer, BertForSequenceClassification import torch model_dir ./bert-imdb-model tokenizer BertTokenizer.from_pretrained(model_dir) model BertForSequenceClassification.from_pretrained(model_dir) model.eval() label_map {0: negative, 1: positive} def predict(text): inputs tokenizer(text, return_tensorspt, truncationTrue, paddingmax_length, max_length128) with torch.no_grad(): logits model(**inputs).logits prob torch.softmax(logits, dim-1) idx int(torch.argmax(prob[0])) return label_map[idx], float(prob[0][idx]) print(predict(This movie kept me on the edge of my seat.))推理和訓(xùn)練的差異主要在兩點一是torch.no_grad()關(guān)閉梯度追蹤省顯存也加速二是需要手動softmax把 logits 轉(zhuǎn)成概率才能得到一個可解釋的置信度。torch.argmax取出概率最大的下標(biāo)再通過label_map映射成positive或negative。必須提醒的是IMDB 數(shù)據(jù)集的標(biāo)簽定義是 0 對應(yīng)負(fù)面、1 對應(yīng)正面這里不要憑直覺寫反否則整個測試集的準(zhǔn)確率會接近 0。model.eval()這行也省不得Dropout 層在推理時一旦還開著結(jié)果就會出現(xiàn)“同一條文本每次預(yù)測不一樣”的玄學(xué)問題。訓(xùn)練完保存模型時優(yōu)先用save_pretrained它會把config.json和權(quán)重一起保存下次加載才能恢復(fù)分類頭的配置如果只用torch.save(model.state_dict())換一臺機器或者換個腳本加載就很容易丟失模型結(jié)構(gòu)信息。5. 避坑與排查BERTIMDB訓(xùn)練里最常見的問題現(xiàn)場這一章整理的是這類項目里最容易翻車的五個點每一條都是實打?qū)崟ㄗ∪说膯栴}。它們的共性在于基本不是模型結(jié)構(gòu)問題而是環(huán)境、數(shù)據(jù)和工程習(xí)慣問題。逐條對照排查比重新讀一遍BERT論文有用得多。5.1 數(shù)據(jù)集一直卡在 Downloading 不動現(xiàn)象運行code.py后日志長時間停留在 Downloading進(jìn)度條幾乎不前進(jìn)最后報連接錯誤換網(wǎng)絡(luò)重試問題依舊。原因load_dataset(imdb)默認(rèn)配置會在線獲取數(shù)據(jù)集。IMDB 原始數(shù)據(jù)有幾百MB在網(wǎng)絡(luò)不佳或離線環(huán)境下拉取基本不可能完成。解決提前準(zhǔn)備本地數(shù)據(jù)把下載好的 IMDB 原始文件解壓成aclImdb目錄然后改動數(shù)據(jù)加載這一行raw_data load_dataset(imdb, data_dir./aclImdb)這樣datasets庫會直接讀取本地目錄不再走網(wǎng)絡(luò)。模型權(quán)重也一樣先下載bert-base-uncased到本地目錄加載時直接指目錄路徑即可。這條經(jīng)驗后面換大數(shù)據(jù)集同樣適用凡是遇到load_dataset卡住第一反應(yīng)都應(yīng)該改成離線加載。5.2 GPU TEST.py說能用訓(xùn)練卻沒幾輪就OutOfMemoryError現(xiàn)象GPU TEST.py打印顯卡顯存充足訓(xùn)練到第一個 epoch 末尾報CUDA out of memory進(jìn)程直接退出。原因顯存不足通常是參數(shù)組合不當(dāng)。batch_size32加上max_length512attention 矩陣的占用是平方級增長的再大的卡也可能被吃掉。解決先降batch_size到 8 或 16max_length保持 128。如果還想保持大 batch 的穩(wěn)定性可以加梯度累積用時間換顯存optimizer.zero_grad() loss.backward() if (batch_idx 1) % 4 0: optimizer.step() optimizer.zero_grad()這段邏輯的意思是每 4 個 batch 更新一次參數(shù)效果上接近把 batch_size 放大 4 倍但顯存占用沒有同步放大。這是訓(xùn)練腳本里非常實用的顯存降級手段。5.3 訓(xùn)練loss在降Examination.py卻把每條都判成同一個標(biāo)簽現(xiàn)象訓(xùn)練時 loss 從 0.7 降到 0.2看起來一切正常驗證準(zhǔn)確率卻接近 50%或者所有結(jié)果都是同一個標(biāo)簽。原因最常見的是標(biāo)簽映射寫反了。IMDB 里 0 表示 negative、1 表示 positive如果推理腳本里把 0 映射成了 positive那整個結(jié)果就正好反過來。另一個常見原因是推理時忘了model.eval()Dropout 還在隨機丟棄神經(jīng)元輸出自然不穩(wěn)定。解決先確認(rèn)label_map和訓(xùn)練數(shù)據(jù)集真實標(biāo)簽一致label_map {0: negative, 1: positive}如果不確定可以打印訓(xùn)練集里前十條的 label 值驗證一下。推理時統(tǒng)一加model.eval()和torch.no_grad()。保存模型用save_pretrained不要用裸的state_dict這樣配置和映射關(guān)系不會跨文件丟失。5.4 兩個測試腳本都通過訓(xùn)練卻報某個算子版本不支持現(xiàn)象PyTorch TEST.py和GPU TEST.py都輸出正常訓(xùn)練到第一次 forward 時卻報某個算子不存在或版本過舊。原因PyTorch 版本和 Transformers 庫版本不匹配或者環(huán)境里混裝了多套 Python 包讓模型加載到了另一份舊版依賴。解決用一個干凈的虛擬環(huán)境統(tǒng)一安裝避免系統(tǒng)里多套 Python 互相搶包。我一般會在項目跑通后立刻執(zhí)行pip freeze requirements.txt下次重建環(huán)境時直接恢復(fù)雖然笨但最穩(wěn)?？鐧C器遷移已訓(xùn)練好的模型時加載權(quán)重可以先用 CPUmodel BertForSequenceClassification.from_pretrained(model_dir, map_locationcpu)再把模型.to(cuda)移回 GPU。這樣做能把權(quán)重加載問題跟算子版本問題分開排查避免兩個變量混在一起無從下手。5.5 同樣的代碼跑了兩次準(zhǔn)確率差一大截現(xiàn)象兩次訓(xùn)練參數(shù)完全相同第一次準(zhǔn)確率 93%第二次只有 88%波動超出預(yù)期。原因沒有固定隨機種子。DataLoader 的 shuffle、模型里的 Dropout、張量初始化都會帶來隨機性多線程環(huán)境下波動會被放大。解決在訓(xùn)練入口統(tǒng)一固定種子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)需要注意的是固定種子并不能保證結(jié)果完全一致GPU 上某些算子本身有非確定性但設(shè)置之后常見波動會明顯收窄。課程報告里寫“復(fù)現(xiàn)實驗”時這個操作幾乎是必需的。6. 二次開發(fā)把自己的CSV變成新的情感分類任務(wù)項目跑通之后最常見的需求是把IMDB換成自己的數(shù)據(jù)做成一個通用文本分類器。改造點其實很少。6.1 換數(shù)據(jù)源CSV兩列就夠了訓(xùn)練管線對數(shù)據(jù)的要求很簡單一列文本一列標(biāo)簽。準(zhǔn)備一個 CSVtext,label This movie is great!,positive Boring and long,negative然后把load_dataset(imdb)換成from datasets import load_dataset raw load_dataset(csv, data_files./my_reviews.csv, splittrain) raw raw.train_test_split(test_size0.2, seed42) label2id {negative: 0, positive: 1} raw raw.map(lambda x: {label: label2id[x[label]]})Tokenizer 和訓(xùn)練循環(huán)不需要動微調(diào)完就在自己的數(shù)據(jù)上生效了。需要注意 CSV 里不要有多余的空格列l(wèi)abel 大小寫要完全匹配否則 map 階段會直接報 KeyError。6.2 換模型與驗證從BERT到RoBERTa幾乎零成本把所有BertTokenizer和BertForSequenceClassification換成 Auto 類只保留一個model_name變量from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name roberta-base tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2)以后想試distilbert、albert就只改一行。如果任務(wù)從二分類變成三分類positive / neutral / negative把num_labels改成 3label2id加一個鍵模型和訓(xùn)練循環(huán)都不用動。驗證方法上我習(xí)慣先只取原始數(shù)據(jù)的一小部分比如 500 條跑兩個 epoch 觀察 loss 確實在下降再上全量訓(xùn)練。這樣能把配置錯誤擋在大規(guī)模訓(xùn)練之前而不是等一晚上白跑之后才發(fā)現(xiàn)參數(shù)寫錯了。從那以后我每次拿到一個文本分類任務(wù)都會先花幾分鐘跑一遍環(huán)境檢測腳本、確認(rèn)數(shù)據(jù)格式和標(biāo)簽映射再動手改模型。這個順序幫我省掉了無數(shù)次白等訓(xùn)練。希望幫到你。本文還有配套的精品資源點擊獲取