簡介面向深度學(xué)習(xí)與自然語言處理方向的畢業(yè)設(shè)計者這套基于融合對抗與注意力機(jī)制的Bi-LSTM景區(qū)評論情感分析Python項目可完整運(yùn)行覆蓋數(shù)據(jù)標(biāo)注、word2vec詞向量訓(xùn)練、模型訓(xùn)練、情感預(yù)測與評分生成全流程并給出TensorFlow 2.3.0等環(huán)境配置適合課題復(fù)現(xiàn)或畢設(shè)參考。資源共18個文件壓縮包約191KB以4個ipynb和4個py文件為核心另含word2vec詞向量、corpus語料、stopwords停用詞、logs日志及模型保存/加載等配套。代碼分工清晰config.py配置參數(shù)dataSet.py數(shù)據(jù)預(yù)處理tools.py提供序列長度與評價指標(biāo)工具model.py為baseline模型main_load.ipynb和main_save.ipynb分別支持加載預(yù)訓(xùn)練模型和讀取訓(xùn)練數(shù)據(jù)預(yù)測。目前已有249人學(xué)習(xí)下載適合想快速掌握Bi-LSTM融合注意力機(jī)制與對抗訓(xùn)練的文本情感分析學(xué)習(xí)者。1. Bi-LSTM 景區(qū)評論情感分析這份 Python 源碼把詞向量到評價分?jǐn)?shù)全串起來了景區(qū)評論里最常見的一句話是“風(fēng)景不錯但人太多”這類轉(zhuǎn)折句對 Bi-LSTM 景區(qū)評論情感分析來說才是真正的考驗——按詞頻統(tǒng)計會直接判成好評可游客的情緒其實是中性偏不滿的。這份基于融合對抗與注意力機(jī)制的 Bi-LSTM 網(wǎng)絡(luò) Python 源碼把景區(qū)評論情感分析整條鏈路都鋪好了Word2Vec 詞向量訓(xùn)練、Bi-LSTM 加注意力機(jī)制的深度學(xué)習(xí)模型訓(xùn)練、未標(biāo)注評論預(yù)測、結(jié)合預(yù)測值生成評價分?jǐn)?shù)。對正在做畢設(shè)或者想快速上手深度學(xué)習(xí)情感分析的人來說它不是理論 PPT而是能直接跑的代碼。項目用 TensorFlow 2.3.0 搭模型、Gensim 訓(xùn)詞向量、Jieba 做分詞流程清晰適合復(fù)現(xiàn)、改造和當(dāng)基線用。2. 項目結(jié)構(gòu)與數(shù)據(jù)流四個核心 Python 文件和三本 Notebook 的職責(zé)拆解剛解壓這份源碼的人多半會被一堆文件看花眼.ipynb、.py、corpus、word2vec、logs全堆在一起。實際它分得很清楚配置、數(shù)據(jù)、模型、運(yùn)行四個層面各管各的。2.1 文件分工哪個文件負(fù)責(zé)什么復(fù)現(xiàn)時先改誰文件職責(zé)復(fù)現(xiàn)時最需要改的位置config.py統(tǒng)一管理數(shù)據(jù)路徑、模型參數(shù)、類別數(shù)corpus路徑、embedding_dim、num_classesdataSet.py讀取語料、Jieba 分詞、去停用詞、構(gòu)造訓(xùn)練樣本停用詞表路徑、標(biāo)簽列分隔符tools.py計算序列長度、準(zhǔn)確率 / F1 等評價指標(biāo)按新任務(wù)增改指標(biāo)函數(shù)model.py定義 Bi-LSTM Attention 基線模型lstm_units、dropout、類別數(shù)gensim_word2vec.ipynb用 Gensim 訓(xùn)練景區(qū)評論文本詞向量vector_size、min_count、windowmain_save.ipynb訓(xùn)練主入口訓(xùn)練完保存模型batch_size、epochs、保存路徑main_load.ipynb加載已保存模型做情感預(yù)測預(yù)測文本的輸入格式這種分層對畢設(shè)或二次開發(fā)非常友好。路徑集中在config.py想換數(shù)據(jù)集基本不用碰模型代碼tools.py獨立出來是為了在訓(xùn)練和預(yù)測兩個環(huán)節(jié)復(fù)用同一套評價指標(biāo)避免指標(biāo)口徑不一致。main_save和main_load被拆成兩本 Notebook也是刻意區(qū)分訓(xùn)練期和推理期防止把保存權(quán)重和加載預(yù)測的邏輯揉在一起后面排查問題會輕松很多。我一般拿到這種源碼第一件事不是直接跑main_save.ipynb而是先打開config.py把里面的路徑、批次大小、類別數(shù)看一遍。因為很多復(fù)現(xiàn)報錯根本不是模型寫錯了而是語料路徑指錯、停用詞表沒找到、類別數(shù)跟標(biāo)簽對不上。2.2 數(shù)據(jù)預(yù)處理dataSet.py 里藏著二分類和三分類的取舍dataSet.py的核心邏輯是讀取帶標(biāo)簽的景區(qū)評論分詞、去停用詞再整理成模型能吃的樣本。以資源里的corpus/3class和corpus/2class兩個目錄為例標(biāo)注格式一般是“標(biāo)簽 分隔符 評論文本”核心預(yù)處理大致是這樣# dataSet.py 中的數(shù)據(jù)加載與預(yù)處理核心邏輯 import jieba def load_stopwords(stopwords_path): stop set() with open(stopwords_path, r, encodingutf-8) as f: for line in f: stop.add(line.strip()) return stop def load_comments(path, stopwords_pathNone): texts, labels [], [] with open(path, r, encodingutf-8) as f: for line in f: parts line.strip().split(\t) if len(parts) 2: continue labels.append(int(parts[0])) # 標(biāo)簽放第一列 words jieba.lcut(parts[1]) # 第二列是評論文本 if stopwords_path: stop load_stopwords(stopwords_path) words [w for w in words if w not in stop and w.strip()] texts.append( .join(words)) return texts, labels這塊邏輯有幾個關(guān)鍵點。標(biāo)簽放在第一列是為了跟評論文本分開讀取時不容易錯位split(\t)說明原始語料用制表符分隔如果你自己爬的數(shù)據(jù)是逗號或空格分隔這里要同步改去停用詞用的是set比逐個if w not in stopwords_list快得多評論語料動輒幾萬條這點性能差距會被放大。3class和2class兩個語料目錄對應(yīng)兩種任務(wù)設(shè)定。三分類把評論分成正、中、負(fù)三個檔位能表達(dá)“風(fēng)景不錯但人太多”這類中性偏負(fù)面情緒二分類只判正負(fù)訓(xùn)練簡單、類別更均衡但會丟失中間檔信息。復(fù)用這份源碼時如果只關(guān)心“好評率”跑2class就夠如果要做細(xì)致的景區(qū)口碑分析建議保留三分類。代價是中評樣本往往偏少后面第 5 章會專門說這個坑。2.3 三條數(shù)據(jù)流訓(xùn)練、預(yù)測、詞向量預(yù)訓(xùn)練如何配合這套源碼的數(shù)據(jù)流不復(fù)雜但新手經(jīng)常把順序跑反。正常運(yùn)行順序是先用gensim_word2vec.ipynb對語料做無監(jiān)督訓(xùn)練得到word2vec/word2vec.model在config.py里把corpus指向3class或2class確認(rèn)類別數(shù)運(yùn)行main_save.ipynb它會調(diào)用dataSet.py讀取語料、按最長序列做 padding再用隨機(jī)初始化或預(yù)訓(xùn)練詞向量初始化 Embedding 層訓(xùn)練完成后把模型保存到指定目錄把未標(biāo)注評論整理成同樣格式運(yùn)行main_load.ipynb加載模型做情感預(yù)測拿預(yù)測概率結(jié)合業(yè)務(wù)需求生成評價分?jǐn)?shù)。第 2 步和第 3 步的耦合最容易被忽略。main_save.ipynb內(nèi)部讀取的是config.py里配置的數(shù)據(jù)集路徑而gensim_word2vec.ipynb訓(xùn)練的語料又是另一份。如果先跑詞向量再換語料Embedding 矩陣和模型詞表對不上典型報錯就是索引越界或者維度不匹配。運(yùn)行main_save.ipynb時看到類似saved model to ...的輸出說明訓(xùn)練和保存這段鏈路已經(jīng)通了一半。常見做法是把詞向量訓(xùn)練也當(dāng)作數(shù)據(jù)預(yù)處理的一環(huán)而不是獨立任務(wù)。我習(xí)慣在gensim_word2vec.ipynb訓(xùn)練完后順手把詞表保存成 JSON后面構(gòu)建 Embedding 矩陣和模型詞表都以這個 JSON 為準(zhǔn)這樣能避開大多數(shù)對齊問題。3. 模型設(shè)計Bi-LSTM 輸出接 Attention對抗擾動加在 Embedding 層這份資源里的核心模型是 Bi-LSTM Attention再疊加對抗訓(xùn)練。三個組件各解決一個問題Bi-LSTM 抓雙向上下文Attention 挑出對情感判斷最重要的詞對抗訓(xùn)練提升對文本噪聲和網(wǎng)絡(luò)新詞的魯棒性。把三者接在一起的順序和細(xì)節(jié)才是這段源碼的看點。3.1 為什么用 Bi-LSTM轉(zhuǎn)折句和否定詞需要同時看兩個方向單向 LSTM 對“景區(qū)很美但服務(wù)很糟”這類句子天然吃虧。正向遍歷時“很美”會一直保留在記憶里讀到“糟”時才更新狀態(tài)最后的隱狀態(tài)容易被開頭的強(qiáng)情感詞帶偏反向遍歷則反過來。Bi-LSTM 把兩個方向的隱狀態(tài)在時間步上拼接模型能同時看到“很美”和“很糟”轉(zhuǎn)折前后的信息才不會被某一側(cè)壓過。在model.py里常見寫法是用tf.keras.layers.Bidirectional包一層 LSTM# model.py 中 Bi-LSTM 層的常見定義方式 lstm_layer tf.keras.layers.Bidirectional( tf.keras.layers.LSTM( units128, return_sequencesTrue, dropout0.3, recurrent_dropout0.2 ) )return_sequencesTrue是必須的因為后面要接 Attention 層需要拿到每個時間步的隱狀態(tài)而不是最后一個時間步的輸出。units128表示每個方向的隱層維度是 128拼接后是 256 維這會直接影響 Attention 層的輸入維度。dropout和recurrent_dropout在評論這種短文本任務(wù)里我一般給到 0.2~0.4太高會把轉(zhuǎn)折句的信息丟掉太低又容易過擬合。3.2 Attention 層的實現(xiàn)給它一個可解釋的加權(quán)邏輯Bi-LSTM 輸出是一個三維張量形狀是(batch, time_steps, hidden_dim)。Attention 做的事情就是給每個時間步算一個重要性權(quán)重然后加權(quán)求和成一個固定維度的向量。核心實現(xiàn)如下# Attention 層對 Bi-LSTM 的每個時間步加權(quán) def attention_layer(hidden_states): # hidden_states: (batch, time_steps, hidden_dim) dense tf.keras.layers.Dense( hidden_states.shape[-1], activationtanh )(hidden_states) score tf.keras.layers.Dense(1)(dense) weights tf.nn.softmax(score, axis1) context_vector tf.reduce_sum(weights * hidden_states, axis1) return context_vector這里的關(guān)鍵是tanh激活它把每個時間步的隱狀態(tài)壓到 -1 到 1 之間避免某個詞的原始數(shù)值過大直接主導(dǎo)權(quán)重第二個Dense(1)把壓縮后的向量投影成一個標(biāo)量分?jǐn)?shù)softmax沿著時間步維度歸一化保證權(quán)重和為 1。最后reduce_sum得到加權(quán)后的句子向量。這層設(shè)計對景區(qū)評論尤其有用像“值回票價”的“票價”、“排隊兩小時”的“排隊”這類詞會被賦予更高的權(quán)重。你在main_load.ipynb里預(yù)測一條評論時可以順手把 Attention 權(quán)重打印出來看看模型到底在關(guān)注哪些詞這比只看一個預(yù)測標(biāo)簽靠譜得多。3.3 對抗訓(xùn)練把擾動加到 Embedding 層逼模型更抗噪對抗訓(xùn)練在這個項目里的套路是在 Embedding 層上加一個非常小的擾動讓模型在不改變語義的前提下面對“被攻擊”的輸入。常見做法是 FGM核心邏輯是對 Embedding 的梯度做歸一化再乘一個 epsilon 作為擾動方向。用法如下# 融合對抗訓(xùn)練的訓(xùn)練循環(huán)片段FGM 擾動 Embedding 層 epsilon 0.01 emb_layer model.get_layer(embedding) original_weights emb_layer.get_weights()[0] with tf.GradientTape() as tape: loss1 compute_loss(model, x_batch, y_batch) grads tape.gradient(loss1, model.trainable_variables) # 找到 Embedding 權(quán)重對應(yīng)梯度構(gòu)造擾動 emb_grad grads[embedding_grad_index] delta epsilon * emb_grad / (tf.norm(emb_grad) 1e-9) emb_layer.set_weights([original_weights delta]) with tf.GradientTape() as tape2: loss2 compute_loss(model, x_batch, y_batch) combined_grads grads tape2.gradient(loss2, model.trainable_variables) # 恢復(fù)原始權(quán)重用 combined_grads 更新模型 emb_layer.set_weights([original_weights])epsilon是擾動幅度一般取 0.01~0.05。太小起不到對抗效果太大直接把詞向量語義空間破壞了訓(xùn)練 loss 會異常抖動。擾動方向用的是歸一化后的梯度方向而不是原始梯度是為了控制擾動步長。訓(xùn)練時先算正常 loss 的梯度擾動后再算一次 loss 的梯度兩部分梯度相加再更新參數(shù)本質(zhì)上是讓模型在嵌入空間中往“更難分”的方向多走一步。這套東西放在畢設(shè)里價值是提升模型的魯棒性。景區(qū)評論里大量口語詞、emoji、錯別字比如“想思”“風(fēng)景絕絕子”加入對抗擾動后模型不會因為某些字眼的微小變化就翻車。代價是訓(xùn)練時間大約增加 30%~50%而且對 batch 大小更敏感batch_size64配合epsilon0.01通常是個穩(wěn)妥起點。4. Word2Vec 詞向量訓(xùn)練與超參調(diào)優(yōu)128 維、skip-gram 與詞表對齊經(jīng)驗詞向量是這套情感分析的地基。Embedding 層初始化得不好后面 Bi-LSTM 再強(qiáng)也學(xué)不到東西。gensim_word2vec.ipynb這本 Notebook 專門干這個但很多人在復(fù)現(xiàn)時把它當(dāng)成“跑完就行”的步驟結(jié)果模型指標(biāo)一直上不去。詞向量的效果直接決定情感詞能不能在語義空間里聚在一起。4.1 gensim 訓(xùn)練流程先把語料變成 Sentence 列表gensim_word2vec.ipynb的核心調(diào)用是這樣的# gensim_word2vec.ipynb 中的詞向量訓(xùn)練 from gensim.models import Word2Vec sentences [line.strip().split() for line in open(data/corpus/3class/train.txt, r, encodingutf-8)] w2v_model Word2Vec( sentences, vector_size128, window5, min_count2, sg1, epochs8, workers4, ) w2v_model.save(word2vec/word2vec.model)參數(shù)含義要理解別盲目抄。vector_size128是詞向量維度景區(qū)評論語料規(guī)模通常在幾萬句這個量級128 夠用語料小就降到 100 或 64window5是上下文窗口窗口越大越強(qiáng)調(diào)語義相似性但景區(qū)口語短句里距離超過 5 的詞基本沒有共現(xiàn)關(guān)系調(diào)太大會引入噪音min_count2表示出現(xiàn)次數(shù)低于 2 的詞直接丟掉太大會把“踩雷”“排雷”這種低頻但情感強(qiáng)烈的詞丟掉太小會讓詞表膨脹、訓(xùn)練變慢sg1用 skip-gram它在小語料上的效果通常比 CBOW 好因為景區(qū)評論里很多詞共現(xiàn)稀疏epochs8是迭代次數(shù)語料小可以適當(dāng)加一點。跑完這一步檢查一個關(guān)鍵產(chǎn)物word2vec/word2vec.model文件。這個文件后續(xù)會被main_save.ipynb用來初始化 Embedding 矩陣。4.2 詞向量質(zhì)量驗證不要只看 Loss要看相似詞訓(xùn)練完先別急著進(jìn)模型。我會做一次詞向量質(zhì)量抽檢# 詞向量質(zhì)量檢查看情感詞在語義空間中的鄰居 from gensim.models import Word2Vec w2v Word2Vec.load(word2vec/word2vec.model) print(w2v.wv.most_similar(風(fēng)景, topn5)) print(w2v.wv.most_similar(排隊, topn5)) print(w2v.wv.most_similar(服務(wù), topn5))如果“風(fēng)景”的最近鄰是“景色”“環(huán)境”“山水”說明詞向量訓(xùn)練正常如果“風(fēng)景”的最近鄰是“排隊”“門票”這類不相關(guān)詞大概率是window太大或者語料里有臟數(shù)據(jù)比如把整條評論當(dāng)成一個句子沒有切分。我遇到過最典型的情況是語料里混入了大量沒有分詞的文本導(dǎo)致“風(fēng)景不錯”被當(dāng)成一個詞詞表里出現(xiàn)一堆稀碎的長 token這種詞向量喂給模型基本是災(zāi)難。4.3 詞表對齊隨機(jī)小值兜底 OOV詞向量訓(xùn)練完成之后model.py構(gòu)建 Embedding 矩陣時最重要的動作是把 Gensim 詞表映射到模型詞表這一步經(jīng)常翻車。OOV詞表外詞一般用隨機(jī)小值初始化而不是全零向量否則網(wǎng)絡(luò)在反向傳播時對 OOV 詞的梯度恒為零這類詞永遠(yuǎn)學(xué)不動。# 構(gòu)建 Embedding 矩陣出現(xiàn)過的詞用預(yù)訓(xùn)練向量OOV 用隨機(jī)小值 import numpy as np vocab w2v.wv.key_to_index vocab_size len(vocab) 2 # 預(yù)留 UNK 和 PAD 位 embedding_matrix np.random.uniform(-0.05, 0.05, (vocab_size, 128)) for word, idx in vocab.items(): if word in w2v.wv: embedding_matrix[idx] w2v.wv[word]注意這里vocab_size要跟model.py里Embedding層的input_dim嚴(yán)格一致。2是給UNK和PAD預(yù)留位置如果模型用的是mask_zeroTruePAD 位必須設(shè)成 0。詞表對齊這件事看著是細(xì)節(jié)錯了就會在第 5 章第一個坑里栽跟頭。5. 避坑與常見問題排查五條復(fù)現(xiàn)階段最容易翻車的報錯記錄這份源碼整體能跑通但復(fù)現(xiàn)之路上的坑基本都集中在環(huán)境版本、詞表對齊和顯存控制上。下面這五條是高頻問題每條都按現(xiàn)象、原因、解決三步說清楚算是這輪拆包的血淚經(jīng)驗。5.1 加載詞向量報“索引越界”或“維度不匹配”現(xiàn)象運(yùn)行main_save.ipynb時Embedding 層初始化階段報IndexError或者ValueError: dimension mismatch有時候報錯信息直接指向word2vec/word2vec.model。原因gensim_word2vec.ipynb訓(xùn)練的語料和main_save.ipynb讀取的語料不是同一份詞表不一致或者 Embedding 層的input_dim設(shè)置的是詞表大小但實際傳入的序列里包含UNK/PAD兩個額外 token索引超出預(yù)設(shè)范圍。解決統(tǒng)一詞表來源。我先跑完gensim_word2vec.ipynb把w2v.wv.key_to_index保存成 JSONmodel.py構(gòu)建 Embedding 層時直接用這個 JSON 計算vocab_size并顯式處理UNK和PAD兩個位置的向量。再用tmp np.zeros((vocab_size, 128))兜底排查階段寧可多跑一次也要先確認(rèn)兩邊詞表長度一致。5.2 顯存溢出CUDA_ERROR_OUT_OF_MEMORY現(xiàn)象訓(xùn)練到第幾個 epoch突然報CUDA_ERROR_OUT_OF_MEMORY進(jìn)程直接退出。原因Bidirectional層的顯存占用是單向 LSTM 的兩倍加上 Attention 層要保存每個時間步的中間狀態(tài)batch_size128配sequence_length256很容易把顯存撐爆。這兩個配置疊加是顯存溢出的主要導(dǎo)火索。解決把batch_size降到 64 或 32再把max_len截到 128。景區(qū)評論普遍不長超過 128 個字符的句子占比很低截斷影響不大。還可以在config.py里把lstm_units從 128 降到 64代價是精度略降但訓(xùn)練穩(wěn)定性明顯提升。我有一次在圖里加了recurrent_dropout0.2顯存占用還漲了一截后來改成 GPU 上跑時不加recurrent_dropout改成dropout0.3問題就緩解了。5.3 預(yù)測結(jié)果幾乎全落在“好評”這一類別現(xiàn)象main_load.ipynb對未標(biāo)注評論打分輸出結(jié)果里 80% 以上是正向。原因數(shù)據(jù)集不平衡。corpus/3class里中評樣本通常很少模型學(xué)不到中評特征推理時把大量“還行”“湊合”也歸到好評另外閾值設(shè)成默認(rèn) 0.5對三類任務(wù)并不適用。解決先看訓(xùn)練集類別分布如果中評占比低于 15%要么用二分類語料先跑通要么對中評做上采樣。預(yù)測階段不要硬取argmax改成看概率分布比如概率最高的兩類差值小于 0.2 時判為中評。我在復(fù)現(xiàn)時把三分類閾值改成“負(fù)向概率 0.6 判負(fù)正向概率 0.7 判正其余判中”效果比默認(rèn) 0.5 閾值好了不少。5.4 TensorFlow 版本升上去之后 API 直接失效現(xiàn)象用默認(rèn)環(huán)境安裝 TensorFlow 2.10 或 2.15跑main_save.ipynb時在模型編譯或訓(xùn)練階段報AttributeError比如某個層屬性不存在。原因這份源碼標(biāo)注的環(huán)境是 TensorFlow 2.3.0很多老寫法和新版本不兼容最典型的是自定義層和tf.keras內(nèi)部 API 的變動。Gensim 從 3.x 升到 4.x 也改了部分接口word2vec.wv的訪問方式都變過。解決嚴(yán)格按資源說明建環(huán)境。conda create -n text_sentiment python3.8.12后pip install tensorflow2.3.0、gensim4.1.2、jieba0.42.0。如果機(jī)器沒有合適的 GPU就裝 CPU 版 TensorFlow 2.3.0訓(xùn)練慢一點但能跑通。不要輕易用高版本去碰老代碼除非你做好了改 API 的準(zhǔn)備。5.5 自定義 Attention 層保存后加載失敗現(xiàn)象main_save.ipynb訓(xùn)練正常但main_load.ipynb加載模型時報Unknown Layer或ValueError: cannot serialize。原因TensorFlow 2.3 對自定義層的序列化要求類的定義在加載環(huán)境中可見。如果model.py里的Attention類沒有在main_load.ipynb里提前導(dǎo)入加載model.h5時框架認(rèn)不出這個層。解決在main_load.ipynb開頭先from model import Attention或直接import model確保自定義層類在模型文件加載前已經(jīng)注冊。另一個穩(wěn)妥做法是保存時同時輸出模型結(jié)構(gòu)和權(quán)重加載時用tf.keras.models.clone_model重建結(jié)構(gòu)再load_weights載入?yún)?shù)。從那以后我每次換數(shù)據(jù)集都會強(qiáng)制走一遍“預(yù)測 20 條 → 人工回看 → 調(diào)閾值 → 再部署”的流程不再貪圖省事跳過驗證。6. 落地化驗證三分類概率折算評價分?jǐn)?shù)與人工抽驗清單模型預(yù)測出的是“好評 / 中評 / 負(fù)評”的類別概率但業(yè)務(wù)上要的是景區(qū)評價分?jǐn)?shù)。直接把中評當(dāng)成硬分類結(jié)果會丟失很多轉(zhuǎn)折句的細(xì)節(jié)。這里分享一個我在復(fù)現(xiàn)時慣用的折算方式。# main_load.ipynb 中概率折算評分的常用擴(kuò)展 score_map {neg: 1, mid: 3, pos: 5} def prob_to_score(prob): labels [neg, mid, pos] total 0.0 for p, label in zip(prob, labels): total p * score_map[label] return round(total, 2) # 示例模型輸出 [0.1, 0.3, 0.6]對應(yīng)負(fù)/中/正 print(prob_to_score([0.1, 0.3, 0.6])) # 4.20 分這個做法的好處是把概率當(dāng)成置信度參與加權(quán)而不是硬切一刀?！帮L(fēng)景不錯但人太多”如果模型給出負(fù) 0.4、中 0.4、正 0.2折算分是 2.6 分左右落在中低檔比硬判成好評合理得多。真正要落地時還可以給每條評論的分?jǐn)?shù)按時間衰減或按評論字?jǐn)?shù)加權(quán)但核心邏輯就是概率期望值。折算完分?jǐn)?shù)我強(qiáng)烈建議做一次人工抽驗尤其在你換了新的語料之后。跑main_load.ipynb輸出 20 條預(yù)測結(jié)果建一張小表原文、預(yù)測類別、折算分?jǐn)?shù)、人工判斷。如果三條里有兩條人工判斷和模型預(yù)測方向不一致先不要急著調(diào)模型回頭檢查預(yù)處理和詞表對齊大概率是數(shù)據(jù)層面的問題。有一次我用這套流程給某跨平臺系統(tǒng)的評論數(shù)據(jù)做擴(kuò)展跳過人工抽驗直接打分結(jié)果“中評”被全部加權(quán)成接近好評的高分后來才發(fā)現(xiàn)是語料里大量“一般般”被分詞切成了“一般”和“般”徹底帶偏了注意力權(quán)重。從那以后我每次換數(shù)據(jù)集都會強(qiáng)制走一遍“預(yù)測 20 條 → 人工回看 → 調(diào)閾值 → 再部署”的流程不再貪圖省事跳過驗證。這份 Bi-LSTM 景區(qū)評論情感分析源碼的價值就在于它把詞向量、模型訓(xùn)練、預(yù)測和評分串成了一條可改可查的鏈路你只需要按第 5 章的環(huán)境配置把依賴鎖死再按第 6 章的驗證方法過一遍就能穩(wěn)定地復(fù)現(xiàn)乃至改造它。希望幫到你。本文還有配套的精品資源點擊獲取