簡(jiǎn)介這份資源是面向計(jì)算機(jī)相關(guān)專業(yè)學(xué)生與項(xiàng)目實(shí)戰(zhàn)學(xué)習(xí)者的Python人工智能大作業(yè)完整資料包聚焦網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)適合正在準(zhǔn)備期末大作業(yè)、畢業(yè)設(shè)計(jì)或需要積累AI項(xiàng)目經(jīng)驗(yàn)的人群。壓縮包共118個(gè)文件約45.2MB以27個(gè)py源碼文件為核心輔以36個(gè)txt說明、12個(gè)jar與10個(gè)class等Java組件、7個(gè)java與6個(gè)xml配置以及ipynb實(shí)驗(yàn)筆記、json數(shù)據(jù)、xlsx表格和少量md文檔覆蓋從數(shù)據(jù)采集、中文NLP處理到可視化展示的完整鏈路。內(nèi)容預(yù)覽中可見AipNLP、BarChart、PieChart、InitialUIDesign等類說明系統(tǒng)包含情感傾向分析與圖表界面模塊。該資源經(jīng)導(dǎo)師指導(dǎo)并獲評(píng)審98分源碼均本地編譯調(diào)試可運(yùn)行已有144人學(xué)習(xí)。讀者可獲得可復(fù)用的輿情分析代碼框架、界面與算法實(shí)現(xiàn)思路及配套資料便于快速搭建與二次開發(fā)。1. 輿情分析大作業(yè)為什么總在“情感分類”這一步翻車做課程大作業(yè)時(shí)很多同學(xué)把網(wǎng)絡(luò)輿情分析系統(tǒng)理解成“爬蟲 詞云 情感餅圖”三件套結(jié)果代碼跑通了報(bào)告卻拿不到高分。問題不在工具而在鏈路原始文本沒清洗、情感標(biāo)簽靠拍腦袋、時(shí)間序列只畫一條折線最后系統(tǒng)只能演示不能解釋?；?Python 的人工智能大作業(yè)網(wǎng)絡(luò)輿情分析系統(tǒng)真正要解決的是從非結(jié)構(gòu)化文本里提取可驗(yàn)證的輿情信號(hào)并讓每一步都有參數(shù)可調(diào)、有指標(biāo)可看。它適合正在趕大作業(yè)的本科生、需要快速搭原型的開發(fā)者以及想用一套完整源碼理解 NLP 落地流程的從業(yè)者。下面按“數(shù)據(jù)進(jìn)來、模型跑通、結(jié)果可信”的順序拆開講中間會(huì)給出可直接抄的代碼和參數(shù)表。2. 先定數(shù)據(jù)管道從采集到存儲(chǔ)的四個(gè)關(guān)鍵字段2.1 為什么不能直接拿原始評(píng)論喂模型輿情系統(tǒng)的輸入通常來自公開討論區(qū)、新聞評(píng)論或模擬生成的 JSON 文件。原始文本里混著表情符號(hào)、URL、重復(fù)刷屏和廣告直接送進(jìn)模型會(huì)讓準(zhǔn)確率掉 10 到 20 個(gè)百分點(diǎn)。常見做法是先把每條記錄壓成四個(gè)字段doc_id、publish_time、raw_text、source。doc_id用哈?；蜃栽稣麛?shù)都行但必須唯一publish_time統(tǒng)一轉(zhuǎn)成YYYY-MM-DD HH:MM:SS后面做時(shí)間窗口聚合全靠它raw_text保留原文方便回溯source標(biāo)記渠道用于分組對(duì)比。清洗階段只做三件事去掉 URL 和 提及、把連續(xù)空格壓成一個(gè)、過濾長度小于 5 的短文本。不要在這一步做分詞或去停用詞因?yàn)楹罄m(xù)可能換模型保留原始字符更安全。import re import pandas as pd def clean_text(text: str) - str: # 去掉 URL 和 提及保留中文、英文、數(shù)字和基本標(biāo)點(diǎn) text re.sub(rhttps?://\S|www\.\S, , text) text re.sub(r\w, , text) text re.sub(r\s, , text).strip() return text def build_pipeline(raw_df: pd.DataFrame) - pd.DataFrame: df raw_df.copy() df[clean_text] df[raw_text].astype(str).apply(clean_text) df[publish_time] pd.to_datetime(df[publish_time], errorscoerce) # 丟棄時(shí)間解析失敗和過短文本 df df.dropna(subset[publish_time]) df df[df[clean_text].str.len() 5] df[date] df[publish_time].dt.date return df[[doc_id, publish_time, date, clean_text, source]]這段代碼里errorscoerce會(huì)把無法解析的時(shí)間變成NaT避免后續(xù)聚合報(bào)錯(cuò)長度閾值 5 是經(jīng)驗(yàn)值低于 5 個(gè)字符的文本通常是“頂”“贊”這類無信息內(nèi)容。date字段單獨(dú)抽出來是為了按天做輿情熱度曲線不用每次重算。2.2 存儲(chǔ)選型SQLite 夠用別急著上 MongoDB大作業(yè)的數(shù)據(jù)量一般在幾千到幾萬條SQLite 完全能扛住而且單文件方便打包進(jìn)源碼。建表時(shí)把doc_id設(shè)為主鍵publish_time和source建索引查詢速度足夠。如果非要用 MongoDB注意默認(rèn)端口和認(rèn)證配置否則演示時(shí)連不上會(huì)非常尷尬。下面是一個(gè)最小建表語句CREATE TABLE IF NOT EXISTS posts ( doc_id TEXT PRIMARY KEY, publish_time TEXT NOT NULL, clean_text TEXT NOT NULL, source TEXT, sentiment_label INTEGER, sentiment_score REAL ); CREATE INDEX IF NOT EXISTS idx_publish_time ON posts(publish_time); CREATE INDEX IF NOT EXISTS idx_source ON posts(source);sentiment_label和sentiment_score先留空等模型跑完再回填。這樣數(shù)據(jù)管道和模型解耦換模型不用重建表。2.3 參數(shù)怎么設(shè)清洗閾值與時(shí)間窗口清洗階段有兩個(gè)參數(shù)容易拍腦袋最小文本長度和去重策略。最小長度建議 5 到 8 個(gè)字符太短沒信息太長會(huì)誤刪有效短評(píng)。去重按clean_text的 MD5 哈希做保留最早出現(xiàn)的那條避免刷屏影響熱度統(tǒng)計(jì)。時(shí)間窗口按小時(shí)或按天聚合取決于數(shù)據(jù)密度一天超過 500 條就按小時(shí)否則按天。這些參數(shù)沒有絕對(duì)最優(yōu)但要在報(bào)告里寫清楚否則復(fù)現(xiàn)時(shí)會(huì)被質(zhì)疑。3. 情感分類模型從樸素貝葉斯到預(yù)訓(xùn)練模型的取舍3.1 三條技術(shù)路線的適用邊界做輿情情感分類常見三條路樸素貝葉斯 TF-IDF、LSTM 詞向量、預(yù)訓(xùn)練模型微調(diào)。樸素貝葉斯訓(xùn)練快幾千條數(shù)據(jù)幾分鐘出結(jié)果適合作為基線LSTM 能捕捉語序但需要更多數(shù)據(jù)和調(diào)參時(shí)間預(yù)訓(xùn)練模型準(zhǔn)確率最高但顯存和時(shí)間成本也最高。大作業(yè)如果只有 CPU建議先跑樸素貝葉斯再用預(yù)訓(xùn)練模型做對(duì)比實(shí)驗(yàn)報(bào)告里放兩張混淆矩陣分?jǐn)?shù)立刻上去。選型時(shí)看三個(gè)指標(biāo)準(zhǔn)確率、訓(xùn)練時(shí)間、可解釋性。輿情場(chǎng)景往往需要解釋“為什么判為負(fù)面”樸素貝葉斯的特征權(quán)重反而比黑盒模型更好寫分析。3.2 用 TF-IDF 樸素貝葉斯跑通最小閉環(huán)下面這段代碼假設(shè)你已經(jīng)有一個(gè)帶clean_text和sentiment_label的 DataFrame標(biāo)簽 0 為負(fù)面、1 為中性、2 為正面。先劃分訓(xùn)練集和測(cè)試集再建管道。from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.metrics import classification_report, confusion_matrix # 假設(shè) df 已包含 clean_text 和 sentiment_label X_train, X_test, y_train, y_test train_test_split( df[clean_text], df[sentiment_label], test_size0.2, random_state42, stratifydf[sentiment_label] ) pipe Pipeline([ (tfidf, TfidfVectorizer( max_features5000, # 控制特征維度防止過擬合 ngram_range(1, 2), # 一元和二元詞組捕捉“不 滿意”這類否定 min_df2, # 至少出現(xiàn)兩次才保留過濾噪聲 max_df0.9 # 出現(xiàn)在 90% 以上文檔的詞直接丟棄 )), (clf, MultinomialNB(alpha0.1)) # alpha 是平滑系數(shù)越小越依賴數(shù)據(jù) ]) pipe.fit(X_train, y_train) y_pred pipe.predict(X_test) print(classification_report(y_test, y_pred, digits4)) print(confusion_matrix(y_test, y_pred))max_features5000是平衡內(nèi)存和效果的常用值數(shù)據(jù)量超過 5 萬條可以提到 10000。ngram_range(1,2)能抓到“不 滿意”“很 好”這類組合對(duì)輿情情感很關(guān)鍵。alpha0.1比默認(rèn)的 1.0 更激進(jìn)如果數(shù)據(jù)干凈且標(biāo)注一致效果更好如果噪聲大調(diào)回 0.5 到 1.0。跑完看classification_report如果中性類 F1 明顯低說明中性樣本定義模糊需要回頭檢查標(biāo)注規(guī)則。3.3 預(yù)訓(xùn)練模型微調(diào)時(shí)的顯存與學(xué)習(xí)率如果要用預(yù)訓(xùn)練模型先確認(rèn)環(huán)境有 GPU。常見做法是加載中文預(yù)訓(xùn)練權(quán)重接一個(gè)分類頭用 AdamW 優(yōu)化器學(xué)習(xí)率設(shè) 2e-5 到 5e-5批次大小 16 或 32。顯存不夠就減小批次并開啟梯度累積。訓(xùn)練輪數(shù) 3 到 5 輪足夠太多會(huì)過擬合。下面是一個(gè)訓(xùn)練循環(huán)的關(guān)鍵參數(shù)片段from transformers import AdamW, get_linear_schedule_with_warmup optimizer AdamW(model.parameters(), lr3e-5, weight_decay0.01) epochs 4 total_steps len(train_loader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), # 前 10% 步數(shù)做 warmup num_training_stepstotal_steps )weight_decay0.01是常規(guī)正則化warmup防止初期梯度爆炸。如果訓(xùn)練損失震蕩先把學(xué)習(xí)率降到 1e-5如果損失下降太慢檢查數(shù)據(jù)標(biāo)簽是否平衡。預(yù)訓(xùn)練模型跑完后把預(yù)測(cè)結(jié)果回填到 SQLite 的sentiment_label和sentiment_score字段后續(xù)分析直接查表。4. 輿情熱度與趨勢(shì)時(shí)間序列聚合的三種口徑4.1 按小時(shí)聚合還是按天聚合聚合口徑?jīng)Q定趨勢(shì)圖能不能看出突發(fā)點(diǎn)。數(shù)據(jù)密度高時(shí)按小時(shí)能捕捉“某事件兩小時(shí)內(nèi)爆發(fā)”數(shù)據(jù)稀疏時(shí)按天否則曲線全是零。計(jì)算熱度可以用三個(gè)指標(biāo)發(fā)帖量、負(fù)面占比、平均情感得分。發(fā)帖量反映關(guān)注度負(fù)面占比反映風(fēng)險(xiǎn)平均情感得分反映整體傾向。下面是一個(gè)按天聚合的示例def daily_aggregate(df: pd.DataFrame) - pd.DataFrame: grouped df.groupby(date).agg( post_count(doc_id, count), neg_ratio(sentiment_label, lambda x: (x 0).mean()), avg_score(sentiment_score, mean) ).reset_index() # 補(bǔ)全缺失日期避免折線斷裂 full_range pd.date_range(grouped[date].min(), grouped[date].max(), freqD) grouped grouped.set_index(date).reindex(full_range.date, fill_value0).reset_index() grouped.columns [date, post_count, neg_ratio, avg_score] return groupedreindex補(bǔ)全缺失日期很重要否則折線圖會(huì)跳過沒有數(shù)據(jù)的日期視覺上誤導(dǎo)。neg_ratio用(x 0).mean()計(jì)算前提是標(biāo)簽 0 代表負(fù)面。如果標(biāo)簽編碼不同改成對(duì)應(yīng)值即可。4.2 突發(fā)檢測(cè)滑動(dòng)窗口與閾值報(bào)警輿情系統(tǒng)的高分點(diǎn)往往在“突發(fā)檢測(cè)”。簡(jiǎn)單做法是計(jì)算過去 7 天同一時(shí)段的均值和標(biāo)準(zhǔn)差當(dāng)天發(fā)帖量超過均值加 2 倍標(biāo)準(zhǔn)差就標(biāo)記為突發(fā)。這個(gè)邏輯可以用 pandas 滾動(dòng)窗口實(shí)現(xiàn)grouped[rolling_mean] grouped[post_count].rolling(window7, min_periods3).mean() grouped[rolling_std] grouped[post_count].rolling(window7, min_periods3).std() grouped[is_burst] grouped[post_count] (grouped[rolling_mean] 2 * grouped[rolling_std])window7是經(jīng)驗(yàn)值數(shù)據(jù)少于 14 天可以改成 3。min_periods3保證前三天也有值。is_burst為 True 的日期在報(bào)告里單獨(dú)列出來配上當(dāng)天高頻詞分析說服力會(huì)強(qiáng)很多。4.3 高頻詞與情感詞的交叉分析只放詞云不夠要把高頻詞和情感標(biāo)簽交叉。比如“退款”這個(gè)詞在負(fù)面樣本里出現(xiàn)頻率是正面的 5 倍那它就是風(fēng)險(xiǎn)信號(hào)。實(shí)現(xiàn)時(shí)先分詞再按標(biāo)簽分組統(tǒng)計(jì)詞頻最后算每個(gè)詞在不同標(biāo)簽下的頻率比。分詞工具選常見的中文分詞庫即可停用詞表用公開的通用表再手動(dòng)加幾個(gè)領(lǐng)域詞。交叉分析的結(jié)果用表格呈現(xiàn)比詞云更硬核。5. 避坑與排查大作業(yè)里最容易翻車的五個(gè)點(diǎn)5.1 標(biāo)簽泄露測(cè)試集里混進(jìn)了訓(xùn)練集文本現(xiàn)象測(cè)試準(zhǔn)確率 0.98換一批數(shù)據(jù)掉到 0.6。原因去重沒做好同一條文本既在訓(xùn)練集又在測(cè)試集。解決在劃分?jǐn)?shù)據(jù)集之前先按clean_text的哈希去重確保每個(gè)文本只出現(xiàn)一次。如果同一條文本有多個(gè)標(biāo)簽保留多數(shù)投票結(jié)果或直接丟棄。5.2 時(shí)間解析失敗導(dǎo)致聚合為空現(xiàn)象按天聚合后所有日期都是NaT折線圖畫不出來。原因原始時(shí)間格式不統(tǒng)一比如混了“2024/01/01”和“2024-01-01”。解決在pd.to_datetime里加formatmixed或先用正則統(tǒng)一分隔符。更穩(wěn)妥的做法是寫一個(gè)解析函數(shù)依次嘗試幾種常見格式全部失敗再丟棄。5.3 類別不平衡讓模型只會(huì)猜多數(shù)類現(xiàn)象負(fù)面樣本占 80%模型把所有文本都判為負(fù)面準(zhǔn)確率 0.8 但 F1 很低。原因訓(xùn)練時(shí)沒有處理不平衡。解決在MultinomialNB里設(shè)class_prior或在劃分時(shí)用stratify保證每類比例一致。更直接的辦法是對(duì)少數(shù)類過采樣但要注意過采樣只在訓(xùn)練集做測(cè)試集保持原始分布。5.4 預(yù)訓(xùn)練模型顯存溢出現(xiàn)象訓(xùn)練到一半報(bào)CUDA out of memory。原因批次太大或序列太長。解決把批次從 32 降到 16 或 8同時(shí)開啟梯度累積累積步數(shù)設(shè)為 2 或 4。序列長度截?cái)嗟?128 或 256不要直接設(shè) 512。如果還是溢出換用更小的預(yù)訓(xùn)練模型。5.5 報(bào)告里只放準(zhǔn)確率不放混淆矩陣現(xiàn)象老師問“中性類識(shí)別怎么樣”答不上來。原因只看了整體準(zhǔn)確率。解決每次實(shí)驗(yàn)都輸出混淆矩陣和分類報(bào)告重點(diǎn)看每一類的精確率和召回率。輿情場(chǎng)景里負(fù)面類的召回率比整體準(zhǔn)確率更重要漏掉一條負(fù)面輿情可能比誤判一條正面更嚴(yán)重。6. 把系統(tǒng)跑成可演示的閉環(huán)一個(gè)最小 Web 界面與驗(yàn)證習(xí)慣最后一章落到怎么把上面這些串成一個(gè)能演示的東西。不需要復(fù)雜前端用 Streamlit 或 Flask 寫一個(gè)單頁就夠。頁面分三塊頂部輸入框粘貼一條新文本中間顯示情感預(yù)測(cè)結(jié)果和置信度底部展示歷史趨勢(shì)圖。Streamlit 的好處是代碼量少適合大作業(yè)演示。下面是一個(gè)最小示例import streamlit as st import pandas as pd import joblib # 加載訓(xùn)練好的管道 pipe joblib.load(sentiment_pipe.pkl) st.title(輿情分析演示) text st.text_area(輸入一條評(píng)論文本) if st.button(分析): pred pipe.predict([text])[0] proba pipe.predict_proba([text]).max() label_map {0: 負(fù)面, 1: 中性, 2: 正面} st.write(f情感傾向{label_map[pred]}置信度{proba:.2f}) # 展示歷史趨勢(shì) df pd.read_csv(daily_aggregate.csv) st.line_chart(df.set_index(date)[post_count])joblib.load加載的是之前訓(xùn)練好的管道注意保存時(shí)用joblib.dump(pipe, sentiment_pipe.pkl)。predict_proba返回最大概率作為置信度低于 0.6 的可以標(biāo)為“不確定”避免誤導(dǎo)。趨勢(shì)圖直接讀聚合后的 CSV不用每次重算。驗(yàn)證習(xí)慣方面我一般會(huì)做三件事第一每次改完清洗規(guī)則或模型參數(shù)重新跑一遍測(cè)試集記錄準(zhǔn)確率和負(fù)面類召回率第二把預(yù)測(cè)錯(cuò)誤的樣本單獨(dú)導(dǎo)出人工看 20 條找規(guī)律第三在報(bào)告里寫清楚每個(gè)參數(shù)的取值理由而不是只貼結(jié)果。這套流程跑下來大作業(yè)的分?jǐn)?shù)不會(huì)低更重要的是你真正理解了從文本到?jīng)Q策的每一步。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取