簡(jiǎn)介這份資源面向具備一定Python基礎(chǔ)、希望系統(tǒng)掌握中文文本關(guān)鍵詞抽取的開發(fā)者與學(xué)習(xí)者圍繞TF-IDF、TextRank、Word2Vec詞聚類三種主流方法展開實(shí)踐。相比網(wǎng)上零散示例它重點(diǎn)補(bǔ)齊了Word2Vec詞聚類抽取流程不夠清晰的短板并以專利文本為樣例同樣適用于新聞、論文等中文語(yǔ)料。壓縮包共20個(gè)文件約879KB包含14個(gè)csv結(jié)果與樣例數(shù)據(jù)、4個(gè)py實(shí)現(xiàn)腳本、2個(gè)txt停用詞與詞性標(biāo)注參考腳本分別對(duì)應(yīng)三種算法csv則保存各方法的抽取結(jié)果便于橫向?qū)Ρ刃Ч?。目前已?43人學(xué)習(xí)下載。通過數(shù)據(jù)、腳本與結(jié)果文件的完整配套讀者可快速跑通三種關(guān)鍵詞抽取方案理解詞向量聚類在關(guān)鍵詞發(fā)現(xiàn)中的作用并借助結(jié)果文件對(duì)照分析不同算法的差異為后續(xù)文本挖掘與聚類項(xiàng)目提供可復(fù)用的代碼基礎(chǔ)。1. 中文關(guān)鍵詞抽取的三條路線為什么我把 TF-IDF、TextRank、Word2Vec 放在同一個(gè)工程里跑做中文文本處理的人遲早會(huì)撞上同一個(gè)需求給一段沒有標(biāo)注的文本把里面真正重要的詞撈出來。搜索、推薦、輿情監(jiān)控、論文輔助閱讀底層都繞不開這一步。但真正上手就會(huì)發(fā)現(xiàn)關(guān)鍵詞抽取不是調(diào)一個(gè)庫(kù)就完事——TF-IDF 快但吃不住語(yǔ)義TextRank 靠詞共現(xiàn)但容易把高頻虛詞帶進(jìn)來Word2Vec 能抓語(yǔ)義但單獨(dú)用又抽不出詞。我見過太多人只跑通一個(gè)方法就交差結(jié)果換一批語(yǔ)料就翻車。這份 Python 項(xiàng)目實(shí)踐的價(jià)值在于它把三條路線放進(jìn)同一個(gè)工程里對(duì)照著跑TF-IDF 做統(tǒng)計(jì)基線TextRank 做圖排序Word2Vec 做詞向量聚類最后用聚類把語(yǔ)義相近的詞歸并成關(guān)鍵詞簇。它適合已經(jīng)會(huì)寫 Python、但沒系統(tǒng)比較過這幾種方法的中文 NLP 從業(yè)者也適合拿它當(dāng)課程設(shè)計(jì)或大作業(yè)的骨架——因?yàn)槿N方法的輸入輸出格式統(tǒng)一替換語(yǔ)料就能復(fù)現(xiàn)。下面我按「先講清每條路線怎么落地再講怎么把它們串起來」的順序拆。2. TF-IDF 與 TextRank從分詞到詞權(quán)重的兩條實(shí)現(xiàn)路徑2.1 中文分詞與停用詞處理一切權(quán)重計(jì)算的前置條件TF-IDF 和 TextRank 都建立在「詞」這個(gè)單位上而中文沒有天然空格分隔所以分詞質(zhì)量直接決定后面所有結(jié)果。常見做法是用 jieba它自帶三種模式精確模式、全模式、搜索引擎模式。關(guān)鍵詞抽取一般用精確模式因?yàn)槿Ｊ綍?huì)把「人工智能」切成「人工」「智能」「人工智能」三個(gè)詞權(quán)重被稀釋。import jieba import jieba.analyse # 加載自定義詞典把領(lǐng)域?qū)Ｓ性~固定下來 jieba.load_userdict(user_dict.txt) text 人工智能正在從嘗鮮工具變成日常幫手Python 是其中最常用的實(shí)現(xiàn)語(yǔ)言。 # 精確模式分詞 words jieba.lcut(text) print(words) # [人工智能, 正在, 從, 嘗鮮, 工具, 變成, 日常, 幫手, , Python, 是, 其中, 最, 常用, 的, 實(shí)現(xiàn), 語(yǔ)言, 。] # 過濾停用詞和單字 stopwords set(open(stopwords.txt, encodingutf-8).read().split()) filtered [w for w in words if w not in stopwords and len(w) 1] print(filtered) # [人工智能, 嘗鮮, 工具, 變成, 日常, 幫手, Python, 其中, 常用, 實(shí)現(xiàn), 語(yǔ)言]這段代碼的邏輯是先加載用戶詞典把「人工智能」「詞向量」這類會(huì)被 jieba 切碎的詞固定成一個(gè)整體然后精確模式切分最后用停用詞表和長(zhǎng)度閾值過濾。參數(shù)上len(w) 1這個(gè)閾值不是絕對(duì)的——如果你的語(yǔ)料里「云」「鏈」這類單字是核心概念就得放寬到 1但代價(jià)是噪聲詞會(huì)明顯增多。停用詞表建議用哈工大停用詞表打底再手動(dòng)補(bǔ)上你語(yǔ)料里的高頻無(wú)意義詞比如「進(jìn)行」「方面」「問題」。提示自定義詞典的格式是「詞語(yǔ) 詞頻 詞性」詞頻可以省略但詞性如果寫了后續(xù)做詞性過濾時(shí)能直接用。2.2 TF-IDF 抽取統(tǒng)計(jì)基線怎么調(diào)才不虛TF-IDF 的核心思想很直白一個(gè)詞在當(dāng)前文檔里出現(xiàn)越多、在整個(gè)語(yǔ)料里出現(xiàn)越少它就越可能是關(guān)鍵詞。jieba 的analyse.extract_tags已經(jīng)封裝好了這套邏輯但默認(rèn)參數(shù)在中文短文本上經(jīng)常抽出一堆無(wú)意義的高頻詞。import jieba.analyse text open(sample.txt, encodingutf-8).read() # 提取 TopK 關(guān)鍵詞帶權(quán)重 keywords jieba.analyse.extract_tags( text, topK20, # 返回前 20 個(gè) withWeightTrue, # 返回權(quán)重 allowPOS(n, nr, ns, nt, nz, v, vn) # 只保留名詞和動(dòng)詞 ) for word, weight in keywords: print(f{word}\t{weight:.4f})這里最關(guān)鍵的兩個(gè)參數(shù)是topK和allowPOS。topK按經(jīng)驗(yàn)取文檔長(zhǎng)度的平方根左右比較穩(wěn)比如 500 字的文本取 15 到 20 個(gè)。allowPOS是過濾詞性的只保留名詞、人名、地名、機(jī)構(gòu)名、其他專名、動(dòng)詞和名動(dòng)詞能把「的」「了」「是」這類虛詞和大部分形容詞擋在外面。如果你不設(shè)這個(gè)參數(shù)TF-IDF 很容易把「可以」「進(jìn)行」排到前面。TF-IDF 的短板在于它完全依賴詞頻統(tǒng)計(jì)不理解語(yǔ)義。比如「電腦」和「計(jì)算機(jī)」在它眼里是兩個(gè)無(wú)關(guān)的詞權(quán)重各算各的。這就是為什么需要 TextRank 和 Word2Vec 來補(bǔ)。2.3 TextRank 抽取把詞共現(xiàn)變成圖排序TextRank 的思路來自 PageRank把每個(gè)詞當(dāng)成圖里的節(jié)點(diǎn)如果兩個(gè)詞在同一個(gè)窗口內(nèi)共現(xiàn)就在它們之間連一條邊邊的權(quán)重是共現(xiàn)次數(shù)。然后在這個(gè)圖上迭代計(jì)算每個(gè)節(jié)點(diǎn)的重要性最后按分?jǐn)?shù)排序取 TopK。import jieba.analyse text open(sample.txt, encodingutf-8).read() # TextRank 抽取窗口默認(rèn) 5 keywords jieba.analyse.textrank( text, topK20, withWeightTrue, allowPOS(n, vn, v) ) for word, weight in keywords: print(f{word}\t{weight:.4f})TextRank 和 TF-IDF 最大的區(qū)別是TF-IDF 看的是「這個(gè)詞在多少文檔里出現(xiàn)過」TextRank 看的是「這個(gè)詞和多少重要詞一起出現(xiàn)過」。所以在單篇長(zhǎng)文本上TextRank 往往比 TF-IDF 更穩(wěn)因?yàn)樗灰蕾囃獠空Z(yǔ)料庫(kù)的 IDF 值。但 TextRank 有個(gè)坑窗口大小span默認(rèn)是 5如果你的文本句子很短窗口會(huì)跨句共現(xiàn)把不相關(guān)的詞連起來。常見做法是先按句號(hào)、問號(hào)、感嘆號(hào)分句再在每句內(nèi)部做 TextRank或者把span調(diào)到 3 到 4。另一個(gè)坑是 TextRank 對(duì)高頻虛詞敏感。雖然allowPOS能擋掉一部分但像「使用」「進(jìn)行」這種動(dòng)詞如果沒進(jìn)停用詞表還是會(huì)被排上來。我的習(xí)慣是TextRank 跑完之后再拿停用詞表過一遍把明顯無(wú)意義的詞手動(dòng)剔掉。2.4 兩種方法的對(duì)照與選型把 TF-IDF 和 TextRank 放在一起跑同一段文本你會(huì)發(fā)現(xiàn)結(jié)果重疊度大概在 40% 到 60% 之間。重疊的部分通常是真正的核心詞不重疊的部分各有偏向TF-IDF 偏向全局高頻詞TextRank 偏向局部共現(xiàn)密集的詞。維度TF-IDFTextRank依賴外部語(yǔ)料需要 IDF 語(yǔ)料庫(kù)不需要單篇可跑適合文本長(zhǎng)度中長(zhǎng)文本、多文檔單篇長(zhǎng)文本對(duì)分詞質(zhì)量敏感度高高語(yǔ)義理解無(wú)無(wú)典型翻車場(chǎng)景短文本抽出通用詞跨句共現(xiàn)引入噪聲選型上如果你手頭是一批文檔要做關(guān)鍵詞提取TF-IDF 更合適因?yàn)?IDF 值能跨文檔計(jì)算如果是一篇幾千字的報(bào)告要抽核心概念TextRank 通常更準(zhǔn)。但兩者都解決不了同義詞問題這就得靠 Word2Vec。3. Word2Vec 詞向量與聚類讓語(yǔ)義相近的詞自動(dòng)歸堆3.1 訓(xùn)練詞向量語(yǔ)料、參數(shù)與常見翻車點(diǎn)Word2Vec 把詞映射成稠密向量語(yǔ)義相近的詞在向量空間里距離更近。用它做關(guān)鍵詞抽取的思路是先訓(xùn)練詞向量再對(duì)詞向量做聚類把語(yǔ)義相近的詞歸成一簇每簇選一個(gè)代表詞作為關(guān)鍵詞。from gensim.models import Word2Vec import jieba import logging logging.basicConfig(format%(asctime)s : %(levelname)s : %(message)s, levellogging.INFO) # 讀取語(yǔ)料每行一篇文檔 corpus [] with open(corpus.txt, encodingutf-8) as f: for line in f: words jieba.lcut(line.strip()) words [w for w in words if len(w) 1 and w not in stopwords] if words: corpus.append(words) # 訓(xùn)練 Word2Vec model Word2Vec( sentencescorpus, vector_size100, # 向量維度 window5, # 上下文窗口 min_count5, # 低于此頻率的詞丟棄 workers4, # 并行線程數(shù) sg1, # 1 表示 Skip-gram0 表示 CBOW epochs10 # 迭代輪數(shù) ) model.save(word2vec.model)參數(shù)上vector_size取 100 到 300 之間比較常見語(yǔ)料小就取 100語(yǔ)料大可以到 300。window控制上下文范圍中文一般取 5。min_count是過濾低頻詞的語(yǔ)料小于 10 萬(wàn)詞時(shí)取 3 到 5語(yǔ)料大可以取 10 以上。sg1用 Skip-gram對(duì)低頻詞更友好但訓(xùn)練慢sg0用 CBOW訓(xùn)練快但低頻詞效果差。epochs一般 5 到 15 輪再多容易過擬合。注意Word2Vec 訓(xùn)練語(yǔ)料如果太小比如只有幾萬(wàn)字詞向量質(zhì)量會(huì)很差聚類結(jié)果基本不可用。常見做法是拿領(lǐng)域內(nèi)的大規(guī)模無(wú)標(biāo)注文本先訓(xùn)一版或者直接用預(yù)訓(xùn)練詞向量。3.2 K-Means 聚類把詞向量歸成關(guān)鍵詞簇有了詞向量之后對(duì)詞向量做 K-Means 聚類每個(gè)簇里的詞語(yǔ)義相近。然后從每個(gè)簇里選一個(gè)離質(zhì)心最近的詞作為代表就是關(guān)鍵詞。from sklearn.cluster import KMeans import numpy as np # 取出詞表中所有詞的向量 words list(model.wv.index_to_key) vectors np.array([model.wv[w] for w in words]) # 聚類K 取 10 到 20 之間 k 15 kmeans KMeans(n_clustersk, random_state42, n_init10) labels kmeans.fit_predict(vectors) # 每個(gè)簇選離質(zhì)心最近的詞作為代表 for i in range(k): cluster_words [words[j] for j in range(len(words)) if labels[j] i] if not cluster_words: continue cluster_vectors np.array([model.wv[w] for w in cluster_words]) centroid kmeans.cluster_centers_[i] distances np.linalg.norm(cluster_vectors - centroid, axis1) representative cluster_words[np.argmin(distances)] print(f簇 {i}: 代表詞{representative}, 成員{cluster_words[:10]})n_clusters的選擇沒有固定公式一般按語(yǔ)料規(guī)模和關(guān)鍵詞數(shù)量預(yù)期來定。語(yǔ)料幾萬(wàn)字取 10 到 15幾十萬(wàn)字取 20 到 30。n_init10表示用不同初始質(zhì)心跑 10 次取最優(yōu)避免局部最優(yōu)。random_state固定住是為了結(jié)果可復(fù)現(xiàn)。聚類結(jié)果里經(jīng)常會(huì)出現(xiàn)一些簇全是噪聲詞或者一個(gè)簇里混了多個(gè)主題。這時(shí)候要么調(diào) K要么在聚類前先用 TF-IDF 或 TextRank 篩一遍候選詞只對(duì)候選詞做聚類能明顯提升質(zhì)量。3.3 三種方法的融合候選詞篩選加語(yǔ)義歸并單獨(dú)用 Word2Vec 聚類的問題是它會(huì)把所有詞都拿來聚包括大量無(wú)意義詞。所以實(shí)際工程里常見做法是先用 TF-IDF 或 TextRank 抽出一批候選詞再對(duì)候選詞的詞向量做聚類把語(yǔ)義相近的候選詞歸并成簇每簇選一個(gè)代表。# 先用 TextRank 抽候選詞 candidates jieba.analyse.textrank(text, topK50, withWeightFalse, allowPOS(n, vn, v)) # 只保留在詞向量詞表里的候選詞 candidates [w for w in candidates if w in model.wv] # 對(duì)候選詞向量聚類 candidate_vectors np.array([model.wv[w] for w in candidates]) kmeans KMeans(n_clusters8, random_state42, n_init10) labels kmeans.fit_predict(candidate_vectors) # 輸出每個(gè)簇的代表詞 for i in range(8): cluster_words [candidates[j] for j in range(len(candidates)) if labels[j] i] if cluster_words: print(f關(guān)鍵詞簇 {i}: {cluster_words})這樣做的邏輯是TextRank 負(fù)責(zé)從原文里篩出「值得考慮」的詞Word2Vec 聚類負(fù)責(zé)把「電腦」「計(jì)算機(jī)」「PC」這類同義詞歸到一起最后每個(gè)簇輸出一個(gè)代表詞。參數(shù)上候選詞數(shù)量topK取 30 到 50 比較合適太少會(huì)漏掉重要詞太多會(huì)引入噪聲。聚類數(shù)n_clusters取候選詞數(shù)量的 1/5 到 1/3。3.4 效果驗(yàn)證怎么判斷抽出來的關(guān)鍵詞靠不靠譜關(guān)鍵詞抽取沒有絕對(duì)的標(biāo)準(zhǔn)答案但可以用幾個(gè)方法交叉驗(yàn)證。一是人工抽查隨機(jī)抽 20 篇文檔看抽出的關(guān)鍵詞是否覆蓋了文檔核心內(nèi)容。二是對(duì)比不同方法的重疊度如果 TF-IDF、TextRank、Word2Vec 三種方法都抽出了同一個(gè)詞那這個(gè)詞大概率是真正重要的。三是用下游任務(wù)驗(yàn)證把關(guān)鍵詞喂給分類器或檢索系統(tǒng)看效果有沒有提升。我一般會(huì)先跑一版三種方法的結(jié)果人工看一遍把明顯不對(duì)的詞記下來反推是分詞問題、停用詞問題還是參數(shù)問題。這個(gè)過程比調(diào)參本身更重要。4. 避坑與排查中文關(guān)鍵詞抽取里最容易翻車的五個(gè)地方4.1 分詞把關(guān)鍵詞切碎導(dǎo)致權(quán)重全錯(cuò)現(xiàn)象TF-IDF 和 TextRank 抽出來的詞都是「人工」「智能」這種碎片而不是「人工智能」。原因jieba 默認(rèn)詞典里沒有「人工智能」這個(gè)整體詞或者你的領(lǐng)域?qū)Ｓ性~沒進(jìn)自定義詞典。解決在分詞前加載自定義詞典把領(lǐng)域詞固定下來。格式是每行一個(gè)詞可以帶詞頻和詞性。如果詞很多可以從領(lǐng)域語(yǔ)料里用新詞發(fā)現(xiàn)算法先跑一遍把高頻共現(xiàn)的字組合提取出來。4.2 停用詞表不匹配高頻虛詞霸榜現(xiàn)象抽出來的關(guān)鍵詞里有「進(jìn)行」「方面」「問題」「使用」這類詞。原因停用詞表用的是通用表沒有覆蓋你語(yǔ)料里的高頻無(wú)意義詞。解決先跑一遍詞頻統(tǒng)計(jì)把 Top 100 高頻詞里明顯無(wú)意義的詞手動(dòng)加進(jìn)停用詞表。這個(gè)步驟每個(gè)新語(yǔ)料都要做一遍沒有一勞永逸的停用詞表。4.3 TextRank 窗口跨句共現(xiàn)引入無(wú)關(guān)詞現(xiàn)象TextRank 抽出的詞里有一些和文檔主題無(wú)關(guān)的詞。原因默認(rèn)窗口span5在短句文本上會(huì)跨句共現(xiàn)把不同句子的詞連起來。解決先按標(biāo)點(diǎn)分句再在每句內(nèi)部做 TextRank或者把span調(diào)到 3。如果文本句子普遍很短分句處理是必須的。4.4 Word2Vec 語(yǔ)料太小詞向量質(zhì)量差現(xiàn)象聚類結(jié)果里同一個(gè)簇的詞語(yǔ)義不相關(guān)或者所有詞都聚成一簇。原因訓(xùn)練語(yǔ)料太小詞向量沒有學(xué)到有效的語(yǔ)義關(guān)系。解決要么擴(kuò)大語(yǔ)料要么直接用預(yù)訓(xùn)練詞向量。如果必須用小語(yǔ)料訓(xùn)練把vector_size降到 50 到 100min_count降到 2 到 3epochs增加到 15 到 20但效果提升有限。4.5 聚類數(shù) K 拍腦袋定結(jié)果不可用現(xiàn)象聚類結(jié)果要么一個(gè)簇里幾百個(gè)詞要么每個(gè)簇只有一兩個(gè)詞。原因n_clusters沒有根據(jù)候選詞數(shù)量調(diào)整。解決先用肘部法或輪廓系數(shù)粗估一個(gè)范圍再人工看幾組結(jié)果。經(jīng)驗(yàn)值是候選詞數(shù)量的 1/5 到 1/3。如果候選詞只有 30 個(gè)K 取 6 到 10如果候選詞有 200 個(gè)K 取 20 到 40。5. 把三種方法串成一條流水線一個(gè)可復(fù)用的抽取腳本前面幾章分別講了 TF-IDF、TextRank、Word2Vec 聚類的實(shí)現(xiàn)但實(shí)際工程里不會(huì)單獨(dú)用某一種而是串成一條流水線分詞 → 候選詞篩選 → 語(yǔ)義聚類 → 輸出關(guān)鍵詞。下面這個(gè)腳本把三種方法整合在一起輸入一段中文文本輸出最終的關(guān)鍵詞列表。import jieba import jieba.analyse import numpy as np from gensim.models import Word2Vec from sklearn.cluster import KMeans class KeywordExtractor: def __init__(self, stopwords_path, userdict_pathNone, w2v_modelNone): self.stopwords set(open(stopwords_path, encodingutf-8).read().split()) if userdict_path: jieba.load_userdict(userdict_path) self.w2v w2v_model def preprocess(self, text): words jieba.lcut(text) return [w for w in words if w not in self.stopwords and len(w) 1] def extract_tfidf(self, text, topK20): return jieba.analyse.extract_tags( text, topKtopK, withWeightTrue, allowPOS(n, nr, ns, nt, nz, v, vn) ) def extract_textrank(self, text, topK20): return jieba.analyse.textrank( text, topKtopK, withWeightTrue, allowPOS(n, vn, v) ) def extract_w2v_cluster(self, text, topK50, n_clusters8): if self.w2v is None: raise ValueError(需要傳入訓(xùn)練好的 Word2Vec 模型) candidates jieba.analyse.textrank( text, topKtopK, withWeightFalse, allowPOS(n, vn, v) ) candidates [w for w in candidates if w in self.w2v.wv] if len(candidates) n_clusters: return [(w, 1.0) for w in candidates] vectors np.array([self.w2v.wv[w] for w in candidates]) kmeans KMeans(n_clustersn_clusters, random_state42, n_init10) labels kmeans.fit_predict(vectors) result [] for i in range(n_clusters): cluster_words [candidates[j] for j in range(len(candidates)) if labels[j] i] if cluster_words: cluster_vectors np.array([self.w2v.wv[w] for w in cluster_words]) centroid kmeans.cluster_centers_[i] distances np.linalg.norm(cluster_vectors - centroid, axis1) representative cluster_words[np.argmin(distances)] result.append((representative, len(cluster_words))) return result def extract_all(self, text): tfidf self.extract_tfidf(text) textrank self.extract_textrank(text) w2v self.extract_w2v_cluster(text) return { tfidf: tfidf, textrank: textrank, w2v_cluster: w2v } # 使用示例 extractor KeywordExtractor( stopwords_pathstopwords.txt, userdict_pathuser_dict.txt, w2v_modelWord2Vec.load(word2vec.model) ) text open(sample.txt, encodingutf-8).read() results extractor.extract_all(text) print(TF-IDF:, [w for w, _ in results[tfidf][:10]]) print(TextRank:, [w for w, _ in results[textrank][:10]]) print(Word2Vec 聚類:, [w for w, _ in results[w2v_cluster]])這個(gè)腳本的關(guān)鍵設(shè)計(jì)是extract_all同時(shí)返回三種方法的結(jié)果方便對(duì)照。extract_w2v_cluster里先做候選詞篩選再聚類避免噪聲詞干擾。n_clusters默認(rèn)取 8實(shí)際用時(shí)按候選詞數(shù)量調(diào)整。如果候選詞少于聚類數(shù)直接返回候選詞本身不強(qiáng)行聚類。參數(shù)調(diào)整上topK控制每種方法返回的關(guān)鍵詞數(shù)量一般 15 到 30 之間。n_clusters控制 Word2Vec 聚類的簇?cái)?shù)候選詞 50 個(gè)左右時(shí)取 8 到 12 比較合適。停用詞表和自定義詞典需要根據(jù)語(yǔ)料手動(dòng)維護(hù)沒有通用版本。驗(yàn)證方法上我習(xí)慣先跑一遍三種方法把結(jié)果并排看。如果三種方法都抽出了同一個(gè)詞這個(gè)詞基本可以確定是核心關(guān)鍵詞。如果只有一種方法抽出某個(gè)詞就要人工判斷是不是噪聲。這個(gè)對(duì)照過程跑幾輪之后你對(duì)參數(shù)的直覺會(huì)準(zhǔn)很多。從那以后我每次換新語(yǔ)料都強(qiáng)制先跑一遍詞頻統(tǒng)計(jì)和分詞檢查確認(rèn)停用詞表和自定義詞典沒問題再開始調(diào)抽取參數(shù)。這個(gè)習(xí)慣幫我省掉了大量返工時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取