崙?zhàn)：出土經(jīng)濟(jì)文獻(xiàn)清洗、關(guān)鍵詞提取與查詢(xún)系統(tǒng))
如果要把一批與經(jīng)濟(jì)相關(guān)的出土文獻(xiàn)整理成可檢索、可統(tǒng)計(jì)的數(shù)據(jù)庫(kù)最麻煩的往往不是歷史考證本身而是資料格式混亂、釋文版本不一致、關(guān)鍵詞難以統(tǒng)一。手工維護(hù)這樣的資料庫(kù)效率很低也容易漏查漏統(tǒng)計(jì)。本文圍繞甲骨文等出土文獻(xiàn)中的經(jīng)濟(jì)類(lèi)記錄分享一套基于 Python 的文本清洗、關(guān)鍵詞提取和本地查詢(xún)工具適合歷史數(shù)字化項(xiàng)目、資料整理腳本和入門(mén) NLP 練習(xí)。需要說(shuō)明的是本文不打算對(duì)“古代經(jīng)濟(jì)治理”下定論更不會(huì)去爭(zhēng)議某一種歷史敘事是否正確。文章的核心是把分散的釋文材料用工程化方式組織成干凈、可檢索、可統(tǒng)計(jì)的數(shù)據(jù)集。只要資料本身來(lái)自公開(kāi)可靠的渠道這套工具就可以復(fù)用到碑刻、簡(jiǎn)牘、書(shū)信檔案等各類(lèi)文獻(xiàn)數(shù)字化場(chǎng)景中。1. 背景與核心概念1.1 什么是出土文獻(xiàn)文本挖掘文本挖掘并不是新的概念它指的是從非結(jié)構(gòu)化文本中提取結(jié)構(gòu)化信息的過(guò)程。對(duì)于古代文獻(xiàn)來(lái)說(shuō)原始材料往往以拓片、照片、掃描圖或?qū)W者手錄釋文的形式存在計(jì)算機(jī)不能直接理解其中的句讀和語(yǔ)義。文本挖掘的第一步是把這些材料轉(zhuǎn)成可編輯的文字文本再做清洗、分詞、統(tǒng)計(jì)和索引。經(jīng)濟(jì)類(lèi)記錄在出土文獻(xiàn)中非常常見(jiàn)例如田獵、農(nóng)作物收成、貢納物品、牲畜數(shù)量、手工器物等。研究者在整理這類(lèi)材料時(shí)最關(guān)心的通常不是單個(gè)字詞的長(zhǎng)篇考證而是三個(gè)問(wèn)題哪些記錄涉及經(jīng)濟(jì)主題這些記錄在哪些時(shí)間段或地點(diǎn)出現(xiàn)不同關(guān)鍵詞的頻次分布如何這正好是結(jié)構(gòu)化文本檢索能夠解決的問(wèn)題。1.2 為什么選擇甲骨文作為示例甲骨文是商代晚期以占卜記錄為主的出土文字主要發(fā)現(xiàn)于河南安陽(yáng)殷墟一帶。其內(nèi)容常涉及農(nóng)業(yè)、田獵、貢納、戰(zhàn)爭(zhēng)、祭祀等對(duì)研究當(dāng)時(shí)的經(jīng)濟(jì)活動(dòng)有重要參考價(jià)值。由于甲骨文釋文存在大量異體字、假借字和殘辭數(shù)字化整理比普通古籍更難也更需要規(guī)范的數(shù)據(jù)結(jié)構(gòu)。不過(guò)要特別注意甲骨文釋文具有很強(qiáng)專(zhuān)業(yè)性。同一片甲骨在不同著錄書(shū)中的隸定寫(xiě)法可能不同補(bǔ)字、缺字、通假字的處理方式也不一樣。本文的工具邏輯建立在已經(jīng)由專(zhuān)業(yè)學(xué)者整理好的釋文或現(xiàn)代譯文之上不負(fù)責(zé)自動(dòng)識(shí)別拓片也不參與古文字釋義層面的判斷。1.3 技術(shù)方案的邊界本文給出的方案屬于“資料整理后半段”假設(shè)你已經(jīng)拿到了可編輯的文本數(shù)據(jù)需要做清洗、統(tǒng)計(jì)和查詢(xún)。至于拓片如何識(shí)別、文字如何隸定、真?zhèn)稳绾闻袛嗖粚儆谶@套腳本的處理范圍。在工程上這個(gè)項(xiàng)目會(huì)用到 pandas 處理表格數(shù)據(jù)使用規(guī)則清洗文本再用關(guān)鍵詞詞典統(tǒng)計(jì)經(jīng)濟(jì)類(lèi)詞匯最后通過(guò) Flask 提供一個(gè)簡(jiǎn)單的本地查詢(xún)接口。整個(gè)項(xiàng)目可以在普通筆記本上運(yùn)行不依賴(lài)服務(wù)器和大數(shù)據(jù)平臺(tái)。2. 環(huán)境準(zhǔn)備與版本說(shuō)明2.1 運(yùn)行環(huán)境本文示例以 Python 3.9 及以上版本為準(zhǔn)操作系統(tǒng)可以是 Windows、macOS 或 Linux。下面的命令在 Windows 命令提示符和 Linux/macOS 終端中都可以使用只是個(gè)別中文字體路徑需要根據(jù)系統(tǒng)調(diào)整。建議先創(chuàng)建獨(dú)立的虛擬環(huán)境避免依賴(lài)沖突。在項(xiàng)目根目錄執(zhí)行python -m venv venvWindows 系統(tǒng)激活虛擬環(huán)境venv\Scripts\activateLinux 或 macOS 系統(tǒng)激活虛擬環(huán)境source venv/bin/activate2.2 依賴(lài)清單項(xiàng)目需要以下第三方庫(kù)庫(kù)名用途pandas讀取和處理 CSV 數(shù)據(jù)flask提供本地查詢(xún)接口wordcloud生成關(guān)鍵詞詞云matplotlib渲染并保存詞云圖片jieba對(duì)現(xiàn)代譯文做分詞演示創(chuàng)建一個(gè)requirements.txt文件內(nèi)容如下pandas flask wordcloud matplotlib jieba安裝依賴(lài)pip install -r requirements.txt版本需要根據(jù)你的實(shí)際環(huán)境調(diào)整本文重點(diǎn)演示完整實(shí)現(xiàn)思路。2.3 項(xiàng)目目錄結(jié)構(gòu)建議按下面的目錄組織工程原始數(shù)據(jù)、處理腳本、詞典、輸出結(jié)果分開(kāi)存放economic-doc-mining/ ├── data/ │ ├── jiaguwen_records.csv │ └── jiaguwen_records_clean.csv ├── config/ │ ├── econ_terms.txt │ └── stopwords.txt ├── output/ │ ├── keyword_stats.csv │ └── keyword_cloud.png ├── scripts/ │ ├── clean_text.py │ ├── extract_keywords.py │ ├── tokenize_text.py │ └── app.py ├── requirements.txt └── README.md這種結(jié)構(gòu)的好處是數(shù)據(jù)、代碼、配置相互隔離。后續(xù)如果新增字典或擴(kuò)充數(shù)據(jù)不需要改動(dòng)腳本主體。3. 核心語(yǔ)法與原理拆解3.1 數(shù)據(jù)表設(shè)計(jì)要把零散的文獻(xiàn)資料變成可統(tǒng)計(jì)的結(jié)構(gòu)化數(shù)據(jù)第一步是設(shè)計(jì)表格字段。對(duì)于出土文獻(xiàn)建議至少包含以下列字段名說(shuō)明id記錄編號(hào)保持唯一source來(lái)源著錄或數(shù)據(jù)庫(kù)名稱(chēng)category主題分類(lèi)如 agriculture、hunting、tributeperiod時(shí)期或分期信息original_text原始釋文或原文translated_text現(xiàn)代漢語(yǔ)譯文或整理說(shuō)明notes備注、補(bǔ)字說(shuō)明、審核狀態(tài)推薦統(tǒng)一使用 CSV 格式存儲(chǔ)因?yàn)?CSV 輕量、跨平臺(tái)、容易用 pandas 讀取。不過(guò)要注意原始釋文里可能包含特殊符號(hào)例如□表示缺字[]表示補(bǔ)字。這些符號(hào)在清洗階段需要特別處理不能簡(jiǎn)單刪除否則會(huì)丟失釋文信息。3.2 文本清洗的作用原始數(shù)據(jù)通常存在換行、多余空格、全角半角混用、特殊符號(hào)等問(wèn)題。如果不做清洗關(guān)鍵詞匹配時(shí)很容易出現(xiàn)“田”能查到但加了全角空格后“田”查不到的情況。清洗的目標(biāo)是統(tǒng)一格式但不要破壞文獻(xiàn)原意。對(duì)于經(jīng)濟(jì)類(lèi)統(tǒng)計(jì)推薦清洗策略如下將換行符替換為空格避免跨行文本被硬拆開(kāi)。多個(gè)連續(xù)空格壓縮為一個(gè)空格。刪除不需要的 URL、英文字符以外的干擾符號(hào)。保留漢字、數(shù)字、常用中文標(biāo)點(diǎn)。對(duì)□等缺字符號(hào)可以保留或按需替換為占位符不能直接丟棄。3.3 關(guān)鍵詞詞典設(shè)計(jì)關(guān)鍵詞統(tǒng)計(jì)有兩種常見(jiàn)做法一種是用 jieba 通用分詞后統(tǒng)計(jì)高頻詞另一種是使用自定義經(jīng)濟(jì)類(lèi)術(shù)語(yǔ)詞典直接匹配。前者的優(yōu)勢(shì)是發(fā)現(xiàn)未知詞后者的優(yōu)勢(shì)是結(jié)果更可控、解釋成本更低。本文推薦“詞典匹配為主、分詞為輔”的組合策略。先在config/econ_terms.txt中維護(hù)一份經(jīng)濟(jì)類(lèi)詞表詞表需要由熟悉文獻(xiàn)的整理者審核。示例詞表如下田 禾 麥 黍 年 刈 獲 獵 漁 貢 獻(xiàn) 牛 羊 馬 貝 絲 帛 車(chē) 舟 倉(cāng) 廩 谷 粟 酒 鬯注意這只是一個(gè)演示詞表不代表甲骨文中這些字全部具有經(jīng)濟(jì)含義。實(shí)際項(xiàng)目中詞表應(yīng)當(dāng)經(jīng)過(guò)專(zhuān)題文獻(xiàn)綜述和專(zhuān)業(yè)人員確認(rèn)。3.4 為什么不能直接把甲骨文原文交給分詞器jieba 是基于現(xiàn)代漢語(yǔ)語(yǔ)料訓(xùn)練的分詞工具對(duì)碑刻、簡(jiǎn)帛、甲骨文的切分效果并不穩(wěn)定。甲骨文原文沒(méi)有現(xiàn)代句讀頻繁出現(xiàn)一字多義、通假字、缺字直接分詞會(huì)產(chǎn)生大量無(wú)意義片段。更合理的做法是把原始釋文與整理后的現(xiàn)代譯文分開(kāi)存放統(tǒng)計(jì)操作在translated_text或標(biāo)注后的文本上執(zhí)行。這樣既能保留原文資料又能讓 NLP 工具有一個(gè)相對(duì)規(guī)范的句子邊界。下面是一個(gè)簡(jiǎn)單的分詞演示腳本用于觀察現(xiàn)代譯文的分詞效果。注意它不對(duì)原始釋文生效。# 文件路徑scripts/tokenize_text.py import jieba import pandas as pd df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) for text in df[clean_text].head(5): words [w for w in jieba.lcut(text) if w.strip()] print(words)運(yùn)行后會(huì)輸出類(lèi)似下面的分詞結(jié)果[商王, 卜問(wèn), 今年, 農(nóng)作物, 是否, 有, 好收成]這里只是一個(gè)通俗示例。如果你要做更嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)文本分析建議配合專(zhuān)家整理的專(zhuān)名表一起使用。4. 完整實(shí)戰(zhàn)案例4.1 準(zhǔn)備演示數(shù)據(jù)為了演示流程先準(zhǔn)備一份模擬數(shù)據(jù)。以下內(nèi)容僅用于說(shuō)明數(shù)據(jù)分析過(guò)程不是真實(shí)甲骨文釋文也不代表任何學(xué)術(shù)判斷。請(qǐng)勿把它用于正式研究引用。文件路徑data/jiaguwen_records.csvid,source,category,period,original_text,translated_text,notes a001,演示資料,agriculture,商代晚期,示例原文,商王卜問(wèn)今年農(nóng)作物是否有好收成,示例數(shù)據(jù) a002,演示資料,hunting,商代晚期,示例原文,田獵并記錄捕獲獵物的種類(lèi)和數(shù)量,示例數(shù)據(jù) a003,演示資料,tribute,商代晚期,示例原文,記錄某地進(jìn)貢的牲畜和物資,示例數(shù)據(jù) a004,演示資料,agriculture,商代晚期,示例原文,卜問(wèn)禾苗生長(zhǎng)是否會(huì)遇到災(zāi)害,示例數(shù)據(jù) a005,演示資料,trade,商代晚期,示例原文,記錄交換貝和絲的記錄,示例數(shù)據(jù) a006,演示資料,fishing,商代晚期,示例原文,記錄漁獲數(shù)量較多,示例數(shù)據(jù) a007,演示資料,animal_husbandry,商代晚期,示例原文,登記牛欄中的牛數(shù)量,示例數(shù)據(jù) a008,演示資料,storage,商代晚期,示例原文,檢查倉(cāng)廩中糧食儲(chǔ)存情況,示例數(shù)據(jù) a009,演示資料,agriculture,商代晚期,示例原文,麥子成熟后準(zhǔn)備收割,示例數(shù)據(jù) a010,演示資料,hunting,商代晚期,示例原文,獵獲鹿若干只并記錄用途,示例數(shù)據(jù)original_text一欄保留原文信息這里示例用“示例原文”代替。translated_text是整理后的對(duì)照文本是后續(xù)統(tǒng)計(jì)的主要對(duì)象。4.2 編寫(xiě)文本清洗腳本清洗腳本負(fù)責(zé)讀取原始 CSV清洗譯文并生成新文件。文件路徑scripts/clean_text.py# -*- coding: utf-8 -*- import re import pandas as pd def clean_text(text): 清洗單個(gè)文本字段。 text str(text) if text is not None else text text.replace(\n, ) text re.sub(r\s, , text) # 保留中文字符、數(shù)字、常用標(biāo)點(diǎn)去掉其余噪音字符。 text re.sub(r[^\u4e00-\u9fff0-9A-Za-z。、《》], , text) return text.strip() def main(): df pd.read_csv(./data/jiaguwen_records.csv) if clean_text not in df.columns: df[clean_text] df[clean_text] df[translated_text].fillna().map(clean_text) df.to_csv(./data/jiaguwen_records_clean.csv, indexFalse, encodingutf-8-sig) print(f清洗完成共 {len(df)} 條記錄) if __name__ __main__: main()這里的關(guān)鍵是encodingutf-8-sig。它會(huì)在文件開(kāi)頭加入 BOM讓 Windows 下的 Excel 直接打開(kāi) CSV 時(shí)不出現(xiàn)中文亂碼。如果只在 Linux 終端中使用改成utf-8也可以但為了兼容辦公場(chǎng)景建議保留utf-8-sig。清洗后的數(shù)據(jù)仍然保留original_text不會(huì)破壞原始釋文信息。clean_text只作為檢索和統(tǒng)計(jì)字段存在。4.3 編寫(xiě)關(guān)鍵詞統(tǒng)計(jì)腳本關(guān)鍵詞統(tǒng)計(jì)腳本會(huì)讀取config/econ_terms.txt詞典在清洗后的文本中匹配詞條并輸出頻率表。文件路徑scripts/extract_keywords.py# -*- coding: utf-8 -*- import re from collections import Counter import pandas as pd def load_terms(path): 加載關(guān)鍵詞詞典。 with open(path, encodingutf-8) as f: terms [line.strip() for line in f if line.strip()] return terms def count_terms_in_text(text, terms): 統(tǒng)計(jì)單個(gè)文本中的關(guān)鍵詞次數(shù)。 counter Counter() for term in terms: # 這里使用正則轉(zhuǎn)義避免特殊字符影響匹配。 count len(re.findall(re.escape(term), text)) if count: counter[term] count return counter def main(): df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) terms load_terms(./config/econ_terms.txt) total_counter Counter() for text in df[clean_text].fillna(): total_counter count_terms_in_text(text, terms) print(關(guān)鍵詞頻次 TOP 20) for word, count in total_counter.most_common(20): print(f{word}\t{count}) result pd.DataFrame(total_counter.most_common(), columns[term, count]) result.to_csv(./output/keyword_stats.csv, indexFalse, encodingutf-8-sig) print(結(jié)果已保存到 output/keyword_stats.csv) if __name__ __main__: main()這段代碼的統(tǒng)計(jì)邏輯很簡(jiǎn)單遍歷詞典中的詞統(tǒng)計(jì)它在每一條翻譯文本里出現(xiàn)的次數(shù)。因?yàn)樵~典中的詞大多是單字或短詞所以準(zhǔn)確率比通用分詞高。缺點(diǎn)是如果詞表存在包含關(guān)系例如同時(shí)包含“田”和“田獵”統(tǒng)計(jì)數(shù)據(jù)會(huì)重復(fù)計(jì)算。實(shí)際使用時(shí)可以把統(tǒng)計(jì)結(jié)果看成“粗粒度命中情況”而不是嚴(yán)格的語(yǔ)言學(xué)詞頻。4.4 編寫(xiě)本地查詢(xún)接口為了方便檢索某條記錄是否包含指定關(guān)鍵詞可以再加一個(gè) Flask 查詢(xún)接口。文件路徑scripts/app.py# -*- coding: utf-8 -*- import pandas as pd from flask import Flask, jsonify, request app Flask(__name__) df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) app.route(/api/search, methods[GET]) def search(): q request.args.get(q, ) if not q: return jsonify({message: 請(qǐng)輸入查詢(xún)?cè)~, data: []}) result df[df[clean_text].str.contains(q, naFalse, regexFalse)] data result.head(20).to_dict(orientrecords) return jsonify({total: len(result), data: data}) app.route(/api/stats, methods[GET]) def stats(): category request.args.get(category, ) if category: sub df[df[category] category] else: sub df return jsonify({category: category, count: len(sub), records: sub.head(10).to_dict(orientrecords)}) if __name__ __main__: # 本機(jī)調(diào)試時(shí)可以開(kāi)啟 debug生產(chǎn)環(huán)境務(wù)必關(guān)閉。 app.run(debugTrue, port5000)啟動(dòng)接口python scripts/app.py瀏覽器訪(fǎng)問(wèn)http://127.0.0.1:5000/api/search?q農(nóng)作物返回結(jié)果中會(huì)包含所有clean_text含“農(nóng)作物”的記錄。再訪(fǎng)問(wèn)http://127.0.0.1:5000/api/stats?categoryagriculture可以看到 agriculture 類(lèi)別的記錄數(shù)量和前 10 條明細(xì)。這里要提醒一句Flask 自帶的服務(wù)適合本機(jī)測(cè)試和內(nèi)網(wǎng)小范圍使用不適合直接暴露到公網(wǎng)。如果要把查詢(xún)接口開(kāi)放給更多人應(yīng)加認(rèn)證、限流和訪(fǎng)問(wèn)日志并使用 Waitress 或 Gunicorn 等生產(chǎn)級(jí) WSGI 服務(wù)器。4.5 生成詞云為了快速查看核心關(guān)鍵詞分布可以生成一張?jiān)~云圖。文件路徑scripts/gen_wordcloud.py# -*- coding: utf-8 -*- import pandas as pd from wordcloud import WordCloud import matplotlib.pyplot as plt def main(): df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) text .join(df[clean_text].fillna()) # 中文字體路徑需要根據(jù)操作系統(tǒng)調(diào)整。 # Windows 常見(jiàn)C:/Windows/Fonts/simhei.ttf # macOS 常見(jiàn)/System/Library/Fonts/PingFang.ttc # Linux 常見(jiàn)/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc wc WordCloud( font_pathC:/Windows/Fonts/simhei.ttf, width800, height600, background_colorwhite, ).generate(text) plt.figure(figsize(10, 6)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.tight_layout() plt.savefig(./output/keyword_cloud.png, dpi200) print(詞云已保存到 output/keyword_cloud.png) if __name__ __main__: main()運(yùn)行python scripts/gen_wordcloud.py如果詞云圖里的中文顯示成方框說(shuō)明font_path指定的字體文件不存在或該字體不支持中文。換用系統(tǒng)里實(shí)際存在的中文字體即可。4.6 運(yùn)行完整流程建議每次新增數(shù)據(jù)后按順序執(zhí)行python scripts/clean_text.py python scripts/extract_keywords.py python scripts/gen_wordcloud.py如果還要查詢(xún)接口再執(zhí)行python scripts/app.py清洗腳本生成干凈數(shù)據(jù)統(tǒng)計(jì)腳本生成頻次表詞云腳本生成可視化結(jié)果查詢(xún)接口支持按關(guān)鍵詞和類(lèi)別檢索。整個(gè)流程可以重復(fù)執(zhí)行數(shù)據(jù)更新后不需要改代碼。5. 常見(jiàn)問(wèn)題與排查思路5.1 高頻問(wèn)題排查表問(wèn)題現(xiàn)象常見(jiàn)原因解決思路Excel 打開(kāi) CSV 中文亂碼編碼用了 utf-8 而不是 utf-8-sig寫(xiě)入 CSV 時(shí)使用 encodingutf-8-sig關(guān)鍵詞統(tǒng)計(jì)結(jié)果為空詞典路徑錯(cuò)誤或文本全被清洗刪除檢查 config/econ_terms.txt 是否存在打印清洗后文本詞云中文顯示方框系統(tǒng)沒(méi)有指定中文字體修改 WordCloud 的 font_path 為可用的中文字體查詢(xún)接口啟動(dòng)失敗端口被占用修改 port5000 為其他端口或關(guān)閉占用進(jìn)程查詢(xún)不到某個(gè)詞clean_text 為空檢查 CSV 中 translated_text 字段是否有值統(tǒng)計(jì)詞頻偏多詞典存在互相包含的詞條人工審核詞表必要時(shí)只保留最大粒度詞條5.2 清洗后文本為空的處理如果清洗腳本運(yùn)行后發(fā)現(xiàn)clean_text字段全是空值或異常短優(yōu)先檢查原始 CSV 的列名。CSV 表頭不能有多余空格例如translated_text和translated_text會(huì)被 pandas 視為不同字段。另外如果中文文本被錯(cuò)誤識(shí)別為NaN在讀取后要執(zhí)行fillna()否則后續(xù)str.contains和字符串處理都可能報(bào)錯(cuò)或跳過(guò)記錄。5.3 詞表覆蓋不足的問(wèn)題當(dāng)詞典中缺少某個(gè)經(jīng)濟(jì)類(lèi)詞時(shí)統(tǒng)計(jì)結(jié)果會(huì)偏低。不能簡(jiǎn)單通過(guò)增加通用詞來(lái)提高覆蓋率因?yàn)橥ㄓ迷~可能存在大量非經(jīng)濟(jì)含義。比較好的做法是分兩層先統(tǒng)計(jì)高頻詞再由研究者從高頻詞里篩出經(jīng)濟(jì)相關(guān)詞補(bǔ)充進(jìn)正式詞表。這種“先探索、后固化”的做法比一次性拍腦袋列詞表更可靠也更符合實(shí)際研究的迭代節(jié)奏。6. 最佳實(shí)踐與工程建議6.1 數(shù)據(jù)來(lái)源必須可追溯出土文獻(xiàn)數(shù)字化最忌諱的是來(lái)源不清。每一條記錄都應(yīng)該帶有source字段指向公開(kāi)著錄、數(shù)據(jù)庫(kù)編號(hào)或整理者名稱(chēng)。項(xiàng)目里如果使用掃描件建議單獨(dú)維護(hù)一份文件清單記錄文件來(lái)源、授權(quán)狀態(tài)和處理人。來(lái)源不明或未公開(kāi)授權(quán)的資料不應(yīng)上傳到公共服務(wù)器也不應(yīng)在博客中直接公布完整掃描圖。即使在本地研究中使用也要遵守相關(guān)機(jī)構(gòu)和數(shù)據(jù)庫(kù)的使用協(xié)議。6.2 使用多版本釋文管理同一片甲骨可能存在多種釋文。有的差異很小有的可能影響統(tǒng)計(jì)結(jié)果。建議增加version字段例如version《合集》釋文或version某學(xué)者整理本。統(tǒng)計(jì)分析時(shí)默認(rèn)只針對(duì)某一個(gè)版本不要混合多個(gè)版本否則同一個(gè)字會(huì)被重復(fù)統(tǒng)計(jì)。如果需要做版本比對(duì)可以把多個(gè)版本放在不同的 CSV 文件或分目錄中再寫(xiě)專(zhuān)門(mén)的 diff 腳本而不是把所有版本塞進(jìn)同一張統(tǒng)計(jì)表。6.3 區(qū)分原文和整理譯文原始釋文和現(xiàn)代譯文是兩種不同性質(zhì)的數(shù)據(jù)。原始釋文是歷史材料現(xiàn)代譯文是整理者提供的解釋。這兩者不能混在一個(gè)字段里做關(guān)鍵詞匹配。統(tǒng)計(jì)現(xiàn)代譯文出現(xiàn)的“田”不代表原文中一定寫(xiě)的是“田”。因此本文在數(shù)據(jù)表中單獨(dú)保留了original_text和translated_text。查詢(xún)和詞頻統(tǒng)計(jì)默認(rèn)以translated_text為主如果要檢索原始釋文應(yīng)明確區(qū)分口徑例如搜索字段改為original_text。6.4 安全邊界與最小權(quán)限這個(gè)項(xiàng)目本質(zhì)上是一個(gè)文本檢索工具不涉及任何敏感系統(tǒng)操作。不過(guò)只要上線(xiàn)了 Web 接口就要考慮權(quán)限問(wèn)題。建議做法是Flask 只監(jiān)聽(tīng)127.0.0.1不要監(jiān)聽(tīng)0.0.0.0如果要開(kāi)放訪(fǎng)問(wèn)應(yīng)增加登錄認(rèn)證、操作審計(jì)和請(qǐng)求限流。不要把數(shù)據(jù)庫(kù)連接字符串、API 密鑰或未公開(kāi)文獻(xiàn)掃描件放在 CSV 中一起提交。項(xiàng)目中的配置文件、詞典、數(shù)據(jù)文件最好分開(kāi)管理必要時(shí)把敏感資料放入.gitignore。6.5 結(jié)果解釋要克制文本挖掘工具輸出的只是統(tǒng)計(jì)數(shù)字不是歷史結(jié)論。某個(gè)詞頻次高可能只是因?yàn)楸４嫦聛?lái)的材料數(shù)量多不代表那件事在當(dāng)時(shí)的經(jīng)濟(jì)活動(dòng)中更重要。任何數(shù)字在進(jìn)入結(jié)論之前都需要結(jié)合文獻(xiàn)背景、考古信息和專(zhuān)業(yè)人士判斷。所以這套工具的定位是“輔助檢索與整理”而不是“自動(dòng)得出歷史規(guī)律”。它能讓研究者快速定位材料但最終解釋權(quán)仍然屬于研究者本人。7. 總結(jié)與下一步學(xué)習(xí)方向本文從資料整理的角度完成了一個(gè)經(jīng)濟(jì)類(lèi)出土文獻(xiàn)檢索小工具。通過(guò) pandas 清洗表格數(shù)據(jù)通過(guò)自定義詞典統(tǒng)計(jì)關(guān)鍵詞頻次通過(guò) Flask 提供本地查詢(xún)接口再通過(guò)詞云快速展示文本分布。整套代碼結(jié)構(gòu)簡(jiǎn)單可以復(fù)用到簡(jiǎn)牘、碑刻、契約文書(shū)等多個(gè)文獻(xiàn)數(shù)字化場(chǎng)景。如果繼續(xù)擴(kuò)展這個(gè)項(xiàng)目可以先從三個(gè)方向入手一是接入 OCR 識(shí)別讓掃描拓片自動(dòng)轉(zhuǎn)成文本不過(guò)這需要專(zhuān)門(mén)的古文字識(shí)別模型二是把 CSV 換成 SQLite 或 MySQL讓千萬(wàn)級(jí)記錄也能高效檢索三是引入向量檢索做語(yǔ)義查詢(xún)例如輸入“農(nóng)業(yè)收成”也能匹配到“禾麥?zhǔn)蝠ⅰ毕嚓P(guān)的記錄。實(shí)際項(xiàng)目中更優(yōu)先的是數(shù)據(jù)質(zhì)量。先把來(lái)源字段、版本字段、審核狀態(tài)補(bǔ)齊再優(yōu)化算法也不遲。好的詞典和干凈的原始數(shù)據(jù)遠(yuǎn)比花哨的分析模型更有價(jià)值。如果你在配置過(guò)程中遇到環(huán)境問(wèn)題可以先用文章開(kāi)頭的虛擬環(huán)境隔離依賴(lài)遇到統(tǒng)計(jì)結(jié)果異常先打印清洗后的文本排查再檢查詞典。把每一步跑通之后再遷移到自己的文獻(xiàn)數(shù)據(jù)上。 Python文本挖掘?qū)崙?zhàn)：出土經(jīng)濟(jì)文獻(xiàn)清洗、關(guān)鍵詞提取與查詢(xún)系統(tǒng)
如果要把一批與經(jīng)濟(jì)相關(guān)的出土文獻(xiàn)整理成可檢索、可統(tǒng)計(jì)的數(shù)據(jù)庫(kù)最麻煩的往往不是歷史考證本身而是資料格式混亂、釋文版本不一致、關(guān)鍵詞難以統(tǒng)一。手工維護(hù)這樣的資料庫(kù)效率很低也容易漏查漏統(tǒng)計(jì)。本文圍繞甲骨文等出土文獻(xiàn)中的經(jīng)濟(jì)類(lèi)記錄分享一套基于 Python 的文本清洗、關(guān)鍵詞提取和本地查詢(xún)工具適合歷史數(shù)字化項(xiàng)目、資料整理腳本和入門(mén) NLP 練習(xí)。需要說(shuō)明的是本文不打算對(duì)“古代經(jīng)濟(jì)治理”下定論更不會(huì)去爭(zhēng)議某一種歷史敘事是否正確。文章的核心是把分散的釋文材料用工程化方式組織成干凈、可檢索、可統(tǒng)計(jì)的數(shù)據(jù)集。只要資料本身來(lái)自公開(kāi)可靠的渠道這套工具就可以復(fù)用到碑刻、簡(jiǎn)牘、書(shū)信檔案等各類(lèi)文獻(xiàn)數(shù)字化場(chǎng)景中。1. 背景與核心概念1.1 什么是出土文獻(xiàn)文本挖掘文本挖掘并不是新的概念它指的是從非結(jié)構(gòu)化文本中提取結(jié)構(gòu)化信息的過(guò)程。對(duì)于古代文獻(xiàn)來(lái)說(shuō)原始材料往往以拓片、照片、掃描圖或?qū)W者手錄釋文的形式存在計(jì)算機(jī)不能直接理解其中的句讀和語(yǔ)義。文本挖掘的第一步是把這些材料轉(zhuǎn)成可編輯的文字文本再做清洗、分詞、統(tǒng)計(jì)和索引。經(jīng)濟(jì)類(lèi)記錄在出土文獻(xiàn)中非常常見(jiàn)例如田獵、農(nóng)作物收成、貢納物品、牲畜數(shù)量、手工器物等。研究者在整理這類(lèi)材料時(shí)最關(guān)心的通常不是單個(gè)字詞的長(zhǎng)篇考證而是三個(gè)問(wèn)題哪些記錄涉及經(jīng)濟(jì)主題這些記錄在哪些時(shí)間段或地點(diǎn)出現(xiàn)不同關(guān)鍵詞的頻次分布如何這正好是結(jié)構(gòu)化文本檢索能夠解決的問(wèn)題。1.2 為什么選擇甲骨文作為示例甲骨文是商代晚期以占卜記錄為主的出土文字主要發(fā)現(xiàn)于河南安陽(yáng)殷墟一帶。其內(nèi)容常涉及農(nóng)業(yè)、田獵、貢納、戰(zhàn)爭(zhēng)、祭祀等對(duì)研究當(dāng)時(shí)的經(jīng)濟(jì)活動(dòng)有重要參考價(jià)值。由于甲骨文釋文存在大量異體字、假借字和殘辭數(shù)字化整理比普通古籍更難也更需要規(guī)范的數(shù)據(jù)結(jié)構(gòu)。不過(guò)要特別注意甲骨文釋文具有很強(qiáng)專(zhuān)業(yè)性。同一片甲骨在不同著錄書(shū)中的隸定寫(xiě)法可能不同補(bǔ)字、缺字、通假字的處理方式也不一樣。本文的工具邏輯建立在已經(jīng)由專(zhuān)業(yè)學(xué)者整理好的釋文或現(xiàn)代譯文之上不負(fù)責(zé)自動(dòng)識(shí)別拓片也不參與古文字釋義層面的判斷。1.3 技術(shù)方案的邊界本文給出的方案屬于“資料整理后半段”假設(shè)你已經(jīng)拿到了可編輯的文本數(shù)據(jù)需要做清洗、統(tǒng)計(jì)和查詢(xún)。至于拓片如何識(shí)別、文字如何隸定、真?zhèn)稳绾闻袛嗖粚儆谶@套腳本的處理范圍。在工程上這個(gè)項(xiàng)目會(huì)用到 pandas 處理表格數(shù)據(jù)使用規(guī)則清洗文本再用關(guān)鍵詞詞典統(tǒng)計(jì)經(jīng)濟(jì)類(lèi)詞匯最后通過(guò) Flask 提供一個(gè)簡(jiǎn)單的本地查詢(xún)接口。整個(gè)項(xiàng)目可以在普通筆記本上運(yùn)行不依賴(lài)服務(wù)器和大數(shù)據(jù)平臺(tái)。2. 環(huán)境準(zhǔn)備與版本說(shuō)明2.1 運(yùn)行環(huán)境本文示例以 Python 3.9 及以上版本為準(zhǔn)操作系統(tǒng)可以是 Windows、macOS 或 Linux。下面的命令在 Windows 命令提示符和 Linux/macOS 終端中都可以使用只是個(gè)別中文字體路徑需要根據(jù)系統(tǒng)調(diào)整。建議先創(chuàng)建獨(dú)立的虛擬環(huán)境避免依賴(lài)沖突。在項(xiàng)目根目錄執(zhí)行python -m venv venvWindows 系統(tǒng)激活虛擬環(huán)境venv\Scripts\activateLinux 或 macOS 系統(tǒng)激活虛擬環(huán)境source venv/bin/activate2.2 依賴(lài)清單項(xiàng)目需要以下第三方庫(kù)庫(kù)名用途pandas讀取和處理 CSV 數(shù)據(jù)flask提供本地查詢(xún)接口wordcloud生成關(guān)鍵詞詞云matplotlib渲染并保存詞云圖片jieba對(duì)現(xiàn)代譯文做分詞演示創(chuàng)建一個(gè)requirements.txt文件內(nèi)容如下pandas flask wordcloud matplotlib jieba安裝依賴(lài)pip install -r requirements.txt版本需要根據(jù)你的實(shí)際環(huán)境調(diào)整本文重點(diǎn)演示完整實(shí)現(xiàn)思路。2.3 項(xiàng)目目錄結(jié)構(gòu)建議按下面的目錄組織工程原始數(shù)據(jù)、處理腳本、詞典、輸出結(jié)果分開(kāi)存放economic-doc-mining/ ├── data/ │ ├── jiaguwen_records.csv │ └── jiaguwen_records_clean.csv ├── config/ │ ├── econ_terms.txt │ └── stopwords.txt ├── output/ │ ├── keyword_stats.csv │ └── keyword_cloud.png ├── scripts/ │ ├── clean_text.py │ ├── extract_keywords.py │ ├── tokenize_text.py │ └── app.py ├── requirements.txt └── README.md這種結(jié)構(gòu)的好處是數(shù)據(jù)、代碼、配置相互隔離。后續(xù)如果新增字典或擴(kuò)充數(shù)據(jù)不需要改動(dòng)腳本主體。3. 核心語(yǔ)法與原理拆解3.1 數(shù)據(jù)表設(shè)計(jì)要把零散的文獻(xiàn)資料變成可統(tǒng)計(jì)的結(jié)構(gòu)化數(shù)據(jù)第一步是設(shè)計(jì)表格字段。對(duì)于出土文獻(xiàn)建議至少包含以下列字段名說(shuō)明id記錄編號(hào)保持唯一source來(lái)源著錄或數(shù)據(jù)庫(kù)名稱(chēng)category主題分類(lèi)如 agriculture、hunting、tributeperiod時(shí)期或分期信息original_text原始釋文或原文translated_text現(xiàn)代漢語(yǔ)譯文或整理說(shuō)明notes備注、補(bǔ)字說(shuō)明、審核狀態(tài)推薦統(tǒng)一使用 CSV 格式存儲(chǔ)因?yàn)?CSV 輕量、跨平臺(tái)、容易用 pandas 讀取。不過(guò)要注意原始釋文里可能包含特殊符號(hào)例如□表示缺字[]表示補(bǔ)字。這些符號(hào)在清洗階段需要特別處理不能簡(jiǎn)單刪除否則會(huì)丟失釋文信息。3.2 文本清洗的作用原始數(shù)據(jù)通常存在換行、多余空格、全角半角混用、特殊符號(hào)等問(wèn)題。如果不做清洗關(guān)鍵詞匹配時(shí)很容易出現(xiàn)“田”能查到但加了全角空格后“田”查不到的情況。清洗的目標(biāo)是統(tǒng)一格式但不要破壞文獻(xiàn)原意。對(duì)于經(jīng)濟(jì)類(lèi)統(tǒng)計(jì)推薦清洗策略如下將換行符替換為空格避免跨行文本被硬拆開(kāi)。多個(gè)連續(xù)空格壓縮為一個(gè)空格。刪除不需要的 URL、英文字符以外的干擾符號(hào)。保留漢字、數(shù)字、常用中文標(biāo)點(diǎn)。對(duì)□等缺字符號(hào)可以保留或按需替換為占位符不能直接丟棄。3.3 關(guān)鍵詞詞典設(shè)計(jì)關(guān)鍵詞統(tǒng)計(jì)有兩種常見(jiàn)做法一種是用 jieba 通用分詞后統(tǒng)計(jì)高頻詞另一種是使用自定義經(jīng)濟(jì)類(lèi)術(shù)語(yǔ)詞典直接匹配。前者的優(yōu)勢(shì)是發(fā)現(xiàn)未知詞后者的優(yōu)勢(shì)是結(jié)果更可控、解釋成本更低。本文推薦“詞典匹配為主、分詞為輔”的組合策略。先在config/econ_terms.txt中維護(hù)一份經(jīng)濟(jì)類(lèi)詞表詞表需要由熟悉文獻(xiàn)的整理者審核。示例詞表如下田 禾 麥 黍 年 刈 獲 獵 漁 貢 獻(xiàn) 牛 羊 馬 貝 絲 帛 車(chē) 舟 倉(cāng) 廩 谷 粟 酒 鬯注意這只是一個(gè)演示詞表不代表甲骨文中這些字全部具有經(jīng)濟(jì)含義。實(shí)際項(xiàng)目中詞表應(yīng)當(dāng)經(jīng)過(guò)專(zhuān)題文獻(xiàn)綜述和專(zhuān)業(yè)人員確認(rèn)。3.4 為什么不能直接把甲骨文原文交給分詞器jieba 是基于現(xiàn)代漢語(yǔ)語(yǔ)料訓(xùn)練的分詞工具對(duì)碑刻、簡(jiǎn)帛、甲骨文的切分效果并不穩(wěn)定。甲骨文原文沒(méi)有現(xiàn)代句讀頻繁出現(xiàn)一字多義、通假字、缺字直接分詞會(huì)產(chǎn)生大量無(wú)意義片段。更合理的做法是把原始釋文與整理后的現(xiàn)代譯文分開(kāi)存放統(tǒng)計(jì)操作在translated_text或標(biāo)注后的文本上執(zhí)行。這樣既能保留原文資料又能讓 NLP 工具有一個(gè)相對(duì)規(guī)范的句子邊界。下面是一個(gè)簡(jiǎn)單的分詞演示腳本用于觀察現(xiàn)代譯文的分詞效果。注意它不對(duì)原始釋文生效。# 文件路徑scripts/tokenize_text.py import jieba import pandas as pd df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) for text in df[clean_text].head(5): words [w for w in jieba.lcut(text) if w.strip()] print(words)運(yùn)行后會(huì)輸出類(lèi)似下面的分詞結(jié)果[商王, 卜問(wèn), 今年, 農(nóng)作物, 是否, 有, 好收成]這里只是一個(gè)通俗示例。如果你要做更嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)文本分析建議配合專(zhuān)家整理的專(zhuān)名表一起使用。4. 完整實(shí)戰(zhàn)案例4.1 準(zhǔn)備演示數(shù)據(jù)為了演示流程先準(zhǔn)備一份模擬數(shù)據(jù)。以下內(nèi)容僅用于說(shuō)明數(shù)據(jù)分析過(guò)程不是真實(shí)甲骨文釋文也不代表任何學(xué)術(shù)判斷。請(qǐng)勿把它用于正式研究引用。文件路徑data/jiaguwen_records.csvid,source,category,period,original_text,translated_text,notes a001,演示資料,agriculture,商代晚期,示例原文,商王卜問(wèn)今年農(nóng)作物是否有好收成,示例數(shù)據(jù) a002,演示資料,hunting,商代晚期,示例原文,田獵并記錄捕獲獵物的種類(lèi)和數(shù)量,示例數(shù)據(jù) a003,演示資料,tribute,商代晚期,示例原文,記錄某地進(jìn)貢的牲畜和物資,示例數(shù)據(jù) a004,演示資料,agriculture,商代晚期,示例原文,卜問(wèn)禾苗生長(zhǎng)是否會(huì)遇到災(zāi)害,示例數(shù)據(jù) a005,演示資料,trade,商代晚期,示例原文,記錄交換貝和絲的記錄,示例數(shù)據(jù) a006,演示資料,fishing,商代晚期,示例原文,記錄漁獲數(shù)量較多,示例數(shù)據(jù) a007,演示資料,animal_husbandry,商代晚期,示例原文,登記牛欄中的牛數(shù)量,示例數(shù)據(jù) a008,演示資料,storage,商代晚期,示例原文,檢查倉(cāng)廩中糧食儲(chǔ)存情況,示例數(shù)據(jù) a009,演示資料,agriculture,商代晚期,示例原文,麥子成熟后準(zhǔn)備收割,示例數(shù)據(jù) a010,演示資料,hunting,商代晚期,示例原文,獵獲鹿若干只并記錄用途,示例數(shù)據(jù)original_text一欄保留原文信息這里示例用“示例原文”代替。translated_text是整理后的對(duì)照文本是后續(xù)統(tǒng)計(jì)的主要對(duì)象。4.2 編寫(xiě)文本清洗腳本清洗腳本負(fù)責(zé)讀取原始 CSV清洗譯文并生成新文件。文件路徑scripts/clean_text.py# -*- coding: utf-8 -*- import re import pandas as pd def clean_text(text): 清洗單個(gè)文本字段。 text str(text) if text is not None else text text.replace(\n, ) text re.sub(r\s, , text) # 保留中文字符、數(shù)字、常用標(biāo)點(diǎn)去掉其余噪音字符。 text re.sub(r[^\u4e00-\u9fff0-9A-Za-z。、《》], , text) return text.strip() def main(): df pd.read_csv(./data/jiaguwen_records.csv) if clean_text not in df.columns: df[clean_text] df[clean_text] df[translated_text].fillna().map(clean_text) df.to_csv(./data/jiaguwen_records_clean.csv, indexFalse, encodingutf-8-sig) print(f清洗完成共 {len(df)} 條記錄) if __name__ __main__: main()這里的關(guān)鍵是encodingutf-8-sig。它會(huì)在文件開(kāi)頭加入 BOM讓 Windows 下的 Excel 直接打開(kāi) CSV 時(shí)不出現(xiàn)中文亂碼。如果只在 Linux 終端中使用改成utf-8也可以但為了兼容辦公場(chǎng)景建議保留utf-8-sig。清洗后的數(shù)據(jù)仍然保留original_text不會(huì)破壞原始釋文信息。clean_text只作為檢索和統(tǒng)計(jì)字段存在。4.3 編寫(xiě)關(guān)鍵詞統(tǒng)計(jì)腳本關(guān)鍵詞統(tǒng)計(jì)腳本會(huì)讀取config/econ_terms.txt詞典在清洗后的文本中匹配詞條并輸出頻率表。文件路徑scripts/extract_keywords.py# -*- coding: utf-8 -*- import re from collections import Counter import pandas as pd def load_terms(path): 加載關(guān)鍵詞詞典。 with open(path, encodingutf-8) as f: terms [line.strip() for line in f if line.strip()] return terms def count_terms_in_text(text, terms): 統(tǒng)計(jì)單個(gè)文本中的關(guān)鍵詞次數(shù)。 counter Counter() for term in terms: # 這里使用正則轉(zhuǎn)義避免特殊字符影響匹配。 count len(re.findall(re.escape(term), text)) if count: counter[term] count return counter def main(): df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) terms load_terms(./config/econ_terms.txt) total_counter Counter() for text in df[clean_text].fillna(): total_counter count_terms_in_text(text, terms) print(關(guān)鍵詞頻次 TOP 20) for word, count in total_counter.most_common(20): print(f{word}\t{count}) result pd.DataFrame(total_counter.most_common(), columns[term, count]) result.to_csv(./output/keyword_stats.csv, indexFalse, encodingutf-8-sig) print(結(jié)果已保存到 output/keyword_stats.csv) if __name__ __main__: main()這段代碼的統(tǒng)計(jì)邏輯很簡(jiǎn)單遍歷詞典中的詞統(tǒng)計(jì)它在每一條翻譯文本里出現(xiàn)的次數(shù)。因?yàn)樵~典中的詞大多是單字或短詞所以準(zhǔn)確率比通用分詞高。缺點(diǎn)是如果詞表存在包含關(guān)系例如同時(shí)包含“田”和“田獵”統(tǒng)計(jì)數(shù)據(jù)會(huì)重復(fù)計(jì)算。實(shí)際使用時(shí)可以把統(tǒng)計(jì)結(jié)果看成“粗粒度命中情況”而不是嚴(yán)格的語(yǔ)言學(xué)詞頻。4.4 編寫(xiě)本地查詢(xún)接口為了方便檢索某條記錄是否包含指定關(guān)鍵詞可以再加一個(gè) Flask 查詢(xún)接口。文件路徑scripts/app.py# -*- coding: utf-8 -*- import pandas as pd from flask import Flask, jsonify, request app Flask(__name__) df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) app.route(/api/search, methods[GET]) def search(): q request.args.get(q, ) if not q: return jsonify({message: 請(qǐng)輸入查詢(xún)?cè)~, data: []}) result df[df[clean_text].str.contains(q, naFalse, regexFalse)] data result.head(20).to_dict(orientrecords) return jsonify({total: len(result), data: data}) app.route(/api/stats, methods[GET]) def stats(): category request.args.get(category, ) if category: sub df[df[category] category] else: sub df return jsonify({category: category, count: len(sub), records: sub.head(10).to_dict(orientrecords)}) if __name__ __main__: # 本機(jī)調(diào)試時(shí)可以開(kāi)啟 debug生產(chǎn)環(huán)境務(wù)必關(guān)閉。 app.run(debugTrue, port5000)啟動(dòng)接口python scripts/app.py瀏覽器訪(fǎng)問(wèn)http://127.0.0.1:5000/api/search?q農(nóng)作物返回結(jié)果中會(huì)包含所有clean_text含“農(nóng)作物”的記錄。再訪(fǎng)問(wèn)http://127.0.0.1:5000/api/stats?categoryagriculture可以看到 agriculture 類(lèi)別的記錄數(shù)量和前 10 條明細(xì)。這里要提醒一句Flask 自帶的服務(wù)適合本機(jī)測(cè)試和內(nèi)網(wǎng)小范圍使用不適合直接暴露到公網(wǎng)。如果要把查詢(xún)接口開(kāi)放給更多人應(yīng)加認(rèn)證、限流和訪(fǎng)問(wèn)日志并使用 Waitress 或 Gunicorn 等生產(chǎn)級(jí) WSGI 服務(wù)器。4.5 生成詞云為了快速查看核心關(guān)鍵詞分布可以生成一張?jiān)~云圖。文件路徑scripts/gen_wordcloud.py# -*- coding: utf-8 -*- import pandas as pd from wordcloud import WordCloud import matplotlib.pyplot as plt def main(): df pd.read_csv(./data/jiaguwen_records_clean.csv, encodingutf-8) text .join(df[clean_text].fillna()) # 中文字體路徑需要根據(jù)操作系統(tǒng)調(diào)整。 # Windows 常見(jiàn)C:/Windows/Fonts/simhei.ttf # macOS 常見(jiàn)/System/Library/Fonts/PingFang.ttc # Linux 常見(jiàn)/usr/share/fonts/opentype/noto/NotoSansCJK-Regular.ttc wc WordCloud( font_pathC:/Windows/Fonts/simhei.ttf, width800, height600, background_colorwhite, ).generate(text) plt.figure(figsize(10, 6)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.tight_layout() plt.savefig(./output/keyword_cloud.png, dpi200) print(詞云已保存到 output/keyword_cloud.png) if __name__ __main__: main()運(yùn)行python scripts/gen_wordcloud.py如果詞云圖里的中文顯示成方框說(shuō)明font_path指定的字體文件不存在或該字體不支持中文。換用系統(tǒng)里實(shí)際存在的中文字體即可。4.6 運(yùn)行完整流程建議每次新增數(shù)據(jù)后按順序執(zhí)行python scripts/clean_text.py python scripts/extract_keywords.py python scripts/gen_wordcloud.py如果還要查詢(xún)接口再執(zhí)行python scripts/app.py清洗腳本生成干凈數(shù)據(jù)統(tǒng)計(jì)腳本生成頻次表詞云腳本生成可視化結(jié)果查詢(xún)接口支持按關(guān)鍵詞和類(lèi)別檢索。整個(gè)流程可以重復(fù)執(zhí)行數(shù)據(jù)更新后不需要改代碼。5. 常見(jiàn)問(wèn)題與排查思路5.1 高頻問(wèn)題排查表問(wèn)題現(xiàn)象常見(jiàn)原因解決思路Excel 打開(kāi) CSV 中文亂碼編碼用了 utf-8 而不是 utf-8-sig寫(xiě)入 CSV 時(shí)使用 encodingutf-8-sig關(guān)鍵詞統(tǒng)計(jì)結(jié)果為空詞典路徑錯(cuò)誤或文本全被清洗刪除檢查 config/econ_terms.txt 是否存在打印清洗后文本詞云中文顯示方框系統(tǒng)沒(méi)有指定中文字體修改 WordCloud 的 font_path 為可用的中文字體查詢(xún)接口啟動(dòng)失敗端口被占用修改 port5000 為其他端口或關(guān)閉占用進(jìn)程查詢(xún)不到某個(gè)詞clean_text 為空檢查 CSV 中 translated_text 字段是否有值統(tǒng)計(jì)詞頻偏多詞典存在互相包含的詞條人工審核詞表必要時(shí)只保留最大粒度詞條5.2 清洗后文本為空的處理如果清洗腳本運(yùn)行后發(fā)現(xiàn)clean_text字段全是空值或異常短優(yōu)先檢查原始 CSV 的列名。CSV 表頭不能有多余空格例如translated_text和translated_text會(huì)被 pandas 視為不同字段。另外如果中文文本被錯(cuò)誤識(shí)別為NaN在讀取后要執(zhí)行fillna()否則后續(xù)str.contains和字符串處理都可能報(bào)錯(cuò)或跳過(guò)記錄。5.3 詞表覆蓋不足的問(wèn)題當(dāng)詞典中缺少某個(gè)經(jīng)濟(jì)類(lèi)詞時(shí)統(tǒng)計(jì)結(jié)果會(huì)偏低。不能簡(jiǎn)單通過(guò)增加通用詞來(lái)提高覆蓋率因?yàn)橥ㄓ迷~可能存在大量非經(jīng)濟(jì)含義。比較好的做法是分兩層先統(tǒng)計(jì)高頻詞再由研究者從高頻詞里篩出經(jīng)濟(jì)相關(guān)詞補(bǔ)充進(jìn)正式詞表。這種“先探索、后固化”的做法比一次性拍腦袋列詞表更可靠也更符合實(shí)際研究的迭代節(jié)奏。6. 最佳實(shí)踐與工程建議6.1 數(shù)據(jù)來(lái)源必須可追溯出土文獻(xiàn)數(shù)字化最忌諱的是來(lái)源不清。每一條記錄都應(yīng)該帶有source字段指向公開(kāi)著錄、數(shù)據(jù)庫(kù)編號(hào)或整理者名稱(chēng)。項(xiàng)目里如果使用掃描件建議單獨(dú)維護(hù)一份文件清單記錄文件來(lái)源、授權(quán)狀態(tài)和處理人。來(lái)源不明或未公開(kāi)授權(quán)的資料不應(yīng)上傳到公共服務(wù)器也不應(yīng)在博客中直接公布完整掃描圖。即使在本地研究中使用也要遵守相關(guān)機(jī)構(gòu)和數(shù)據(jù)庫(kù)的使用協(xié)議。6.2 使用多版本釋文管理同一片甲骨可能存在多種釋文。有的差異很小有的可能影響統(tǒng)計(jì)結(jié)果。建議增加version字段例如version《合集》釋文或version某學(xué)者整理本。統(tǒng)計(jì)分析時(shí)默認(rèn)只針對(duì)某一個(gè)版本不要混合多個(gè)版本否則同一個(gè)字會(huì)被重復(fù)統(tǒng)計(jì)。如果需要做版本比對(duì)可以把多個(gè)版本放在不同的 CSV 文件或分目錄中再寫(xiě)專(zhuān)門(mén)的 diff 腳本而不是把所有版本塞進(jìn)同一張統(tǒng)計(jì)表。6.3 區(qū)分原文和整理譯文原始釋文和現(xiàn)代譯文是兩種不同性質(zhì)的數(shù)據(jù)。原始釋文是歷史材料現(xiàn)代譯文是整理者提供的解釋。這兩者不能混在一個(gè)字段里做關(guān)鍵詞匹配。統(tǒng)計(jì)現(xiàn)代譯文出現(xiàn)的“田”不代表原文中一定寫(xiě)的是“田”。因此本文在數(shù)據(jù)表中單獨(dú)保留了original_text和translated_text。查詢(xún)和詞頻統(tǒng)計(jì)默認(rèn)以translated_text為主如果要檢索原始釋文應(yīng)明確區(qū)分口徑例如搜索字段改為original_text。6.4 安全邊界與最小權(quán)限這個(gè)項(xiàng)目本質(zhì)上是一個(gè)文本檢索工具不涉及任何敏感系統(tǒng)操作。不過(guò)只要上線(xiàn)了 Web 接口就要考慮權(quán)限問(wèn)題。建議做法是Flask 只監(jiān)聽(tīng)127.0.0.1不要監(jiān)聽(tīng)0.0.0.0如果要開(kāi)放訪(fǎng)問(wèn)應(yīng)增加登錄認(rèn)證、操作審計(jì)和請(qǐng)求限流。不要把數(shù)據(jù)庫(kù)連接字符串、API 密鑰或未公開(kāi)文獻(xiàn)掃描件放在 CSV 中一起提交。項(xiàng)目中的配置文件、詞典、數(shù)據(jù)文件最好分開(kāi)管理必要時(shí)把敏感資料放入.gitignore。6.5 結(jié)果解釋要克制文本挖掘工具輸出的只是統(tǒng)計(jì)數(shù)字不是歷史結(jié)論。某個(gè)詞頻次高可能只是因?yàn)楸４嫦聛?lái)的材料數(shù)量多不代表那件事在當(dāng)時(shí)的經(jīng)濟(jì)活動(dòng)中更重要。任何數(shù)字在進(jìn)入結(jié)論之前都需要結(jié)合文獻(xiàn)背景、考古信息和專(zhuān)業(yè)人士判斷。所以這套工具的定位是“輔助檢索與整理”而不是“自動(dòng)得出歷史規(guī)律”。它能讓研究者快速定位材料但最終解釋權(quán)仍然屬于研究者本人。7. 總結(jié)與下一步學(xué)習(xí)方向本文從資料整理的角度完成了一個(gè)經(jīng)濟(jì)類(lèi)出土文獻(xiàn)檢索小工具。通過(guò) pandas 清洗表格數(shù)據(jù)通過(guò)自定義詞典統(tǒng)計(jì)關(guān)鍵詞頻次通過(guò) Flask 提供本地查詢(xún)接口再通過(guò)詞云快速展示文本分布。整套代碼結(jié)構(gòu)簡(jiǎn)單可以復(fù)用到簡(jiǎn)牘、碑刻、契約文書(shū)等多個(gè)文獻(xiàn)數(shù)字化場(chǎng)景。如果繼續(xù)擴(kuò)展這個(gè)項(xiàng)目可以先從三個(gè)方向入手一是接入 OCR 識(shí)別讓掃描拓片自動(dòng)轉(zhuǎn)成文本不過(guò)這需要專(zhuān)門(mén)的古文字識(shí)別模型二是把 CSV 換成 SQLite 或 MySQL讓千萬(wàn)級(jí)記錄也能高效檢索三是引入向量檢索做語(yǔ)義查詢(xún)例如輸入“農(nóng)業(yè)收成”也能匹配到“禾麥?zhǔn)蝠ⅰ毕嚓P(guān)的記錄。實(shí)際項(xiàng)目中更優(yōu)先的是數(shù)據(jù)質(zhì)量。先把來(lái)源字段、版本字段、審核狀態(tài)補(bǔ)齊再優(yōu)化算法也不遲。好的詞典和干凈的原始數(shù)據(jù)遠(yuǎn)比花哨的分析模型更有價(jià)值。如果你在配置過(guò)程中遇到環(huán)境問(wèn)題可以先用文章開(kāi)頭的虛擬環(huán)境隔離依賴(lài)遇到統(tǒng)計(jì)結(jié)果異常先打印清洗后的文本排查再檢查詞典。把每一步跑通之后再遷移到自己的文獻(xiàn)數(shù)據(jù)上。