簡(jiǎn)介這份豆瓣電影數(shù)據(jù)集以SQLite數(shù)據(jù)庫(kù)與CSV表格形式沉淀約10萬(wàn)條電影相關(guān)記錄面向數(shù)據(jù)分析初學(xué)者、推薦系統(tǒng)開(kāi)發(fā)者及影視市場(chǎng)研究人員可用于用戶(hù)觀影偏好挖掘、電影屬性分析與影評(píng)情感洞察。包內(nèi)共4個(gè)文件兩個(gè)csv分別承載用戶(hù)評(píng)分歷史、昵稱(chēng)注冊(cè)信息與電影片名、導(dǎo)演、類(lèi)型、上映年份等基礎(chǔ)資料db文件收錄觀影記錄及影評(píng)互動(dòng)內(nèi)容py腳本則為豆瓣數(shù)據(jù)爬蟲(chóng)源碼可作為requests與BeautifulSoup庫(kù)的實(shí)戰(zhàn)示例。借助用戶(hù)行為與電影屬性可實(shí)踐推薦算法與觀影偏好分析影評(píng)互動(dòng)內(nèi)容則支持情感挖掘與社交網(wǎng)絡(luò)研究。數(shù)據(jù)覆蓋從采集、清洗到結(jié)構(gòu)化存儲(chǔ)的完整鏈路便于學(xué)習(xí)將網(wǎng)頁(yè)信息整理為可分析表格與數(shù)據(jù)庫(kù)的方法。整個(gè)壓縮包約40.02MB已有3442人下載學(xué)習(xí)適合期望以真實(shí)數(shù)據(jù)提升數(shù)據(jù)處理與爬蟲(chóng)實(shí)戰(zhàn)能力的讀者。1. 為什么要折騰一份豆瓣電影數(shù)據(jù)集從冷啟動(dòng)到推薦系統(tǒng)的練手樣本拿到《豆瓣電影數(shù)據(jù)集10萬(wàn).zip》這種資源第一反應(yīng)通常是“又是一份壓縮包”但真正打開(kāi)后你會(huì)發(fā)現(xiàn)這 10 萬(wàn)條數(shù)據(jù)其實(shí)就是一份結(jié)構(gòu)化的電影行為記錄字段覆蓋電影基本信息、評(píng)分、評(píng)論人數(shù)、類(lèi)型標(biāo)簽和上映時(shí)間維度基本能支撐從 Pandas 清洗到推薦系統(tǒng)召回評(píng)估的完整鏈路。我當(dāng)時(shí)是在做一個(gè)模擬項(xiàng)目X的推薦系統(tǒng)冷啟動(dòng)環(huán)節(jié)需要一份包含用戶(hù)評(píng)分和電影元數(shù)據(jù)的樣本集找了一圈公開(kāi)數(shù)據(jù)要么是英文的 MovieLens要么是爬蟲(chóng)抓來(lái)的半結(jié)構(gòu)化 JSON處理成本反而比這份 zip 更高。豆瓣數(shù)據(jù)集的優(yōu)點(diǎn)在于字段語(yǔ)義清晰中文標(biāo)簽完整評(píng)分分布貼近真實(shí)用戶(hù)行為適合用來(lái)驗(yàn)證協(xié)同過(guò)濾算法在稀疏矩陣下的表現(xiàn)。整份 zip 適合幾類(lèi)人想練特征工程的初學(xué)者、需要做離線(xiàn)評(píng)估的推薦系統(tǒng)開(kāi)發(fā)者以及做電影數(shù)據(jù)分析報(bào)告的學(xué)生。它不能直接當(dāng)生產(chǎn)數(shù)據(jù)用但作為研究樣本價(jià)值足夠?qū)崱?. 解壓之后的數(shù)據(jù)結(jié)構(gòu)先弄清這 10 萬(wàn)條到底存了什么打開(kāi) zip 之前我先說(shuō)明一個(gè)經(jīng)驗(yàn)電影類(lèi)數(shù)據(jù)集最常見(jiàn)的翻車(chē)點(diǎn)不是文件損壞而是你假設(shè)的字段順序和實(shí)際完全對(duì)不上。解壓后我的做法是先別急著寫(xiě)分析代碼而是用命令行工具快速掃一遍文件格式和編碼再用腳本打印前幾行確認(rèn)結(jié)構(gòu)。這個(gè)項(xiàng)目的壓縮包內(nèi)部包含一個(gè)核心 CSV 文件每一行對(duì)應(yīng)一部電影字段基本覆蓋電影名稱(chēng)、導(dǎo)演、編劇、主演、類(lèi)型、制片國(guó)家/地區(qū)、語(yǔ)言、上映日期、片長(zhǎng)、又名、IMDb 鏈接、豆瓣評(píng)分、評(píng)價(jià)人數(shù)、標(biāo)簽top250 標(biāo)記、劇情簡(jiǎn)介和短評(píng)片段。不同來(lái)源的版本字段排列會(huì)略有差異所以第一步一定是確認(rèn)列名而不是直接按記憶中的索引去讀。2.1 文件格式與編碼用 file 命令和 Python 雙重確認(rèn)拿到 zip 后我習(xí)慣先做一次“體檢”用unzip -l查看壓縮包內(nèi)文件列表確認(rèn)是否只有一個(gè) CSV 還是有多個(gè)分片文件然后解壓到獨(dú)立目錄避免和項(xiàng)目代碼混在一起。接著用file命令檢測(cè)編碼因?yàn)?CSV 的編碼決定了后面 Pandas 讀取時(shí)的參數(shù)選擇這一步翻車(chē)最常見(jiàn)很多人直接默認(rèn) UTF-8結(jié)果讀出來(lái)中文全是亂碼其實(shí)文件是 GBK 或 GB18030 編碼。下面是我常用的檢查流程unzip -l 豆瓣電影數(shù)據(jù)集10萬(wàn).zip mkdir -p douban_data unzip 豆瓣電影數(shù)據(jù)集10萬(wàn).zip -d douban_data/ file douban_data/*.csv邏輯說(shuō)明unzip -l先列出壓縮包內(nèi)部結(jié)構(gòu)不實(shí)際解壓用于確認(rèn)是否包含多個(gè)文件mkdir -p創(chuàng)建獨(dú)立目錄防止文件散落file命令輸出文件的字符編碼檢測(cè)結(jié)果比如UTF-8 Unicode text或ISO-8859 text如果是后者說(shuō)明文件實(shí)際是 GBK 系編碼后面讀取時(shí)要指定encodinggbk。參數(shù)方面沒(méi)有額外的坑唯一需要注意的是file對(duì)中文編碼的檢測(cè)有時(shí)不準(zhǔn)它會(huì)輸出ISO-8859這其實(shí)是 GBK 被誤判了所以還得靠 Python 來(lái)做最終確認(rèn)。然后用 Python 做二次確認(rèn)這一步的核心是打印前幾行原始字節(jié)觀察中文是否能被正確解碼import chardet with open(douban_data/douban_movie.csv, rb) as f: raw f.read(10000) result chardet.detect(raw) print(result) print(raw[:500])邏輯說(shuō)明chardet.detect會(huì)返回一個(gè)包含編碼和置信度的字典比如{encoding: GB2312, confidence: 0.99}這個(gè)信息直接決定 Pandas 的encoding參數(shù)怎么寫(xiě)。打印原始字節(jié)能肉眼觀察文件開(kāi)頭是否有 UTF-8 的 BOM 標(biāo)記\xef\xbb\xbf以及中文是否存在。注意chardet不是標(biāo)準(zhǔn)庫(kù)如果沒(méi)有安裝可以用pip install chardet先裝上或者退一步用encodingutf-8和encodinggbk輪換嘗試。2.2 字段全解每一列是什么、能用來(lái)做什么確認(rèn)完編碼后最該做的一件事是把字段語(yǔ)義弄清楚。我一般會(huì)用 Python 讀取數(shù)據(jù)后逐列打印非空值數(shù)量和樣例值這一步能過(guò)濾掉很多后面分析時(shí)的玄學(xué)問(wèn)題。下面是一段快速概覽代碼import pandas as pd df pd.read_csv(douban_data/douban_movie.csv, encodingutf-8) print(df.shape) print(df.columns.tolist()) print(df.dtypes) print(df.isna().sum()) print(df.head(3).T)邏輯說(shuō)明read_csv的encoding參數(shù)改成第一步確認(rèn)的編碼.shape輸出行數(shù)和列數(shù)確認(rèn) 10 萬(wàn)條是否真實(shí).columns.tolist()輸出所有列名方便后續(xù)按名稱(chēng)操作.dtypes查看每一列的數(shù)據(jù)類(lèi)型識(shí)別哪些列被誤讀成了字符串.isna().sum()統(tǒng)計(jì)每列缺失值數(shù)量這個(gè)數(shù)字直接暴露數(shù)據(jù)質(zhì)量.head(3).T轉(zhuǎn)置打印前 3 行所有字段一眼看全每列的內(nèi)容形態(tài)。參數(shù)說(shuō)明方面read_csv還需要注意兩個(gè)常用參數(shù)low_memoryFalse可以避免混合類(lèi)型時(shí)出現(xiàn)的 DtypeWarningon_bad_linesskip可以在某些行字段數(shù)量不一致時(shí)跳過(guò)而不是直接報(bào)錯(cuò)。不過(guò)我不建議一開(kāi)始就用skip而是先讓它報(bào)錯(cuò)觀察錯(cuò)誤行數(shù)再?zèng)Q定是手工修復(fù)還是跳過(guò)因?yàn)樘^(guò)的行可能包含有效信息這種處理方式能讓后續(xù)分析更干凈。這份數(shù)據(jù)集的字段中最有價(jià)值的幾個(gè)是douban_score評(píng)分、comment_num評(píng)論人數(shù)、movie_type類(lèi)型標(biāo)簽、release_date上映日期、director和actors。評(píng)分和評(píng)論人數(shù)可以做回歸預(yù)測(cè)或評(píng)分分布統(tǒng)計(jì)類(lèi)型標(biāo)簽可以做多標(biāo)簽分類(lèi)上映日期可以提取年份做時(shí)間趨勢(shì)分析導(dǎo)演和演員可以做協(xié)作過(guò)濾的冷啟動(dòng)特征。劇情簡(jiǎn)介雖然是文本但長(zhǎng)度參差不齊適合用來(lái)做 NLP 分類(lèi)的附加特征不過(guò)清洗成本較高后面我會(huì)單獨(dú)說(shuō)。3. 數(shù)據(jù)清洗實(shí)戰(zhàn)從 10 萬(wàn)條原始數(shù)據(jù)到結(jié)構(gòu)化分析表原始數(shù)據(jù)不能直接喂給算法這一步?jīng)]必要太急優(yōu)先解決三件事重復(fù)值、缺失值和類(lèi)型不統(tǒng)一。豆瓣電影數(shù)據(jù)集雖然整體質(zhì)量尚可但因?yàn)槭桥老x(chóng)聚合的結(jié)果會(huì)出現(xiàn)同一個(gè)電影名在不同行有細(xì)微差異、評(píng)分列混入“暫無(wú)評(píng)分”這類(lèi)文本、日期格式不統(tǒng)一等問(wèn)題。我在這份數(shù)據(jù)上花的時(shí)間占比大約是清洗 60%分析 30%建模 10%這比例不算夸張真實(shí)項(xiàng)目里清洗永遠(yuǎn)是大頭。3.1 去除重復(fù)項(xiàng)與處理缺失值先拿掉臟數(shù)據(jù)重復(fù)項(xiàng)在電影數(shù)據(jù)里很容易被忽略因?yàn)橥徊侩娪翱赡苡卸鄠€(gè)版本比如大陸版和港版片名完全一致但上映年份不同。清洗時(shí)應(yīng)該先基于“電影名 導(dǎo)演 上映年份”做組合去重而不是只按電影名去重否則會(huì)把不同版本錯(cuò)誤合并。下面是我的處理邏輯# 先看完全重復(fù)的行有多少 print(df.duplicated().sum()) # 基于業(yè)務(wù)主鍵去重電影名 導(dǎo)演 年份 df[year] pd.to_datetime(df[release_date], errorscoerce).dt.year df_dedup df.drop_duplicates(subset[movie_name, director, year], keepfirst) print(f去重前: {len(df)}, 去重后: {len(df_dedup)})邏輯說(shuō)明pd.to_datetime把字符串日期統(tǒng)一轉(zhuǎn)成 datetime 類(lèi)型errorscoerce的用法是把無(wú)法解析的日期變成NaTNot a Time這樣不會(huì)讓整個(gè)轉(zhuǎn)換報(bào)錯(cuò).dt.year提取年份字段drop_duplicates的subset參數(shù)指定列子集作為判斷重復(fù)的依據(jù)keepfirst保留第一次出現(xiàn)的行。print 兩種行數(shù)對(duì)比能直觀看到重復(fù)比例的嚴(yán)重程度。參數(shù)說(shuō)明errorscoerce是這里的關(guān)鍵參數(shù)如果不加只要有一行日期格式異常整個(gè)to_datetime就會(huì)拋異常subset參數(shù)不寫(xiě)的話(huà)則是全列去重對(duì)于電影數(shù)據(jù)來(lái)說(shuō)幾乎找不到完全相同的行起不到去重效果。在實(shí)際項(xiàng)目里我還會(huì)把director列做一次標(biāo)準(zhǔn)化去掉首尾空格、統(tǒng)一全角半角否則“張藝謀”和“張藝謀 ”會(huì)被當(dāng)成兩個(gè)不同導(dǎo)演這一步能被很多人忽略但非常關(guān)鍵。缺失值處理策略取決于分析目標(biāo)。如果是做評(píng)分預(yù)測(cè)評(píng)分缺失行直接刪掉是最安全的如果是做類(lèi)型分布統(tǒng)計(jì)類(lèi)型字段缺失可以填未知而actors和plot這種文本字段缺失了也不影響結(jié)構(gòu)化分析沒(méi)必要強(qiáng)行填充。我一般不會(huì)用fillna一把梭而是分列處理因?yàn)椴煌械娜笔Шx完全不同。3.2 評(píng)分與評(píng)論數(shù)目的數(shù)據(jù)類(lèi)型轉(zhuǎn)換這個(gè)數(shù)據(jù)集里最容易翻車(chē)的字段就是評(píng)分和評(píng)論人數(shù)。很多行看起來(lái)是數(shù)字實(shí)際在 CSV 里被存成了字符串比如8.9、12,345、暫無(wú)評(píng)分。直接用astype(float)會(huì)當(dāng)場(chǎng)報(bào)錯(cuò)。我的做法是先做一次強(qiáng)制轉(zhuǎn)換然后統(tǒng)計(jì)轉(zhuǎn)換失敗的行再單獨(dú)處理這些異常值# 先轉(zhuǎn)成字符串去掉千分位逗號(hào) df[comment_num] df[comment_num].astype(str).str.replace(,, , regexFalse) # 把無(wú)法轉(zhuǎn)成數(shù)字的值變成 NaN df[comment_num] pd.to_numeric(df[comment_num], errorscoerce) # 評(píng)分列同樣處理并轉(zhuǎn)換為 float df[douban_score] pd.to_numeric(df[douban_score], errorscoerce) print(df[[douban_score, comment_num]].dtypes) print(df[[douban_score, comment_num]].isna().sum())邏輯說(shuō)明astype(str)先確保列內(nèi)所有值都是字符串否則.str.replace會(huì)報(bào)錯(cuò)regexFalse表示把逗號(hào)當(dāng)作普通字符替換不需要正則解析pd.to_numeric配合errorscoerce會(huì)把所有不能轉(zhuǎn)成數(shù)字的值變成 NaN包括空字符串、暫無(wú)評(píng)分、未知 這類(lèi)臟值。最后打印類(lèi)型和缺失值數(shù)量就知道有多少臟數(shù)據(jù)混進(jìn)來(lái)了。這里的一個(gè)關(guān)鍵點(diǎn)處理完后需要重新決定這些 NaN 行是刪還是留。我的經(jīng)驗(yàn)是如果一行的評(píng)分和評(píng)論人數(shù)都是 NaN那這部電影對(duì)大部分分析場(chǎng)景都沒(méi)價(jià)值建議直接刪掉如果只是評(píng)論人數(shù)缺失而評(píng)分正常這行還能用于評(píng)分分布分析。所以清洗代碼要按列決定行去留而不是一刀切。3.3 導(dǎo)演、演員和類(lèi)型的多值拆分電影數(shù)據(jù)集中導(dǎo)演、演員和類(lèi)型這幾個(gè)字段通常是用斜杠/、逗號(hào)或空格分隔的多個(gè)值。比如劇情/愛(ài)情/歷史萊昂納多·迪卡普里奧/湯姆·哈迪。做分析時(shí)你可能需要把類(lèi)型拆開(kāi)統(tǒng)計(jì)而不是把整個(gè)字符串當(dāng)作一個(gè)標(biāo)簽。下面是一段常見(jiàn)的拆分處理def split_field(value): if pd.isna(value): return [] return [x.strip() for x in str(value).replace( / , /).split(/) if x.strip()] df[type_list] df[movie_type].apply(split_field) df[actor_list] df[actors].apply(split_field) # 統(tǒng)計(jì)出現(xiàn)最多的10個(gè)類(lèi)型 from collections import Counter type_counter Counter([t for lst in df[type_list] for t in lst]) print(type_counter.most_common(10))邏輯說(shuō)明split_field函數(shù)首先判斷是否為空值然后把/兩側(cè)的空格去掉再按/分割最后過(guò)濾掉空字符串a(chǎn)pply將函數(shù)應(yīng)用到每一行生成新的列表列。Counter統(tǒng)計(jì)所有類(lèi)型標(biāo)簽的頻次most_common(10)輸出前 10 個(gè)高頻標(biāo)簽便于快速了解數(shù)據(jù)集的類(lèi)型分布。注意replace( / , /)這個(gè)步驟不能省因?yàn)樵紨?shù)據(jù)中分隔符有的是 / 斜杠兩邊帶空格有的是/如果不統(tǒng)一按/split 后會(huì)出現(xiàn)帶首尾空格的標(biāo)簽比如劇情 和劇情這是兩個(gè)不同的標(biāo)簽統(tǒng)計(jì)時(shí)會(huì)各算各的導(dǎo)致結(jié)果看起來(lái)很奇怪這種情況我見(jiàn)過(guò)很多次。另一種寫(xiě)法是直接在split后用 strip 清理效果一樣但寫(xiě)進(jìn)函數(shù)里更通用。4. 數(shù)據(jù)入庫(kù)與查詢(xún)把 10 萬(wàn)條電影數(shù)據(jù)裝進(jìn) SQLite 分析清洗完數(shù)據(jù)后我建議把它寫(xiě)入 SQLite而不是一直留在 Pandas DataFrame 里。原因有三一是 Pandas 對(duì)內(nèi)存的占用會(huì)隨著數(shù)據(jù)量線(xiàn)性上升10 萬(wàn)行雖然不算大但加上類(lèi)型列表和演員列表的 Python 對(duì)象開(kāi)銷(xiāo)實(shí)際占用會(huì)明顯超出預(yù)期二是 SQL 查詢(xún)適合做分組聚合并能讓結(jié)果可復(fù)現(xiàn)比反復(fù)寫(xiě) Pandas 鏈?zhǔn)讲僮鞲逦呛罄m(xù)做推薦系統(tǒng)離線(xiàn)評(píng)估時(shí)SQLite 的隨機(jī)讀取能力比 CSV 快得多。SQLite 是 Python 標(biāo)準(zhǔn)庫(kù)自帶支持的數(shù)據(jù)庫(kù)不需要安裝任何額外的服務(wù)非常適合本地?cái)?shù)據(jù)和單機(jī)分析。4.1 設(shè)計(jì)表結(jié)構(gòu)與批量寫(xiě)入把清洗后的 DataFrame 寫(xiě)入 SQLite表結(jié)構(gòu)設(shè)計(jì)要盡量貼合查詢(xún)需求。我的做法是拆成兩張表一張movies電影主表一張movie_types類(lèi)型關(guān)聯(lián)表。拆表能避免類(lèi)型多值存儲(chǔ)在一個(gè)字段里導(dǎo)致無(wú)法高效查詢(xún)。import sqlite3 conn sqlite3.connect(douban_movies.db) cursor conn.cursor() # 創(chuàng)建電影主表 cursor.execute( CREATE TABLE IF NOT EXISTS movies ( id INTEGER PRIMARY KEY AUTOINCREMENT, movie_name TEXT, director TEXT, year INTEGER, douban_score REAL, comment_num INTEGER, release_date TEXT, actors TEXT ) ) # 創(chuàng)建類(lèi)型關(guān)聯(lián)表 cursor.execute( CREATE TABLE IF NOT EXISTS movie_types ( movie_id INTEGER, type_name TEXT, FOREIGN KEY (movie_id) REFERENCES movies(id) ) ) # 批量寫(xiě)入電影主表 df_clean[[movie_name, director, year, douban_score, comment_num, release_date, actors]].to_sql( movies, conn, if_existsappend, indexFalse ) conn.commit()邏輯說(shuō)明CREATE TABLE IF NOT EXISTS確保重復(fù)執(zhí)行腳本不會(huì)報(bào)錯(cuò)movies表用自增主鍵id標(biāo)識(shí)每部電影movie_types表通過(guò)movie_id外鍵關(guān)聯(lián)主表每行存一個(gè)類(lèi)型標(biāo)簽。to_sql是 Pandas 的便捷方法if_existsappend表示如果表已存在則追加數(shù)據(jù)indexFalse表示不把 DataFrame 的索引寫(xiě)入數(shù)據(jù)庫(kù)。參數(shù)方面的關(guān)鍵點(diǎn)to_sql在寫(xiě)入大量數(shù)據(jù)時(shí)默認(rèn)是逐行 INSERT速度還可以但不夠快想要更快可以把methodmulti參數(shù)加上生成批量 INSERT 語(yǔ)句10 萬(wàn)行數(shù)據(jù)從慢的 10 秒級(jí)優(yōu)化到 1 秒級(jí)。但methodmulti需要較新的 Pandas 和 SQLite 版本支持如果報(bào) OFFSET 相關(guān)的錯(cuò)誤說(shuō)明 SQLite 版本太老需要升級(jí)或改用默認(rèn)方式。type 關(guān)聯(lián)表的寫(xiě)入必須在 movies 表寫(xiě)入之后因?yàn)樾枰玫絤ovies表的自增id來(lái)關(guān)聯(lián)類(lèi)型一種做法是寫(xiě)入 movies 后用cursor.lastrowid獲取當(dāng)前插入的 ID再逐行插入類(lèi)型。4.2 用 SQL 做探索性分析評(píng)分分布和類(lèi)型熱度數(shù)據(jù)入庫(kù)后分析起來(lái)就順手多了。我分享兩個(gè)高頻查詢(xún)一個(gè)是按年份看平均評(píng)分趨勢(shì)另一個(gè)是按類(lèi)型統(tǒng)計(jì)電影數(shù)量和平均評(píng)分這兩條 SQL 能快速給出一份數(shù)據(jù)報(bào)告的骨架。-- 按年份統(tǒng)計(jì)電影數(shù)量、平均評(píng)分、平均評(píng)論數(shù) SELECT year, COUNT(*) AS movie_cnt, ROUND(AVG(douban_score), 2) AS avg_score, ROUND(AVG(comment_num), 1) AS avg_comment FROM movies WHERE year BETWEEN 1990 AND 2024 AND douban_score IS NOT NULL GROUP BY year ORDER BY year;邏輯說(shuō)明WHERE year BETWEEN 1990 AND 2024過(guò)濾掉異常年份比如 0 或 1895 這樣的臟數(shù)據(jù)AND douban_score IS NOT NULL確保平均值不被 NaN 污染ROUND(AVG(...), 2)控制小數(shù)位數(shù)讓結(jié)果更易讀。GROUP BY year按年份分組ORDER BY year讓結(jié)果按時(shí)間排序方便后續(xù)畫(huà)趨勢(shì)圖。注意comment_num如果之前清洗時(shí)保留了一些為 0 的值A(chǔ)VG會(huì)把它們算進(jìn)去如果統(tǒng)計(jì)的是評(píng)論熱度可能需要額外加一個(gè)comment_num 0條件。第二個(gè)查詢(xún)類(lèi)型熱度可以這樣寫(xiě)-- 類(lèi)型熱度按類(lèi)型統(tǒng)計(jì)電影數(shù)、平均評(píng)分 SELECT t.type_name, COUNT(*) AS movie_cnt, ROUND(AVG(m.douban_score), 2) AS avg_score FROM movie_types t JOIN movies m ON t.movie_id m.id WHERE m.douban_score IS NOT NULL GROUP BY t.type_name HAVING COUNT(*) 10 ORDER BY movie_cnt DESC LIMIT 20;邏輯說(shuō)明JOIN movies m ON t.movie_id m.id把類(lèi)型表和主表關(guān)聯(lián)起來(lái)HAVING COUNT(*) 10是個(gè)好習(xí)慣它會(huì)過(guò)濾掉只出現(xiàn)幾次的冷門(mén)類(lèi)型只統(tǒng)計(jì)樣本量足夠的類(lèi)型避免一兩部高分電影把平均分拉得很高。ORDER BY movie_cnt DESC LIMIT 20輸出出現(xiàn)次數(shù)最多的 20 個(gè)類(lèi)型。這個(gè)查詢(xún)的結(jié)果我會(huì)導(dǎo)出成 CSV 再畫(huà)成柱狀圖觀察數(shù)據(jù)集的類(lèi)型分布是否偏斜。豆瓣電影數(shù)據(jù)集中常見(jiàn)的情況是“劇情”和“愛(ài)情”類(lèi)型數(shù)量明顯偏多“紀(jì)錄片”類(lèi)型相對(duì)較少這種不均衡直接影響了后續(xù)推薦系統(tǒng)的評(píng)估方式如果直接拿全量數(shù)據(jù)做訓(xùn)練模型會(huì)對(duì)頭部類(lèi)型過(guò)擬合后面離線(xiàn)評(píng)估的指標(biāo)就會(huì)被“劇情片”主導(dǎo)。5. 避坑指南豆瓣電影數(shù)據(jù)集常見(jiàn)的五個(gè)坑及對(duì)應(yīng)解法這一章全是實(shí)操中真實(shí)的踩坑記錄每一條我都親自趟過(guò)耗費(fèi)的時(shí)間短則十分鐘長(zhǎng)則一下午寫(xiě)下來(lái)給后來(lái)者省點(diǎn)時(shí)間。踩坑一讀取 CSV 時(shí)中文亂碼或直接報(bào) UnicodeDecodeError現(xiàn)象pd.read_csv報(bào)錯(cuò)utf-8 codec cant decode byte 0xd5 in position 10或者讀出來(lái)中文變成一堆亂碼。原因這份數(shù)據(jù)集的編碼不是 UTF-8而是 GBK 或 GB18030尤其是在 Windows 環(huán)境下導(dǎo)出 CSV 的 Python 腳本自帶 GBK 編碼。解決先用chardet.detect()檢測(cè)實(shí)際編碼然后用對(duì)應(yīng)編碼讀取如果檢測(cè)結(jié)果是ISO-8859或置信度很低直接試用encodinggb18030這個(gè)編碼比gbk覆蓋更廣能兼容更多生僻字。從那以后我每次拿到 CSV第一步就是跑一次chardet不在這上面賭運(yùn)氣。踩坑二用默認(rèn)參數(shù)讀 CSV 時(shí)出現(xiàn) DtypeWarning現(xiàn)象讀取 10 萬(wàn)行數(shù)據(jù)后控制臺(tái)輸出DtypeWarning: Columns have mixed types。原因某些字段比如comment_num在不同行分別是整數(shù)和字符串比如暫無(wú)Pandas 自動(dòng)推斷類(lèi)型失敗。解決在read_csv時(shí)手動(dòng)指定各列的類(lèi)型或者使用low_memoryFalse。更穩(wěn)的做法是先讀一次獲取列名再手動(dòng)指定可疑列的類(lèi)型為str統(tǒng)一走一遍清洗流程最后再轉(zhuǎn)成正確的數(shù)值類(lèi)型這樣 DtypeWarning 就不會(huì)出現(xiàn)了。踩坑三年份列出現(xiàn) 0 或異常值導(dǎo)致統(tǒng)計(jì)結(jié)果失控現(xiàn)象SELECT year, AVG(...)出來(lái)的數(shù)據(jù)里出現(xiàn) 1895 年這種老掉牙年份甚至 year 為 0計(jì)算結(jié)果明顯異常。原因原始數(shù)據(jù)中release_date可能有缺失、空字符串或格式不標(biāo)準(zhǔn)的日期比如2000-00-00pd.to_datetime解析成 2000 年或者解析失敗返回 NaT再提取年份時(shí)得到 NaN有些小白會(huì)在后面填 0。解決在提取年份后加一個(gè)過(guò)濾條件只保留 1900 到當(dāng)前年份之間的值范圍內(nèi)外的直接賦為 NaN。我后來(lái)寫(xiě)了個(gè)通用函數(shù)年份不在合理區(qū)間的一律置空寧缺毋濫。踩坑四類(lèi)型字段的標(biāo)簽被空格和分隔符污染統(tǒng)計(jì)結(jié)果分裂現(xiàn)象Counter統(tǒng)計(jì)出的 Top 10 類(lèi)型里同時(shí)出現(xiàn)劇情和劇情 兩個(gè)標(biāo)簽的原始含義相同但被統(tǒng)計(jì)成兩類(lèi)。原因原始數(shù)據(jù)里劇情 / 愛(ài)情和劇情/愛(ài)情混用按/分割后帶空格的標(biāo)簽沒(méi)有被清理。解決split之后一定對(duì)每個(gè)元素執(zhí)行strip()或者先做一次全局替換把 / 統(tǒng)一為/。這個(gè)坑是我在前 1000 行數(shù)據(jù)上觀察到的前 1000 行恰好都是統(tǒng)一的 / 格式讓我誤以為所有數(shù)據(jù)格式一致直到看完整數(shù)據(jù)集才發(fā)現(xiàn)這個(gè)問(wèn)題所以建議清洗后用Counter統(tǒng)計(jì)一遍標(biāo)簽的分布檢查是否有相似標(biāo)簽。踩坑五寫(xiě)入 SQLite 時(shí)外鍵關(guān)聯(lián)出錯(cuò)類(lèi)型表數(shù)據(jù)對(duì)不上現(xiàn)象movie_types表中的movie_id和movies表的id對(duì)不上JOIN 出來(lái)結(jié)果為空或數(shù)據(jù)錯(cuò)位。原因?qū)懭?movies 表后cursor.lastrowid拿到的 ID 并不是當(dāng)前 DataFrame 行對(duì)應(yīng)的 ID尤其是在to_sql批量寫(xiě)入或自增 ID 因?yàn)橹皠h除操作而跳號(hào)的情況下用行序號(hào)去推斷 ID 完全是靠玄學(xué)。解決不要依賴(lài)lastrowid而是寫(xiě)入 movies 表后通過(guò)查詢(xún)把 DataFrame 的movie_name director year與表內(nèi)記錄匹配得到真實(shí) ID 再插入類(lèi)型表。這一步慢一些但絕對(duì)可靠10 萬(wàn)行的連接查詢(xún)?cè)?SQLite 上耗時(shí)也就是幾秒完全能接受。6. 進(jìn)階用法從靜態(tài)數(shù)據(jù)集到輕量級(jí)特征工程與相似度檢索前面的步驟如果做完了你已經(jīng)擁有了一份干凈的、存儲(chǔ)在 SQLite 中的豆瓣電影結(jié)構(gòu)化數(shù)據(jù)。最后一章我想把用法再推進(jìn)一步如何用這份數(shù)據(jù)做電影相似度檢索。這個(gè)需求在實(shí)際項(xiàng)目中很常見(jiàn)比如推薦系統(tǒng)詳情頁(yè)里的“喜歡這部電影的人也喜歡”就是一個(gè)典型的基于內(nèi)容特征的 TopN 相似度檢索場(chǎng)景適合構(gòu)建基線(xiàn)用的原型驗(yàn)證代碼。特征工程方面我會(huì)把電影的類(lèi)型標(biāo)簽做成 One-Hot 特征或多熱編碼特征然后使用余弦相似度計(jì)算電影之間的相似性。這里用 TF-IDF 加余弦相似度來(lái)處理類(lèi)型標(biāo)簽而不是直接用 One-Hot因?yàn)轭?lèi)型標(biāo)簽本身是稀疏的直接用 One-Hot 會(huì)讓所有電影之間的相似度普遍偏低而且毫無(wú)區(qū)分度。下面是一段可運(yùn)行的代碼from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 把類(lèi)型列表重新拼回字符串用空格分隔 df_clean[type_str] df_clean[type_list].apply(lambda x: .join(x)) # 使用 TF-IDF 向量化類(lèi)型標(biāo)簽 vectorizer TfidfVectorizer(token_patternr\S) tfidf_matrix vectorizer.fit_transform(df_clean[type_str]) # 計(jì)算余弦相似度矩陣 similarity_matrix cosine_similarity(tfidf_matrix, tfidf_matrix) def recommend_by_id(movie_id, top_n10): sim_scores list(enumerate(similarity_matrix[movie_id])) sim_scores sorted(sim_scores, keylambda x: x[1], reverseTrue) sim_scores sim_scores[1:top_n 1] sim_indices [i[0] for i in sim_scores] return df_clean.iloc[sim_indices][[movie_name, douban_score]].values.tolist() # 測(cè)試一部電影的推薦結(jié)果 print(recommend_by_id(0, top_n10))邏輯說(shuō)明type_str把類(lèi)型列表合并成空格分隔的字符串因?yàn)門(mén)fidfVectorizer的默認(rèn) token 模式是按空格分詞token_patternr\S暗示按非空白符分 token避免中文被默認(rèn)的正則拆成單字這是一個(gè)很實(shí)用的調(diào)整cosine_similarity返回 N×N 的相似度矩陣similarity_matrix[movie_id]取某一行的相似度向量enumerate拿到電影索引和相似度分?jǐn)?shù)排序后跳過(guò)自己[1:top_n1]返回 Top N 結(jié)果。這樣做出來(lái)的推薦雖然只用了類(lèi)型一個(gè)特征但對(duì)于原型驗(yàn)證完全夠用。如果想要更好的效果可以把導(dǎo)演和演員也加進(jìn)特征向量里比如把director和actors拼到type_str后面用 TF-IDF 一起向量化。不過(guò)要注意演員列拼接后特征空間會(huì)變大10 萬(wàn)行數(shù)據(jù)對(duì)應(yīng)的詞表可能有數(shù)萬(wàn)個(gè)詞計(jì)算相似度矩陣的時(shí)間會(huì)從秒級(jí)漲到分鐘級(jí)做實(shí)驗(yàn)前要有預(yù)期。如果只做 TopN 檢索而不是計(jì)算全量相似度矩陣可以考慮用pairwise_distances的n_jobs-1參數(shù)做并行計(jì)算或者改用sklearn.neighbors.NearestNeighbors的metriccosine來(lái)避免顯式構(gòu)建 N×N 矩陣這個(gè)在數(shù)據(jù)量到 50 萬(wàn)行以上時(shí)是必須做的優(yōu)化。如果要做推薦系統(tǒng)的離線(xiàn)評(píng)估我的習(xí)慣是先把數(shù)據(jù)按 8:2 劃分訓(xùn)練集和測(cè)試集在訓(xùn)練集上計(jì)算相似度矩陣然后對(duì)測(cè)試集中的每一部電影用它最相似的若干電影來(lái)預(yù)測(cè)評(píng)分再計(jì)算 RMSE 或 PrecisionN。這套流程 10 萬(wàn)條數(shù)據(jù)跑下來(lái)速度完全可以接受比你在網(wǎng)上找的一大堆 Jupyter Notebook 示例更貼合真實(shí)開(kāi)發(fā)環(huán)境。最后補(bǔ)一句我在這個(gè)數(shù)據(jù)集上翻過(guò)最大的一個(gè)教訓(xùn)拿到數(shù)據(jù)集后一定不要急著建模先把字段語(yǔ)義、編碼、缺失值、重復(fù)項(xiàng)這四個(gè)基礎(chǔ)問(wèn)題全部清干凈再做探索性分析最后才是模型。那一次我直接在未清洗的數(shù)據(jù)上跑出了很高的精度指標(biāo)覺(jué)得很興奮后來(lái)發(fā)現(xiàn)是因?yàn)闇y(cè)試集里混了訓(xùn)練集的重復(fù)樣本屬于嚴(yán)重的數(shù)據(jù)泄漏結(jié)果毫無(wú)意義。從那以后我每次拿到數(shù)據(jù)都強(qiáng)制走一遍清洗流程哪怕看起來(lái)再干凈的數(shù)據(jù)也當(dāng)臟數(shù)據(jù)對(duì)待希望這套流程能幫你在做自己的項(xiàng)目時(shí)少走一點(diǎn)我走過(guò)的彎路。本文還有配套的精品資源點(diǎn)擊獲取