1. 先搞清楚數(shù)據(jù)到底臟在哪8種清洗方法的作戰(zhàn)地圖我接手過不少數(shù)據(jù)分析項(xiàng)目卡在建模階段的往往不是算法選型而是數(shù)據(jù)本身。有些表看起來結(jié)構(gòu)完整實(shí)際上用戶ID一會(huì)有13位一會(huì)有18位金額字段混著￥1,200和1200兩種寫法日期格式三種并存還有幾個(gè)字段直接空了三分之一。這些問題如果不提前處理后面不管算平均值、做交叉分析還是建機(jī)器學(xué)習(xí)模型結(jié)果都會(huì)離譜。數(shù)據(jù)清洗的目標(biāo)不是讓表格看起來整齊而是讓統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、報(bào)表輸出的結(jié)果可信。與其東一榔頭西一棒子地零散處理不如把常用的清洗動(dòng)作歸納成一套固定打法。下面這8種方法是我在實(shí)際項(xiàng)目中反復(fù)用到、也反復(fù)驗(yàn)證過效果的處理順序序號清洗方法解決的問題1缺失值處理字段為空、占位符偽裝成空值2重復(fù)數(shù)據(jù)處理完全重復(fù)行、主鍵沖突、近似重復(fù)3異常值處理離群點(diǎn)、明顯不合理取值4數(shù)據(jù)類型糾正數(shù)字存成文本、ID被當(dāng)成數(shù)值5文本格式統(tǒng)一空格、大小寫、全半角混用6日期時(shí)間標(biāo)準(zhǔn)化多種日期格式并存、時(shí)間單位不統(tǒng)一7類別變量清洗與編碼類別叫法混亂、低頻類過多8一致性校驗(yàn)字段間邏輯矛盾、跨表對不上這8種方法不是流水線式的先后關(guān)系但大多數(shù)項(xiàng)目按缺失→重復(fù)→異?！愋透袷健掌凇悇e→一致性的順序來推效率最高。先解決單字段的有沒有、是不是問題再處理字段之間的對不對問題邏輯上更順。我在實(shí)際項(xiàng)目里還養(yǎng)成一個(gè)習(xí)慣每一步清洗都要記日志。哪個(gè)字段改了多少行、為什么這樣改、刪了什么數(shù)據(jù)都寫清楚。因?yàn)榍逑催^程往往要反復(fù)迭代數(shù)據(jù)按不同口徑處理過兩三輪之后如果沒記錄你根本不知道自己手里的數(shù)據(jù)是怎么來的后面出了問題完全沒法回溯。2. 缺失值處理刪除、填充與什么都不做的邊界缺失值處理是數(shù)據(jù)清洗里最常見也是最容易踩坑的一步。很多人拿到數(shù)據(jù)先看有沒有空值有了就是填充或刪除二選一但真正的問題往往是你真的把所有缺失值都識(shí)別出來了嗎2.1 先把缺失的認(rèn)識(shí)補(bǔ)齊在Python的pandas里NaN和None都會(huì)被判定為缺失但實(shí)際數(shù)據(jù)里還有一堆偽裝缺失空字符串常見于手工錄入的Excel表占位符比如-999、9999、N/A、NULL、unknown、未知業(yè)務(wù)上的無效值比如年齡字段填了0但0歲在這個(gè)場景下明顯不是有效年齡全角空格或不可見字符處理的第一步是把這些偽裝值統(tǒng)一轉(zhuǎn)成真正的空值不然你統(tǒng)計(jì)缺失率的時(shí)候會(huì)嚴(yán)重低估。import pandas as pd import numpy as np df pd.read_csv(order_demo.csv) df df.replace([N/A, NULL, 未知, -999], np.nan) # 檢查各列缺失情況 print(df.isna().sum()) print(df.isna().mean())識(shí)別完之后不要急著處理先回答三個(gè)問題缺失率是多少缺失是隨機(jī)的還是跟某些字段有關(guān)這個(gè)字段在后續(xù)分析里有多重要這三個(gè)問題的答案直接決定你該刪、該填、還是干脆不動(dòng)。2.2 什么時(shí)候可以直接刪除不是所有缺失值都必須填盲目填充反而會(huì)制造假數(shù)據(jù)。滿足以下條件時(shí)刪除是更誠實(shí)的做法缺失比例超過30%且這個(gè)字段對業(yè)務(wù)沒有明確價(jià)值字段缺失與你要分析的目標(biāo)變量無關(guān)刪除后不會(huì)引入系統(tǒng)性偏差整體樣本量足夠大刪除后不影響代表性舉個(gè)例子你分析訂單轉(zhuǎn)化率用戶年齡這個(gè)字段缺失了40%而你的分析根本不涉及年齡分組那直接刪掉這列就行沒必要花力氣填。再比如備注字段有80%是空的這種字段對多數(shù)模型沒有預(yù)測價(jià)值刪掉比填充更合理。但刪除必須記錄清楚。我一般會(huì)在清洗日志里寫明哪一步刪了多少行、刪了哪些列、刪除依據(jù)是什么。否則數(shù)據(jù)量對不上時(shí)你連怎么跟業(yè)務(wù)方交代都不知道。2.3 填充方案怎么選如果決定填充那就要根據(jù)數(shù)據(jù)類型和業(yè)務(wù)場景選方法沒有萬能方案。我的選擇邏輯通常是這樣的填充方式適用場景注意點(diǎn)固定值填充業(yè)務(wù)上缺失有明確含義如無別用0隨便填均值/中位數(shù)/眾數(shù)數(shù)值型字段缺失率低偏態(tài)分布用中位數(shù)別用均值分組統(tǒng)計(jì)量填充字段在不同分組下差異明顯先分組再填充前向/后向填充時(shí)間序列數(shù)據(jù)必須先排序線性插值數(shù)值趨勢變化平滑的數(shù)據(jù)對突變數(shù)據(jù)不友好模型插補(bǔ)重要字段、缺失率不高KNN、迭代插補(bǔ)成本較高給你一段可以直接套用的代碼覆蓋了最常見的幾種情況# 用中位數(shù)填充適合偏態(tài)分布的收入字段 df[income] df[income].fillna(df[income].median()) # 按分組統(tǒng)計(jì)量填充不同地區(qū)的銷售額中位數(shù)不同 df[sales] df[sales].fillna( df.groupby(region)[sales].transform(median) ) # 時(shí)間序列先排序再向前填充 df df.sort_values(date) df[stock_price] df[stock_price].fillna(methodffill) # 線性插值適合連續(xù)變化的數(shù)值 df[temperature] df[temperature].interpolate()這里我想特別提醒一點(diǎn)用均值填充前一定要看分布。如果數(shù)據(jù)是右偏的少數(shù)特別大的值把均值拉高了用均值填充相當(dāng)于給一大堆樣本填了偏高的值后面做任何統(tǒng)計(jì)都會(huì)受影響。這時(shí)候中位數(shù)更穩(wěn)健。如果數(shù)據(jù)是嚴(yán)重偏態(tài)且缺失率不高我甚至?xí)紤]用分組中位數(shù)或模型預(yù)測來填。還有一種情況缺失值可以什么都不做。有些樹模型天然能處理缺失值XGBoost、LightGBM在訓(xùn)練時(shí)會(huì)自動(dòng)學(xué)習(xí)缺失值的最優(yōu)分裂方向。如果你明確知道自己要用這類模型而且缺失本身可能包含信息比如客戶沒填寫某項(xiàng)可能意味著某種行為特征那保留缺失比填充更好。這個(gè)思路很多人會(huì)忽略但你細(xì)想一下清不干凈的數(shù)據(jù)有時(shí)候恰恰是特征本身。3. 重復(fù)數(shù)據(jù)完全去重背后還有模糊去重重復(fù)數(shù)據(jù)處理聽起來最簡單drop_duplicates一調(diào)就完事。但實(shí)際業(yè)務(wù)里的重復(fù)比這個(gè)復(fù)雜得多有完全重復(fù)的行有主鍵沖突的記錄還有同一客戶在不同時(shí)間提交的近似重復(fù)信息。處理錯(cuò)了要么丟掉有效數(shù)據(jù)要么保留臟數(shù)據(jù)。3.1 完全重復(fù)與主鍵去重先區(qū)分兩種情況一種是整行所有字段完全相同這種直接去重沒問題另一種是業(yè)務(wù)主鍵相同但其他字段有差異這種只保留其中一條就要?jiǎng)幽X子了。# 整行完全重復(fù) df_clean df.drop_duplicates() # 按業(yè)務(wù)主鍵去重保留最早的一條或最新的一條 df_clean df.drop_duplicates(subset[order_id], keepfirst) df_clean df.drop_duplicates(subset[order_id], keeplast)keepfirst還是keeplast取決于業(yè)務(wù)語義。比如你要分析用戶最新狀態(tài)保留最后一條你要還原訂單創(chuàng)建時(shí)的最初記錄保留第一條。這里有個(gè)容易忽略的細(xì)節(jié)去重前先檢查主鍵是否真的唯一。很多時(shí)候你以為order_id是主鍵實(shí)際上同一訂單號重復(fù)錄入而且重復(fù)記錄之間還有細(xì)微差異。我習(xí)慣先把這個(gè)小表打印出來看看duplicate_key df[df.duplicated(subset[order_id], keepFalse)] print(duplicate_key.shape) print(duplicate_key.sort_values(order_id).head(20))先看重復(fù)的樣子再?zèng)Q定保留邏輯而不是直接去重。3.2 模糊去重同一客戶的不同寫法比完全去重更難的是模糊去重。比如客服系統(tǒng)里錄入的客戶名張三和張三 、張 三、zhangsan可能是同一個(gè)人但字符串完全不一樣。再比如公司名騰訊科技和騰訊科技有限公司也在不同批次數(shù)據(jù)里混著。處理思路是先把文本統(tǒng)一去空格、統(tǒng)一大小寫、去公司后綴再算相似度最后按相似度閾值合并。一個(gè)簡單可用的做法from difflib import SequenceMatcher def text_normalize(s): if not isinstance(s, str): return s s.strip().lower() s s.replace( , ) s s.replace(有限公司, ).replace(有限責(zé)任公司, ) return s def similar(a, b): return SequenceMatcher(None, text_normalize(a), text_normalize(b)).ratio() # 示例判斷兩條客戶記錄是否近似重復(fù) print(similar(深圳市騰訊科技, 騰訊科技有限公司))模糊去重算相似度的時(shí)候最怕一對多全量比較數(shù)據(jù)量稍微上來就是O(n2)的復(fù)雜度。實(shí)際項(xiàng)目里我會(huì)先按一個(gè)容易區(qū)分的字段分組比如把城市姓名相同的先聚到一起再在小范圍內(nèi)比較速度快很多。3.3 去重不等于刪數(shù)據(jù)這件事必須單獨(dú)說不是所有重復(fù)都該刪。在某些場景下重復(fù)記錄本身就是信息。比如訂單流水表里一個(gè)訂單可能有多次狀態(tài)變更記錄這時(shí)候一單多行是正常的去重反而毀了數(shù)據(jù)。所以動(dòng)手之前要確認(rèn)這個(gè)表是一個(gè)業(yè)務(wù)對象一行的主檔表還是一個(gè)業(yè)務(wù)對象多行的流水表。主檔表才需要去重流水表要去的是那些因?yàn)槌绦騜ug產(chǎn)生的重復(fù)寫入。另外如果重復(fù)記錄里各字段的信息分布在不同行更合理的做法是合并而不是刪除。比如一行有手機(jī)號另一行有郵箱合并后才是完整客戶檔案。這時(shí)候我會(huì)按主鍵聚合把有效字段拼起來。4. 異常值不要一刪了之先問它是噪音還是真相看到異常值時(shí)很多人的第一反應(yīng)是刪掉讓數(shù)據(jù)看起來更好。但異常值可能是錄入錯(cuò)誤也可能是真實(shí)業(yè)務(wù)信號。我的原則是先識(shí)別再判斷最后才決定怎么處理。4.1 箱線圖與IQR方法IQR四分位距方法不依賴數(shù)據(jù)分布形態(tài)非常適合初步掃描。它的邏輯是把數(shù)據(jù)按大小排序找到25%分位數(shù)Q1和75%分位數(shù)Q3兩者的差就是IQR凡是超出Q1-1.5×IQR或Q31.5×IQR范圍的都標(biāo)記為潛在異常值。Q1 df[sales].quantile(0.25) Q3 df[sales].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR outliers df[(df[sales] lower_bound) | (df[sales] upper_bound)] print(outliers.shape)畫箱線圖能直觀看到離群點(diǎn)分布。如果你看到一組點(diǎn)遠(yuǎn)遠(yuǎn)甩在箱體外面先不要急著刪去看這些樣本對應(yīng)的原始記錄問業(yè)務(wù)方這是不是真實(shí)值。4.2 Z-score與3σ原則Z-score方法的核心是把數(shù)據(jù)標(biāo)準(zhǔn)化看每個(gè)值偏離均值多少個(gè)標(biāo)準(zhǔn)差。通常情況下Z-score絕對值超過3就被認(rèn)為是異常值對應(yīng)正態(tài)分布下大約99.7%的覆蓋率。mean df[sales].mean() std df[sales].std() z_scores (df[sales] - mean) / std outliers df[z_scores.abs() 3]這個(gè)方法的適用前提是數(shù)據(jù)近似正態(tài)分布。如果數(shù)據(jù)嚴(yán)重偏態(tài)或者樣本量很小Z-score很容易失靈。偏態(tài)分布下均值本身就被極值拉偏了標(biāo)準(zhǔn)差也偏大結(jié)果就是真正的異常值反而不容易被識(shí)別出來。所以我會(huì)在數(shù)據(jù)呈近似鐘形分布時(shí)才優(yōu)先用Z-score否則用IQR更穩(wěn)。4.3 業(yè)務(wù)規(guī)則比統(tǒng)計(jì)方法更可靠統(tǒng)計(jì)方法只能告訴你這個(gè)值在分布上很極端但判斷它是不是真的有問題最終要回到業(yè)務(wù)。我遇到過一個(gè)典型例子某天銷售額突然漲了10倍IQR標(biāo)它為異常值但查下去發(fā)現(xiàn)是當(dāng)天一個(gè)大客戶集中采購錢是真的入賬了。這種異常值不僅不該刪反而是業(yè)務(wù)亮點(diǎn)。所以實(shí)際項(xiàng)目中我會(huì)這么組合先用IQR或Z-score做候選掃描再寫幾條業(yè)務(wù)規(guī)則過濾。比如銷售額為負(fù)數(shù)但業(yè)務(wù)上不存在負(fù)銷售額 → 數(shù)據(jù)錯(cuò)誤用戶年齡大于120歲或小于0歲 → 數(shù)據(jù)錯(cuò)誤訂單量在特定秒殺時(shí)段出現(xiàn)尖峰 → 真實(shí)現(xiàn)象保留測試訂單、內(nèi)部訂單混入業(yè)務(wù)數(shù)據(jù) → 按標(biāo)記字段刪除# 業(yè)務(wù)規(guī)則示例 df df[df[sales] 0] # 銷售額不能為負(fù) df df[(df[age] 0) (df[age] 120)] # 年齡合理范圍 df df[df[is_test_order] ! 1] # 排除測試訂單處理方式上除了直接刪除還有截尾、替換、打標(biāo)記三種更溫和的手段。比如超過99.9%分位的極大值可以截尾到99.9%分位再參與建模不影響整體分布明顯錄入錯(cuò)誤的可以替換為缺失值交給處理缺失值那一步懷疑是真實(shí)但無法確認(rèn)的增加一個(gè)is_outlier字段標(biāo)記出來不刪除分析時(shí)單獨(dú)看。5. 數(shù)據(jù)類型糾正與格式統(tǒng)一能算、能比、能合并的底線這一節(jié)要解決的是數(shù)據(jù)能不能被正確使用的問題。我見過太多人跳過這一步結(jié)果后面做聚合時(shí)才發(fā)現(xiàn)金額是字符串、日期是字符串、訂單號被當(dāng)成了整數(shù)。5.1 數(shù)值類型的識(shí)別與轉(zhuǎn)換最典型的問題read_csv讀進(jìn)來后金額字段因?yàn)閹Ф禾柣蜇泿欧柋蛔R(shí)別成字符串而訂單號、用戶ID這類本該是字符串的字段反而被識(shí)別成整數(shù)導(dǎo)致前導(dǎo)零丟失、大數(shù)被截?cái)?。處理方法很直白看dtypes然后逐列糾正。# 查看所有字段類型 print(df.dtypes) # 金額字段去掉符號再轉(zhuǎn)浮點(diǎn) df[price] ( df[price] .astype(str) .str.replace(,, , regexFalse) .str.replace(￥, , regexFalse) .astype(float) ) # 用戶ID必須是字符串并補(bǔ)齊前導(dǎo)零 df[user_id] df[user_id].astype(str).str.zfill(13)這里有個(gè)容易踩的坑轉(zhuǎn)float之前先檢查有沒有非數(shù)字內(nèi)容。比如金額字段里混著免費(fèi)、面議之類的文本直接astype(float)會(huì)報(bào)錯(cuò)更穩(wěn)妥的做法是用pd.to_numeric(errorscoerce)轉(zhuǎn)換不了的自動(dòng)變成NaN然后再走缺失值處理流程。df[price] pd.to_numeric(df[price], errorscoerce)訂單號、商品編碼這類標(biāo)識(shí)字段我的建議是始終按字符串處理。它們不參與數(shù)學(xué)運(yùn)算一旦被讀成整數(shù)不僅可能丟失前導(dǎo)零還可能因?yàn)槌龈↑c(diǎn)精度產(chǎn)生尾數(shù)誤差。這個(gè)坑排查起來非常隱蔽。5.2 文本格式統(tǒng)一文本清洗的常見問題包括首尾空格、內(nèi)部連續(xù)空格、全角/半角混用、大小寫不一致。這些問題最直接的危害是分組統(tǒng)計(jì)時(shí)同一個(gè)值被拆成多個(gè)組。# 去掉首尾空格和異常字符 df[name] df[name].str.strip() df[text] df[text].str.replace(r\s, , regexTrue) # 統(tǒng)一大小寫 df[email] df[email].str.lower() df[code] df[code].str.upper() # 全角字符轉(zhuǎn)半角常見于手工錄入的段落 def full_to_half(text): if not isinstance(text, str): return text return .join( chr(ord(c) - 0xFEE0) if c else c for c in text ) df[comments] df[comments].map(full_to_half)文本清洗的原則是以終為始你先想清楚下游要拿這個(gè)字段做什么再?zèng)Q定統(tǒng)一的規(guī)則。如果只是做匹配那大小寫和空格統(tǒng)一就夠了如果要輸出給用戶看標(biāo)點(diǎn)符號全角半角也都要統(tǒng)一。5.3 組合列與拆列格式統(tǒng)一的另一個(gè)常見需求是拆列和拼列。比如把2023-01-01 12:30:45拆成日期和時(shí)間兩列把姓和名分開把地址拆成省份、城市、區(qū)縣。pandas里用str.extract和str.split可以處理。# 拆分日期時(shí)間 df[date] pd.to_datetime(df[created_at]).dt.date df[time] pd.to_datetime(df[created_at]).dt.time # 提取省份 df[province] df[address].str.extract(r(北京|上海|廣東|浙江|...), expandFalse)拆列前先確認(rèn)字段的原始結(jié)構(gòu)是否規(guī)整。如果地址字段本身就亂七八糟廣東省深圳市南山區(qū)和深圳南山混在一起拆出來的結(jié)果也不會(huì)可信。這時(shí)候應(yīng)該先回到格式統(tǒng)一再考慮拆列。6. 日期時(shí)間與類別變量兩個(gè)最容易埋雷的隱性字段這一節(jié)把日期時(shí)間和類別變量放在一起說原因是它們都有一個(gè)共同點(diǎn)表面看沒什么大問題一旦深入處理才發(fā)現(xiàn)坑比想象中多。6.1 日期時(shí)間解析統(tǒng)一格式只是第一步日期字段最常見的形態(tài)包括2023/1/5、2023-01-05、2023年1月5日、01/05/2023月/日還是日/月分不清還有Unix時(shí)間戳。pandas的to_datetime在多數(shù)情況下能自動(dòng)識(shí)別但遇到混合格式時(shí)必須指定格式或使用formatmixed。# 常規(guī)轉(zhuǎn)換 df[date] pd.to_datetime(df[date], errorscoerce) # 指定格式適合統(tǒng)一的字符串格式 df[date] pd.to_datetime(df[date], format%Y/%m/%d, errorscoerce) # 混合格式容錯(cuò) df[date] pd.to_datetime(df[date], formatmixed, errorscoerce)轉(zhuǎn)換后一定要檢查有多少解析失敗。我見過一個(gè)項(xiàng)目日期字段解析失敗率高達(dá)10%就是因?yàn)榛熘?0230105這種不帶分隔符的寫法to_datetime解析不出來結(jié)果直接變成NaN。解決辦法是先統(tǒng)一字符串格式再轉(zhuǎn)換。def clean_date(s): s str(s).strip() # 去掉分隔符統(tǒng)一為YYYYMMDD s re.sub(r[-/年月日\s:], , s) return s df[date_str] df[date].map(clean_date) df[date] pd.to_datetime(df[date_str], format%Y%m%d, errorscoerce)日期時(shí)間處理還要注意時(shí)區(qū)問題。做跨平臺(tái)、跨地區(qū)數(shù)據(jù)分析時(shí)不同數(shù)據(jù)源可能存的是UTC、本地時(shí)間、帶偏移量的時(shí)間不統(tǒng)一時(shí)區(qū)直接比較時(shí)間先后就是錯(cuò)的。如果只有北京時(shí)間可以先把tz信息處理好再轉(zhuǎn)換。6.2 類別變量的清洗先合并再編碼類別變量的問題主要集中在叫法不統(tǒng)一。同是城市北京、北京市、beijing出現(xiàn)在同一列里分組結(jié)果就會(huì)變成三組。處理思路是建立映射表而不是靠單個(gè)replace。city_map { 北京市: 北京, beijing: 北京, BJ: 北京, 上海市: 上海, shanghai: 上海, } df[city] df[city].str.strip().str.lower().replace(city_map)映射表的好處是可維護(hù)、可追溯。以后發(fā)現(xiàn)新的別名往里加一條就行不用改主邏輯。另一個(gè)常見問題是低頻類別。比如商品類目有500個(gè)但80%的類目只出現(xiàn)過一兩次。這種數(shù)據(jù)直接做獨(dú)熱編碼會(huì)讓特征矩陣極度稀疏模型效果反而差。我的做法是先統(tǒng)計(jì)頻次把頻次低于某個(gè)閾值的類別合并成其他。# 統(tǒng)計(jì)類別頻次 counts df[category].value_counts() # 低于100次的合為other rare_categories counts[counts 100].index df[category] df[category].replace(rare_categories, other) # 再檢查一下 print(df[category].value_counts().head())閾值怎么定看樣本量和業(yè)務(wù)解釋性。樣本量小的時(shí)候閾值可以低一些但至少要保證合并后每個(gè)類別都有足夠的樣本支持分析。6.3 類別編碼別踩進(jìn)無序數(shù)字的坑類別清洗完之后就是編碼。首先要區(qū)分定類變量城市、性別和定序變量教育程度、滿意度前者用獨(dú)熱編碼后者用標(biāo)簽編碼。# 定序變量教育程度 edu_map {小學(xué): 1, 初中: 2, 高中: 3, 本科: 4, 碩士: 5} df[education_level] df[education].map(edu_map) # 定類變量獨(dú)熱編碼 from sklearn.preprocessing import OneHotEncoder import pandas as pd encoded pd.get_dummies(df[city], prefixcity) df pd.concat([df, encoded], axis1)這里有個(gè)常見誤解把所有類別變量都轉(zhuǎn)成0、1、2、3這樣的整數(shù)。問題是如果變量是定類變量北京1、上海2、廣州3會(huì)在模型里制造出上海2倍北京這種虛假的數(shù)值關(guān)系。所以定類變量必須用獨(dú)熱編碼或啞變量只有定序變量才適合標(biāo)簽編碼。7. 一致性校驗(yàn)跨字段的邏輯約束與閉環(huán)驗(yàn)證最后一種方法也是最容易被忽略的一步。前面的處理都是在單字段層面做文章一致性校驗(yàn)解決的是字段和字段之間的關(guān)系問題。7.1 常見的一致性規(guī)則數(shù)據(jù)內(nèi)部的一致性規(guī)則通常不需要寫多復(fù)雜的代碼就是幾條業(yè)務(wù)常識(shí)交易金額 單價(jià) × 數(shù)量發(fā)貨日期 ≥ 下單日期年齡 當(dāng)前年份 - 出生年份允許一定誤差子類目必須屬于父類目同一用戶的性別在兩個(gè)表中不能互斥# 金額對不上 df[amount_mismatch] df[total_price] ! df[price] * df[quantity] bad_amount df[df[amount_mismatch]] print(bad_amount.shape) # 發(fā)貨日期早于下單日期 bad_date df[df[shipping_date] df[order_date]] print(bad_date.shape) # 刪除或標(biāo)記邏輯矛盾的數(shù)據(jù) df df[df[shipping_date] df[order_date]] df df[~df[amount_mismatch]]不一致的原因往往不只是錄入錯(cuò)誤還有系統(tǒng)間的時(shí)間差、狀態(tài)機(jī)跳轉(zhuǎn)的前后關(guān)系、不同系統(tǒng)口徑差異等。發(fā)現(xiàn)不一致后不要全都當(dāng)成臟數(shù)據(jù)刪掉先和業(yè)務(wù)確認(rèn)哪一方是可信源。比如ERP里的訂單金額和CRM里的訂單金額對不上通常以ERP為準(zhǔn)那就在清洗時(shí)做字段對齊。7.2 清洗前后對比形成報(bào)告工程化清洗的核心是每一步都能被檢查和復(fù)現(xiàn)。我建議每次都生成一份清洗報(bào)告至少包含以下對比檢查項(xiàng)清洗前清洗后總行數(shù)120,000116,350缺失值總數(shù)8,420320重復(fù)行數(shù)1,5080異常值數(shù)量1,203432類型錯(cuò)誤字段數(shù)60一致性校驗(yàn)失敗數(shù)877生成這份表不需要額外工具pandas自帶的統(tǒng)計(jì)就能完成。關(guān)鍵是形成固化腳本每次清洗都跑一遍然后人工看一眼數(shù)字變化是否合理。如果清洗后數(shù)據(jù)量變化太大比如刪了原本的30%那就要警惕是不是刪除規(guī)則太激進(jìn)。summary pd.DataFrame({ 指標(biāo): [行數(shù), 缺失值, 重復(fù)行, 異常值], 清洗前: [len(df_raw), df_raw.isna().sum().sum(), df_raw.duplicated().sum(), outlier_count], 清洗后: [len(df_clean), df_clean.isna().sum().sum(), df_clean.duplicated().sum(), new_outlier_count], }) print(summary)7.3 把清洗規(guī)則沉淀成函數(shù)庫最后一條經(jīng)驗(yàn)來自我多次手寫清洗腳本的教訓(xùn)不要每次都用臨時(shí)腳本一坨寫完就扔。數(shù)據(jù)清洗規(guī)則是會(huì)復(fù)用的下個(gè)月來一批新數(shù)據(jù)規(guī)則大概率差不多。把常用的清洗動(dòng)作封裝成函數(shù)放在一個(gè)模塊里之后就是按順序調(diào)用。def clean_dataset(df): df clean_missing_values(df) # 缺失值處理 df remove_duplicates(df) # 去重 df detect_and_handle_outliers(df) # 異常值 df correct_dtypes(df) # 類型糾正 df standardize_text(df) # 文本格式 df standardize_dates(df) # 日期標(biāo)準(zhǔn)化 df clean_categories(df) # 類別變量 df validate_consistency(df) # 一致性校驗(yàn) return df封裝函數(shù)庫還有一層好處清洗規(guī)則可以被review、被測試、被改進(jìn)。比如clean_missing_values里的填充策略從均值改為中位數(shù)只需要改一處所有項(xiàng)目復(fù)用時(shí)同步生效而不是每個(gè)新項(xiàng)目重新踩一遍坑。我自己在工程里還會(huì)加一層清洗配置把缺失率閾值、去重主鍵、異常值倍數(shù)、類別合并閾值這些參數(shù)都抽出來。這樣同一個(gè)清洗腳本可以在不同數(shù)據(jù)集上適配不需要?jiǎng)哟a邏輯。清洗做完后我會(huì)習(xí)慣性地做個(gè)抽樣驗(yàn)證隨機(jī)抽幾十條原始記錄跟蹤它們從原始狀態(tài)到清洗后狀態(tài)的每一步變化確認(rèn)沒有因?yàn)槟硹l規(guī)則誤刪或誤改。這一步看起來笨但確實(shí)是保證清洗質(zhì)量最直接的辦法尤其是數(shù)據(jù)量很大、規(guī)則很多的時(shí)候抽樣驗(yàn)證能兜住大部分低級錯(cuò)誤。