簡介這份資源面向數(shù)據(jù)分析初學(xué)者與進(jìn)階學(xué)習(xí)者聚焦計(jì)數(shù)型數(shù)據(jù)的回歸建模實(shí)戰(zhàn)以挑戰(zhàn)者號(hào)航天飛機(jī)O形環(huán)熱損傷數(shù)據(jù)為案例講解如何用Python完成泊松回歸全流程。內(nèi)容涵蓋數(shù)據(jù)讀入與表頭處理、描述性統(tǒng)計(jì)與直方圖探索、均值方差檢驗(yàn)判斷分散均衡、特征矩陣與目標(biāo)向量準(zhǔn)備以及基于statsmodels的GLM建模、殘差分析與可視化驗(yàn)證幫助讀者掌握泊松回歸在真實(shí)場(chǎng)景中的適用條件與解釋方法。資源包共1個(gè)PDF文件約521KB以圖文形式完整呈現(xiàn)代碼、輸出結(jié)果與分析結(jié)論便于對(duì)照復(fù)現(xiàn)。目前已有1076人學(xué)習(xí)下載適合希望補(bǔ)齊回歸分析技能、理解計(jì)數(shù)數(shù)據(jù)建模思路的數(shù)據(jù)挖掘與統(tǒng)計(jì)學(xué)習(xí)者參考。1. 泊松回歸做航班 O 形環(huán)數(shù)據(jù)分析23 行數(shù)據(jù)里藏著多少門道拿到o-ring-erosion-only.csv的時(shí)候很多人第一反應(yīng)是「就 23 行能分析出什么」。但恰恰是這份挑戰(zhàn)者號(hào)航天飛機(jī)的 O 形環(huán)熱損傷數(shù)據(jù)把泊松回歸在計(jì)數(shù)數(shù)據(jù)上的價(jià)值體現(xiàn)得淋漓盡致——因變量Number experiencing thermal distress是 0、1、2 這樣的非負(fù)整數(shù)計(jì)數(shù)均值 0.391方差 0.412兩者幾乎相等正好落在泊松分布「分散均衡」的適用區(qū)間里。如果你手頭也有類似的計(jì)數(shù)型業(yè)務(wù)數(shù)據(jù)比如某段時(shí)間內(nèi)的故障次數(shù)、投訴工單數(shù)、頁面點(diǎn)擊量這套用 Python statsmodels 走 GLM 泊松回歸的流程可以直接遷移。這篇筆記面向的是想真正跑通一遍泊松回歸、看懂摘要表、并且知道哪里容易翻車的數(shù)據(jù)分析從業(yè)者不是泛泛講回歸原理的科普。2. 數(shù)據(jù)讀入與探索從無表頭 CSV 到分散均衡判斷2.1 無表頭 CSV 的讀入與列名重建原始文件沒有表頭直接read_csv會(huì)把第一行數(shù)據(jù)當(dāng)成列名后面所有數(shù)值列全變成 object 類型describe()直接報(bào)錯(cuò)。常見做法是用names參數(shù)手動(dòng)指定列名列名建議同時(shí)保留可讀性和后續(xù)建模的簡潔性——我一般會(huì)先用完整英文名讀進(jìn)來確認(rèn)數(shù)據(jù)沒問題后再統(tǒng)一重命名。import pandas as pd # 原始 CSV 無表頭用 names 手動(dòng)指定列名 col_names [ Number of O-ring at risk on a given flight, Number experiencing thermal distress, Launch temperature(degrees F), Leak-check pressure(psi), Temporal order of flight ] df_erosion pd.read_csv(o-ring-erosion-only.csv, namescol_names) print(df_erosion.shape) # (23, 5) print(df_erosion.columns.tolist()) print(df_erosion.head())這里names的長度必須和實(shí)際列數(shù)嚴(yán)格一致少一個(gè)會(huì)報(bào)Too many columns specified多一個(gè)會(huì)在末尾多出一列全 NaN。讀進(jìn)來之后先看shape確認(rèn)是 23 行 5 列再看head()確認(rèn)第一行不是被誤當(dāng)成表頭。如果dtypes里出現(xiàn) object八成是某列混進(jìn)了非數(shù)值字符需要單獨(dú)排查。2.2 描述性統(tǒng)計(jì)與因變量分布判斷describe()給出的是建模前最重要的一次體檢。這份數(shù)據(jù)里Number experiencing thermal distress的均值 0.391、方差 0.412兩者接近相等這是泊松回歸能用的前提條件。如果方差遠(yuǎn)大于均值過度分散標(biāo)準(zhǔn)泊松回歸的標(biāo)準(zhǔn)誤會(huì)偏小p 值會(huì)假性顯著這時(shí)候要考慮負(fù)二項(xiàng)回歸如果方差遠(yuǎn)小于均值分散不足泊松假設(shè)也不成立。import numpy as np import matplotlib.pyplot as plt # 基礎(chǔ)描述性統(tǒng)計(jì) print(df_erosion.describe()) # 因變量均值與方差對(duì)比判斷是否分散均衡 mean_val np.mean(df_erosion[Number experiencing thermal distress]) var_val np.var(df_erosion[Number experiencing thermal distress]) print(fmean{mean_val:.4f}, var{var_val:.4f}) # 頻數(shù)直方圖直觀看因變量分布形態(tài) plt.rcParams[font.family] simHei plt.hist(df_erosion[Number experiencing thermal distress], bins10, facecolorblue, edgecolorblack, alpha0.7) plt.xlabel(區(qū)間) plt.ylabel(頻數(shù)) plt.title(因變量頻數(shù)分布直方圖) plt.show()np.mean和np.var默認(rèn)按總體計(jì)算ddof0和describe()里 pandas 的樣本標(biāo)準(zhǔn)差口徑不同對(duì)比時(shí)要注意統(tǒng)一。直方圖的作用是看分布是否嚴(yán)重左偏——如果絕大多數(shù)樣本都集中在 0只有極少數(shù)取到 2 以上即使均值方差接近模型對(duì)高計(jì)數(shù)段的預(yù)測(cè)也會(huì)很弱這時(shí)候要謹(jǐn)慎解讀系數(shù)。2.3 列名重命名與特征順序調(diào)整原始列名太長寫 formula 的時(shí)候容易出錯(cuò)而且 statsmodels 的 formula 接口對(duì)含空格和括號(hào)的列名支持不好。重命名時(shí)我習(xí)慣把因變量放到最后一列自變量在前這樣column_stack構(gòu)造特征矩陣時(shí)順序一目了然。# 重命名為簡潔列名 df_erosion.rename(columns{ Number of O-ring at risk on a given flight: num_rings, Launch temperature(degrees F): temperature, Leak-check pressure(psi): pressure, Number experiencing thermal distress: num_distress, Temporal order of flight: order }, inplaceTrue) # 調(diào)整列順序自變量在前因變量在最后 order [num_rings, temperature, pressure, order, num_distress] df_erosion df_erosion[order] print(df_erosion.head())inplaceTrue會(huì)直接修改原 DataFrame如果你后面還要用原始列名做對(duì)照建議先copy()一份。列順序調(diào)整本身不影響 GLM 的 formula 寫法但影響column_stack構(gòu)造的 X 矩陣列序進(jìn)而影響你手動(dòng)核對(duì)系數(shù)時(shí)的對(duì)應(yīng)關(guān)系——這一點(diǎn)在排查「系數(shù)對(duì)不上變量」的問題時(shí)特別關(guān)鍵。3. 泊松回歸建模GLM 調(diào)用、系數(shù)解讀與預(yù)測(cè)3.1 statsmodels GLM 的 formula 接口與數(shù)組接口statsmodels 提供兩種建模入口formula 接口smf.glm和數(shù)組接口sm.GLM。formula 接口可讀性好適合變量少、需要反復(fù)調(diào)整組合的場(chǎng)景數(shù)組接口在變量多、需要程序化生成特征時(shí)更靈活。這份數(shù)據(jù)只有 4 個(gè)自變量用 formula 接口最省事。import statsmodels.formula.api as smf import statsmodels.api as sm # formula 接口因變量 ~ 自變量family 指定泊松分布 glm smf.glm( formulanum_distress ~ num_rings temperature pressure order, datadf_erosion, familysm.families.Poisson() ) results glm.fit() print(results.summary())familysm.families.Poisson()默認(rèn)使用 log 鏈接函數(shù)即log(E[y]) β? β?x? ...所以系數(shù)解讀時(shí)要取指數(shù)exp(β)表示該自變量每增加一個(gè)單位因變量期望值的倍數(shù)變化。temperature的系數(shù)是 -0.0883exp(-0.0883) ≈ 0.915意味著溫度每升高 1 華氏度熱損傷 O 形環(huán)的期望數(shù)量乘以 0.915即下降約 8.5%。3.2 模型摘要表逐項(xiàng)解讀摘要表里幾個(gè)關(guān)鍵位置coef是系數(shù)std err是標(biāo)準(zhǔn)誤z是 Wald 統(tǒng)計(jì)量P|z|是 p 值[0.025 0.975]是 95% 置信區(qū)間。這份結(jié)果里只有temperature的 p 值 0.036 小于 0.05其余三個(gè)變量都不顯著。這說明在控制溫度的前提下O 形環(huán)數(shù)量、檢漏壓力和航班時(shí)序?qū)釗p傷沒有統(tǒng)計(jì)上顯著的影響。# 單獨(dú)提取系數(shù)方便后續(xù)做 exp 轉(zhuǎn)換 print(results.params) # Intercept 0.098418 # num_rings 0.590510 # temperature -0.088329 # pressure 0.007007 # order 0.011480 # 系數(shù)取指數(shù)解讀為期望值倍數(shù)變化 import numpy as np print(np.exp(results.params))num_rings的系數(shù) 0.5905 看起來很大但 p 值 0.274 不顯著不能直接下結(jié)論說「O 形環(huán)越多熱損傷越多」。這里有個(gè)容易翻車的點(diǎn)num_rings在所有 23 條記錄里恒等于 6標(biāo)準(zhǔn)差為 0它本質(zhì)上是個(gè)常數(shù)放進(jìn)模型只會(huì)吸收截距的一部分不可能顯著。如果你拿到的是別的數(shù)據(jù)集先檢查每個(gè)自變量的方差方差為 0 的列直接剔除否則會(huì)浪費(fèi)自由度還干擾解讀。3.3 預(yù)測(cè)結(jié)果與 RMSE 評(píng)估results.predict(df_erosion)返回的是期望計(jì)數(shù)不是整數(shù)需要 round 之后和真實(shí)值對(duì)比。RMSE 用sklearn.metrics.mean_squared_error開根號(hào)即可。from sklearn.metrics import mean_squared_error # 預(yù)測(cè)并保留三位小數(shù) df_erosion[predict_result] results.predict(df_erosion) df_erosion[predict_result] df_erosion[predict_result].apply(lambda x: round(x, 3)) # 計(jì)算 RMSE rmse np.sqrt(mean_squared_error(df_erosion[predict_result], df_erosion[num_distress])) print(fRMSE: {rmse:.4f})RMSE 約 0.490因變量本身均值 0.391、最大值 2這個(gè)誤差水平說明模型有一定預(yù)測(cè)能力但不算強(qiáng)。注意mean_squared_error的參數(shù)順序是(y_true, y_pred)寫反了結(jié)果一樣但語義不對(duì)團(tuán)隊(duì)協(xié)作時(shí)容易造成誤解。另外預(yù)測(cè)值 round 到三位小數(shù)后再算 RMSE和直接用原始預(yù)測(cè)值算會(huì)有微小差異報(bào)告里要注明口徑。4. 避坑與排查泊松回歸落地時(shí)最容易翻車的五件事4.1 現(xiàn)象describe()報(bào)錯(cuò)或數(shù)值列變成 object原因CSV 無表頭且未指定names第一行數(shù)據(jù)被當(dāng)成列名后續(xù)數(shù)值列混入字符串。解決讀入時(shí)顯式傳names讀完后用df.dtypes檢查每列類型發(fā)現(xiàn) object 列用pd.to_numeric(df[col], errorscoerce)轉(zhuǎn)換并檢查 NaN 數(shù)量。4.2 現(xiàn)象模型摘要里所有變量都不顯著原因自變量之間存在共線性或者某個(gè)自變量方差為 0如本例的num_rings恒等于 6。解決建模前先算df.corr()看自變量兩兩相關(guān)再算df[col].std()剔除零方差列。共線性嚴(yán)重時(shí)考慮逐步回歸或正則化。4.3 現(xiàn)象預(yù)測(cè)值出現(xiàn)負(fù)數(shù)原因泊松回歸的 log 鏈接理論上保證期望值為正但results.predict返回的是線性預(yù)測(cè)的指數(shù)變換數(shù)值上不會(huì)為負(fù)。如果出現(xiàn)負(fù)數(shù)八成是你手動(dòng)對(duì)線性預(yù)測(cè)部分做了減法。解決直接用results.predict不要自己拆params手算。4.4 現(xiàn)象RMSE 很小但模型沒有業(yè)務(wù)意義原因因變量絕大多數(shù)為 0模型只要全預(yù)測(cè)接近 0 就能拿到低 RMSE。解決除了 RMSE還要看Pseudo R-squ. (CS)本例 0.2633和殘差分布必要時(shí)對(duì)高計(jì)數(shù)段單獨(dú)評(píng)估。4.5 現(xiàn)象formula里列名含空格或括號(hào)報(bào)錯(cuò)原因statsmodels 的 formula 解析器把空格和括號(hào)當(dāng)語法符號(hào)。解決先rename成合法 Python 標(biāo)識(shí)符再寫 formula。重命名后記得同步更新column_stack里的列名引用。5. 進(jìn)階技巧用對(duì)數(shù)似然和殘差圖驗(yàn)證泊松假設(shè)跑完基礎(chǔ)模型只是第一步真正決定這份分析能不能寫進(jìn)報(bào)告的是假設(shè)檢驗(yàn)。泊松回歸的核心假設(shè)是「均值等于方差」但模型擬合完之后殘差的分布同樣重要。我一般會(huì)做兩件事一是對(duì)比對(duì)數(shù)似然和偏差統(tǒng)計(jì)量二是畫殘差與預(yù)測(cè)值的散點(diǎn)圖。# 對(duì)數(shù)似然與偏差 print(fLog-Likelihood: {results.llf:.4f}) print(fDeviance: {results.deviance:.4f}) print(fPearson chi2: {results.pearson_chi2:.4f}) # 殘差圖預(yù)測(cè)值 vs 殘差 residuals df_erosion[num_distress] - df_erosion[predict_result] plt.scatter(df_erosion[predict_result], residuals) plt.axhline(y0, colorred, linestyle--) plt.xlabel(預(yù)測(cè)值) plt.ylabel(殘差) plt.title(殘差 vs 預(yù)測(cè)值) plt.show()Deviance15.407 和自由度 19 對(duì)比比值小于 1說明沒有明顯的過度分散。Pearson chi223.4 和自由度 19 也比較接近進(jìn)一步支持泊松假設(shè)成立。殘差圖如果呈現(xiàn)喇叭口形狀預(yù)測(cè)值越大殘差越分散說明存在異方差需要考慮準(zhǔn)泊松或負(fù)二項(xiàng)。這份數(shù)據(jù)的殘差圖基本圍繞 0 均勻分布沒有明顯模式可以認(rèn)為模型設(shè)定合理。另一個(gè)容易被忽略的點(diǎn)是Pseudo R-squ. (CS)本例 0.2633Cox-Snell 偽 R2 在計(jì)數(shù)模型里不像線性回歸的 R2 那樣直觀但可以用來對(duì)比不同模型對(duì)同一數(shù)據(jù)的擬合優(yōu)度。如果你嘗試加入交互項(xiàng)或去掉不顯著變量這個(gè)值的變化方向能幫你判斷模型是變好還是變差。最后說個(gè)習(xí)慣每次跑完 GLM我都會(huì)把results.params、results.pvalues、results.conf_int()三個(gè)輸出拼成一張表和原始變量名一一對(duì)應(yīng)存下來。因?yàn)?statsmodels 的摘要表在變量多的時(shí)候會(huì)換行肉眼核對(duì)系數(shù)和變量名很容易串行。從那以后我每次做泊松回歸都強(qiáng)制走一遍「零方差檢查 → 共線性檢查 → 殘差圖 → 系數(shù)對(duì)照表」這四步再也沒在報(bào)告里寫錯(cuò)過變量。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取