1. 為什么搞數(shù)據(jù)統(tǒng)計(jì)繞不開(kāi)概率分布做數(shù)據(jù)分析這些年我發(fā)現(xiàn)一個(gè)挺有意思的現(xiàn)象很多人拿到一組數(shù)據(jù)第一反應(yīng)就是算均值、算方差然后畫(huà)個(gè)直方圖看看形狀覺(jué)得這就是統(tǒng)計(jì)分析了。但真正做過(guò)幾個(gè)完整項(xiàng)目之后你會(huì)發(fā)現(xiàn)均值方差只是最表層的描述真正決定你分析結(jié)論靠不靠譜的是你對(duì)數(shù)據(jù)背后概率分布的理解。舉個(gè)我踩過(guò)的坑。早些年做一個(gè)傳感器信號(hào)處理的項(xiàng)目采集了幾萬(wàn)條數(shù)據(jù)我直接用正態(tài)分布假設(shè)去算置信區(qū)間結(jié)果發(fā)現(xiàn)尾部數(shù)據(jù)完全對(duì)不上后來(lái)一查才知道那批數(shù)據(jù)是典型的重尾分布用正態(tài)分布去套置信區(qū)間嚴(yán)重偏窄導(dǎo)致誤判率飆升。從那以后我就養(yǎng)成了一個(gè)習(xí)慣拿到任何數(shù)據(jù)先看它服從什么分布再談后續(xù)分析。這篇內(nèi)容主要聊兩件事一是Matlab里常見(jiàn)的概率分布怎么用、怎么選二是分位數(shù)這個(gè)被很多人低估但極其好用的工具。適合已經(jīng)會(huì)用Matlab做基礎(chǔ)數(shù)據(jù)處理、想往統(tǒng)計(jì)分析方向深入的朋友也適合做信號(hào)處理、金融分析、質(zhì)量控制、機(jī)器學(xué)習(xí)特征工程的同學(xué)參考。不需要你有多深的數(shù)學(xué)功底但基本的概率論概念得知道比如什么是概率密度、什么是累積分布。我會(huì)把每個(gè)分布的核心參數(shù)、Matlab里的調(diào)用方式、實(shí)際場(chǎng)景怎么選、以及分位數(shù)在工程中的妙用都講清楚盡量做到你讀完就能直接上手改代碼。2. 常見(jiàn)概率分布的核心邏輯與選型思路2.1 分布選型的底層邏輯先看數(shù)據(jù)怎么產(chǎn)生的很多人學(xué)概率分布是死記硬背公式我覺(jué)得這是最沒(méi)效率的方式。正確的思路是先搞清楚數(shù)據(jù)是怎么產(chǎn)生的分布自然就出來(lái)了。打個(gè)比方正態(tài)分布為什么這么常見(jiàn)因?yàn)樗嵌鄠€(gè)獨(dú)立小因素疊加的結(jié)果。比如測(cè)量誤差是溫度波動(dòng)、儀器精度、讀數(shù)偏差等一堆小因素加在一起造成的根據(jù)中心極限定理這種疊加就趨向正態(tài)。而指數(shù)分布描述的是等待時(shí)間比如一個(gè)設(shè)備從開(kāi)始運(yùn)行到出故障的時(shí)間這種無(wú)記憶性的等待過(guò)程就是指數(shù)分布。所以選分布的時(shí)候我會(huì)問(wèn)自己三個(gè)問(wèn)題這個(gè)數(shù)據(jù)是計(jì)數(shù)還是連續(xù)測(cè)量計(jì)數(shù)通常往泊松、二項(xiàng)靠連續(xù)測(cè)量往正態(tài)、指數(shù)、伽馬靠。數(shù)據(jù)有沒(méi)有上下界比如比例數(shù)據(jù)在0到1之間那貝塔分布可能比正態(tài)更合適。數(shù)據(jù)的尾部厚不厚金融收益率、網(wǎng)絡(luò)流量這類數(shù)據(jù)尾部往往很厚正態(tài)會(huì)低估極端事件。這三個(gè)問(wèn)題想清楚了分布選型基本不會(huì)跑偏。2.2 Matlab里分布對(duì)象的統(tǒng)一調(diào)用范式Matlab從R2013a開(kāi)始引入了概率分布對(duì)象這套體系我覺(jué)得這是它做統(tǒng)計(jì)分析最舒服的地方。所有分布都遵循同一套命名規(guī)則學(xué)會(huì)一個(gè)就會(huì)用全部。核心函數(shù)就四個(gè)pdf/cdf概率密度/累積分布icdf逆累積分布也就是給定概率求分位數(shù)random生成服從該分布的隨機(jī)數(shù)fit/mle從數(shù)據(jù)擬合分布參數(shù)命名規(guī)則是分布名pdf、分布名cdf這種形式。比如正態(tài)是normpdf、normcdf、norminv指數(shù)是exppdf、expcdf、expinv。注意逆函數(shù)有的叫inv有的叫icdf新版統(tǒng)一推薦用對(duì)象方式調(diào)用。我一般這樣用% 創(chuàng)建正態(tài)分布對(duì)象 pd makedist(Normal, mu, 0, sigma, 1); % 求x1.96處的累積概率 p cdf(pd, 1.96); % 求95%分位數(shù) q icdf(pd, 0.95); % 生成1000個(gè)隨機(jī)數(shù) r random(pd, 1000, 1);這種對(duì)象式寫法的好處是參數(shù)只寫一次后面所有操作都復(fù)用代碼干凈很多。以前用normcdf(x, mu, sigma)這種函數(shù)式寫法每個(gè)調(diào)用都要重復(fù)傳參數(shù)參數(shù)一多就容易出錯(cuò)。2.3 幾個(gè)高頻分布的實(shí)戰(zhàn)場(chǎng)景對(duì)照我把工程中最常用的幾個(gè)分布整理成一張表方便你快速對(duì)照分布核心參數(shù)典型場(chǎng)景Matlab對(duì)象名正態(tài)分布mu, sigma測(cè)量誤差、身高體重、信號(hào)噪聲Normal指數(shù)分布mu設(shè)備壽命、等待時(shí)間、到達(dá)間隔Exponential泊松分布lambda單位時(shí)間事件數(shù)、缺陷數(shù)Poisson二項(xiàng)分布n, p合格率、點(diǎn)擊率、成功次數(shù)Binomial伽馬分布a, b累積等待時(shí)間、降雨量Gamma貝塔分布a, b比例、概率的先驗(yàn)Beta威布爾分布a, b可靠性壽命、風(fēng)速Weibull對(duì)數(shù)正態(tài)分布mu, sigma收入、股價(jià)、粒徑Lognormal這張表我建議你存下來(lái)做項(xiàng)目的時(shí)候?qū)χ?。特別提醒一點(diǎn)指數(shù)分布是伽馬分布的特例形狀參數(shù)為1威布爾分布又比指數(shù)更靈活能描述遞增或遞減的故障率。做可靠性分析的時(shí)候威布爾往往比指數(shù)更貼合實(shí)際因?yàn)楹芏嘣O(shè)備的故障率不是恒定的。2.4 參數(shù)估計(jì)別只會(huì)用均值方差選好分布之后下一步是從數(shù)據(jù)里估計(jì)參數(shù)。這里有個(gè)坑很多人直接用樣本均值和樣本方差去套正態(tài)分布參數(shù)這在數(shù)據(jù)量大的時(shí)候沒(méi)問(wèn)題但數(shù)據(jù)量小或者有離群點(diǎn)的時(shí)候會(huì)偏得厲害。Matlab提供了fitdist函數(shù)用最大似然估計(jì)來(lái)擬合參數(shù)比矩估計(jì)更穩(wěn)健% 假設(shè)data是你的樣本數(shù)據(jù) pd fitdist(data, Normal); % 查看估計(jì)出的參數(shù) pd.mu pd.sigma % 擬合威布爾分布 pdw fitdist(data, Weibull);fitdist還支持指定分布類型后自動(dòng)選最優(yōu)參數(shù)甚至可以用fitdist配合AIC準(zhǔn)則在多個(gè)候選分布里挑最合適的。我一般會(huì)同時(shí)擬合正態(tài)、威布爾、對(duì)數(shù)正態(tài)三個(gè)然后比較AIC值選最小的那個(gè)。這個(gè)流程在可靠性分析里幾乎是標(biāo)配。注意fitdist對(duì)數(shù)據(jù)的預(yù)處理有要求如果數(shù)據(jù)里有NaN或者Inf會(huì)直接報(bào)錯(cuò)。擬合前記得用data data(isfinite(data))清理一下。3. 分位數(shù)被低估的統(tǒng)計(jì)分析利器3.1 分位數(shù)到底是什么為什么比均值好用分位數(shù)這個(gè)概念說(shuō)白了就是把數(shù)據(jù)從小到大排好隊(duì)然后按比例切幾刀。中位數(shù)就是50%分位數(shù)把數(shù)據(jù)一分為二四分位數(shù)把數(shù)據(jù)切成四段百分位數(shù)切成一百段。為什么我說(shuō)它比均值好用因?yàn)榫祵?duì)離群點(diǎn)極其敏感而分位數(shù)幾乎不受影響。舉個(gè)例子一個(gè)部門10個(gè)人9個(gè)人月薪1萬(wàn)1個(gè)人月薪100萬(wàn)平均下來(lái)每人10.9萬(wàn)但這個(gè)均值完全不能代表這個(gè)部門的真實(shí)收入水平。而中位數(shù)還是1萬(wàn)穩(wěn)穩(wěn)地反映了大多數(shù)人的情況。在工程上分位數(shù)的應(yīng)用場(chǎng)景特別多質(zhì)量控制用P9999%分位數(shù)來(lái)設(shè)定告警閾值比用均值加幾倍標(biāo)準(zhǔn)差更靠譜因?yàn)轫憫?yīng)時(shí)間這類數(shù)據(jù)往往不是正態(tài)的。金融風(fēng)控VaR在險(xiǎn)價(jià)值本質(zhì)上就是某個(gè)置信水平下的分位數(shù)。性能分析看接口響應(yīng)時(shí)間的P50、P95、P99比看平均值有意義得多。異常檢測(cè)用IQR四分位距來(lái)判定離群點(diǎn)這是箱線圖的底層邏輯。3.2 Matlab里算分位數(shù)的幾種方式Matlab算分位數(shù)主要有三個(gè)函數(shù)各有適用場(chǎng)景第一種quantile函數(shù)最直接data randn(1000, 1); % 求0.25, 0.5, 0.75分位數(shù) q quantile(data, [0.25, 0.5, 0.75]); % 求P99 p99 quantile(data, 0.99);quantile默認(rèn)用的是線性插值法對(duì)中間分位數(shù)比較友好。但它有個(gè)細(xì)節(jié)要注意當(dāng)分位數(shù)落在兩個(gè)數(shù)據(jù)點(diǎn)之間時(shí)不同的插值方法結(jié)果不一樣。Matlab支持多種方法通過(guò)Method參數(shù)指定比如exact、approximate、midpoint等。數(shù)據(jù)量小的時(shí)候建議用exact數(shù)據(jù)量大的時(shí)候用默認(rèn)的近似方法更快。第二種prctile函數(shù)專門算百分位數(shù)% 求第90百分位數(shù) p90 prctile(data, 90);這個(gè)函數(shù)和quantile本質(zhì)一樣只是輸入用百分?jǐn)?shù)而不是小數(shù)看個(gè)人習(xí)慣。第三種分布對(duì)象的icdf當(dāng)你已知分布類型時(shí)用pd fitdist(data, Normal); % 求理論上的95%分位數(shù) q95 icdf(pd, 0.95);這種方式的好處是即使你的樣本里沒(méi)有極端值也能外推出理論分位數(shù)。比如你只有1000個(gè)樣本想估計(jì)P99.9直接算樣本分位數(shù)會(huì)很不準(zhǔn)但用擬合的分布去算就靠譜得多。3.3 分位數(shù)與分布的關(guān)系一張圖看懂分位數(shù)和累積分布函數(shù)CDF其實(shí)是一體兩面的關(guān)系。CDF是給定x求概率分位數(shù)是給定概率求x兩者互為逆函數(shù)。我經(jīng)常用這個(gè)關(guān)系來(lái)做可視化。比如畫(huà)一條CDF曲線然后在縱軸上標(biāo)出0.25、0.5、0.75對(duì)應(yīng)的橫軸值就是四分位數(shù)。這樣一眼就能看出數(shù)據(jù)的分布形態(tài)如果CDF曲線在中間很陡說(shuō)明數(shù)據(jù)集中如果很平說(shuō)明分散。data exprnd(2, 1000, 1); [f, x] ecdf(data); plot(x, f, LineWidth, 1.5); hold on; % 標(biāo)出中位數(shù) med quantile(data, 0.5); plot([med med], [0 0.5], r--); plot([0 med], [0.5 0.5], r--); xlabel(數(shù)值); ylabel(累積概率); title(經(jīng)驗(yàn)CDF與中位數(shù)); grid on;這段代碼畫(huà)出來(lái)的圖能直觀展示分位數(shù)在分布中的位置。做報(bào)告的時(shí)候放這么一張圖比干巴巴的數(shù)字有說(shuō)服力得多。3.4 分位數(shù)在異常檢測(cè)中的實(shí)戰(zhàn)用法這是我最想強(qiáng)調(diào)的一個(gè)應(yīng)用。很多人做異常檢測(cè)還在用均值±3倍標(biāo)準(zhǔn)差這套但這個(gè)方法有個(gè)致命前提數(shù)據(jù)必須近似正態(tài)。一旦數(shù)據(jù)偏態(tài)或者有重尾這個(gè)方法就會(huì)失效。用IQR法則就穩(wěn)健得多Q1 quantile(data, 0.25); Q3 quantile(data, 0.75); IQR Q3 - Q1; lower_bound Q1 - 1.5 * IQR; upper_bound Q3 1.5 * IQR; outliers data(data lower_bound | data upper_bound);這個(gè)1.5倍IQR的系數(shù)是經(jīng)驗(yàn)值來(lái)自箱線圖的定義。它的好處是不依賴分布假設(shè)對(duì)偏態(tài)數(shù)據(jù)也能用。如果數(shù)據(jù)特別重尾可以把系數(shù)調(diào)到3減少誤報(bào)。我在一個(gè)日志分析項(xiàng)目里就用過(guò)這套。當(dāng)時(shí)要檢測(cè)異常的請(qǐng)求延遲用均值加標(biāo)準(zhǔn)差的方法正常波動(dòng)都被判成異常了換成IQR法則之后誤報(bào)率直接降了一個(gè)數(shù)量級(jí)。這個(gè)經(jīng)驗(yàn)我后來(lái)在好幾個(gè)項(xiàng)目里復(fù)用屢試不爽。4. 完整實(shí)操?gòu)臄?shù)據(jù)到分布擬合再到分位數(shù)分析4.1 數(shù)據(jù)準(zhǔn)備與探索性分析假設(shè)我們拿到一批設(shè)備運(yùn)行時(shí)長(zhǎng)數(shù)據(jù)存在lifetime變量里。第一步永遠(yuǎn)是探索性分析別急著套模型。% 清理無(wú)效值 lifetime lifetime(isfinite(lifetime) lifetime 0); % 基礎(chǔ)統(tǒng)計(jì)量 fprintf(樣本量: %d\n, numel(lifetime)); fprintf(均值: %.2f\n, mean(lifetime)); fprintf(中位數(shù): %.2f\n, median(lifetime)); fprintf(標(biāo)準(zhǔn)差: %.2f\n, std(lifetime)); fprintf(偏度: %.2f\n, skewness(lifetime)); fprintf(峰度: %.2f\n, kurtosis(lifetime));這里重點(diǎn)看偏度和峰度。偏度接近0說(shuō)明對(duì)稱大于0說(shuō)明右偏長(zhǎng)尾在右邊小于0說(shuō)明左偏。峰度接近3說(shuō)明接近正態(tài)大于3說(shuō)明尖峰重尾。設(shè)備壽命數(shù)據(jù)通常是右偏的偏度為正這時(shí)候用正態(tài)分布就不合適了。再看直方圖和Q-Q圖subplot(1,2,1); histogram(lifetime, 50, Normalization, pdf); hold on; subplot(1,2,2); qqplot(lifetime);Q-Q圖是判斷分布類型的神器。如果數(shù)據(jù)點(diǎn)大致落在一條直線上說(shuō)明服從對(duì)應(yīng)的分布。Matlab的qqplot默認(rèn)對(duì)比正態(tài)分布如果點(diǎn)明顯彎曲就說(shuō)明不是正態(tài)。4.2 多分布擬合與AIC準(zhǔn)則選優(yōu)探索完之后我會(huì)同時(shí)擬合幾個(gè)候選分布然后用AIC挑最優(yōu)dist_names {Normal, Exponential, Weibull, Lognormal, Gamma}; aic_values zeros(size(dist_names)); for i 1:numel(dist_names) try pd fitdist(lifetime, dist_names{i}); aic_values(i) aic(pd); fprintf(%s: AIC %.2f\n, dist_names{i}, aic_values(i)); catch aic_values(i) Inf; fprintf(%s: 擬合失敗\n, dist_names{i}); end end [~, best_idx] min(aic_values); fprintf(最優(yōu)分布: %s\n, dist_names{best_idx});AIC的規(guī)則是越小越好它同時(shí)考慮了擬合優(yōu)度和模型復(fù)雜度避免過(guò)擬合。這個(gè)流程我建議你封裝成一個(gè)函數(shù)以后每個(gè)項(xiàng)目直接調(diào)用。實(shí)操心得擬合失敗最常見(jiàn)的原因是數(shù)據(jù)里有零或負(fù)值而指數(shù)、威布爾、伽馬、對(duì)數(shù)正態(tài)都要求數(shù)據(jù)為正。擬合前一定要檢查數(shù)據(jù)范圍必要時(shí)做平移或者換分布。4.3 參數(shù)解讀與擬合優(yōu)度檢驗(yàn)選好分布之后要解讀參數(shù)的實(shí)際含義。以威布爾分布為例它有兩個(gè)參數(shù)形狀參數(shù)a和尺度參數(shù)b。a 1故障率遞減說(shuō)明早期故障多產(chǎn)品在磨合期。a 1故障率恒定退化成指數(shù)分布。a 1故障率遞增說(shuō)明產(chǎn)品在老化期。這個(gè)解讀在可靠性工程里非常有用能直接指導(dǎo)維護(hù)策略。如果a 1說(shuō)明設(shè)備越用越容易壞該考慮定期更換了。擬合優(yōu)度檢驗(yàn)用卡方檢驗(yàn)或者K-S檢驗(yàn)pd fitdist(lifetime, Weibull); % K-S檢驗(yàn) [h, p] kstest(lifetime, CDF, pd); if h 0 fprintf(不能拒絕原假設(shè)擬合可接受p %.4f\n, p); else fprintf(擬合不佳p %.4f\n, p); endK-S檢驗(yàn)的原假設(shè)是數(shù)據(jù)服從該分布p值大于0.05就不能拒絕說(shuō)明擬合可接受。但要注意樣本量很大的時(shí)候K-S檢驗(yàn)會(huì)過(guò)于敏感一點(diǎn)點(diǎn)偏差都會(huì)判為不擬合。這時(shí)候要結(jié)合Q-Q圖綜合判斷別只看p值。4.4 基于擬合分布計(jì)算關(guān)鍵分位數(shù)擬合好分布之后就可以算各種分位數(shù)了。這里我一般會(huì)同時(shí)算經(jīng)驗(yàn)分位數(shù)和理論分位數(shù)做對(duì)比pd fitdist(lifetime, Weibull); probs [0.01, 0.05, 0.25, 0.5, 0.75, 0.95, 0.99]; emp_q quantile(lifetime, probs); theo_q icdf(pd, probs); T table(probs, emp_q, theo_q, ... VariableNames, {Probability, Empirical, Theoretical}); disp(T);如果兩者差距不大說(shuō)明擬合得不錯(cuò)如果尾部差距大說(shuō)明分布選得不對(duì)得回去重新選。在實(shí)際項(xiàng)目里我最常用的是P95和P99。比如設(shè)定設(shè)備維護(hù)閾值用P95意味著95%的情況下不會(huì)誤報(bào)只有真正異常的5%才會(huì)觸發(fā)。這個(gè)閾值比用均值加標(biāo)準(zhǔn)差靈活得多因?yàn)槟憧梢愿鶕?jù)業(yè)務(wù)容忍度調(diào)整分位水平。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 分布擬合報(bào)錯(cuò)怎么辦這是新手最常遇到的問(wèn)題。我把常見(jiàn)報(bào)錯(cuò)和解決方法整理成表報(bào)錯(cuò)信息原因解決方法Data must be positive數(shù)據(jù)含零或負(fù)值檢查數(shù)據(jù)剔除或平移NaN or Inf detected數(shù)據(jù)含無(wú)效值data data(isfinite(data))Not enough data樣本量太小至少30個(gè)樣本最好100以上Parameter estimate failed數(shù)據(jù)退化全相同檢查數(shù)據(jù)是否常量我踩過(guò)最坑的一次是數(shù)據(jù)里混了幾個(gè)負(fù)值因?yàn)閭鞲衅髋紶枙?huì)返回錯(cuò)誤碼。擬合一直失敗查了半天才發(fā)現(xiàn)。后來(lái)我養(yǎng)成了習(xí)慣擬合前先跑一遍summary(data)把數(shù)據(jù)的min、max、NaN數(shù)量都看一眼能省很多調(diào)試時(shí)間。5.2 分位數(shù)計(jì)算結(jié)果和預(yù)期不符有時(shí)候你會(huì)發(fā)現(xiàn)quantile算出來(lái)的結(jié)果和手算的不一樣這通常是插值方法的問(wèn)題。Matlab的quantile默認(rèn)對(duì)中間分位數(shù)用線性插值對(duì)極端分位數(shù)用其他方法。如果你想要和某些統(tǒng)計(jì)軟件比如R的type 7一致的結(jié)果需要顯式指定方法q quantile(data, 0.5, Method, exact);不同方法在數(shù)據(jù)量大的時(shí)候差異很小但數(shù)據(jù)量小的時(shí)候可能差挺多。做嚴(yán)謹(jǐn)分析的時(shí)候建議在報(bào)告里注明用的哪種方法。5.3 理論分位數(shù)和經(jīng)驗(yàn)分位數(shù)差很多這個(gè)問(wèn)題的根源通常是分布選錯(cuò)了。比如數(shù)據(jù)明明是重尾的你硬套正態(tài)分布那P99的理論值會(huì)明顯小于經(jīng)驗(yàn)值。排查思路是先畫(huà)Q-Q圖看尾部是否偏離再對(duì)比幾個(gè)候選分布的AIC最后用K-S檢驗(yàn)確認(rèn)。三步下來(lái)基本能定位問(wèn)題。還有一種可能是樣本量太小經(jīng)驗(yàn)分位數(shù)本身就不穩(wěn)定。比如只有50個(gè)樣本算P99基本沒(méi)有意義因?yàn)?9%分位對(duì)應(yīng)的數(shù)據(jù)點(diǎn)根本不在樣本里。這時(shí)候只能依賴?yán)碚摲治粩?shù)但要清楚它的不確定性很大。5.4 實(shí)操避坑清單最后分享幾條我總結(jié)的避坑經(jīng)驗(yàn)都是真金白銀換來(lái)的永遠(yuǎn)先畫(huà)圖再建模。直方圖、Q-Q圖、箱線圖三件套能幫你避開(kāi)80%的坑。分位數(shù)比均值穩(wěn)健但不是萬(wàn)能。數(shù)據(jù)量小于30的時(shí)候分位數(shù)波動(dòng)很大別太當(dāng)真。擬合分布要交叉驗(yàn)證。把數(shù)據(jù)分成訓(xùn)練集和測(cè)試集在測(cè)試集上驗(yàn)證擬合效果避免過(guò)擬合。AIC不是唯一標(biāo)準(zhǔn)。業(yè)務(wù)可解釋性有時(shí)候比AIC更重要選一個(gè)業(yè)務(wù)上說(shuō)得通的分布比選一個(gè)AIC最小但沒(méi)人懂的分布強(qiáng)。記錄你的分析過(guò)程。分布選型、參數(shù)、分位數(shù)方法都記下來(lái)下次復(fù)用或者別人接手的時(shí)候能省大量時(shí)間。這套流程我在多個(gè)項(xiàng)目里反復(fù)打磨過(guò)從傳感器數(shù)據(jù)分析到用戶行為分析都用得上。核心就一句話先理解數(shù)據(jù)怎么產(chǎn)生的再選分布最后用分位數(shù)做決策。順序別搞反了搞反了就是本末倒置。如果你剛開(kāi)始接觸這塊建議拿一組自己熟悉的數(shù)據(jù)練手把整個(gè)流程走一遍比看十篇文章都管用。