1. 別急著開實驗先把A/B test到底在解決什么問題想清楚我第一次正經(jīng)跑A/B test是在一個電商項目上。當時我把商品詳情頁的按鈕從加入購物車改成立即購買跑了三天實驗組轉化率高出對照組整整0.6個百分點我興沖沖地推動上線。結果上線兩周后大盤轉化率紋絲不動甚至還微跌了一點。復盤的時候我才發(fā)現(xiàn)那三天的勝利根本站不住腳——每天的樣本量只有一千出頭0.6個百分點的差距完全落在隨機波動的范圍里。這件事給了我一個很深的教訓A/B test不是跑兩個版本看誰數(shù)字高它是一門關于因果推斷的手藝做不好你拿到的不過是自己騙自己的噪聲。所謂A/B test本質上是一次受控實驗。你把流量隨機切成兩組一組看到舊版本對照組Control一組看到新版本實驗組Treatment除了你要驗證的那一個變量之外其余條件盡量保持一致然后比較兩組在關鍵指標上的差異。它的目標只有一個判斷這個改動和指標變化之間到底有沒有因果關系而不是僅僅存在相關關系。這跟藥廠做雙盲臨床試驗的思路是一模一樣的只不過藥廠用的是病人我們用的是用戶。這里有個特別容易被混淆的點。日常做數(shù)據(jù)分析我們經(jīng)常看到早上活躍的用戶轉化率更高然后有人就說那我們早上多推活動吧。這是典型的相關性誤讀——早上活躍的人可能本身就是重度用戶轉化率高跟早上沒關系。A/B test的價值就在于它用隨機化把這種混雜因素洗掉了兩組用戶的構成在期望上是相同的唯一的系統(tǒng)性差別就是你改的那個東西。這就是它能談因果的底氣。1.1 A/B test解決的從來不是數(shù)據(jù)對比而是因果歸屬很多新手把A/B test理解成一個對比工具覺得只要兩組數(shù)字擺在一起誰高誰就好。這個理解是有問題的。我舉個例子假設你想驗證一種新肥料能不能讓莊稼增產(chǎn)你在地的東邊施了新肥西邊用老肥結果東邊收成好。你能直接下結論說新肥有效嗎不能——因為東邊那塊地可能光照更好、土壤更肥、離水渠更近。你比較的不是肥料這一個變量你把地塊的差異也一起比進去了。A/B test要做的恰恰是把光照、土壤、水渠這些干擾項通過隨機分配抹平。當用戶是被隨機分到兩組的那么所有你能想到和想不到的特征——年齡、設備、地域、使用習慣、甚至今天心情——都會在兩組之間大致均衡分布。這樣一來兩組之間剩下的系統(tǒng)性差異理論上就只有你的那個改動。這就是因果歸屬的含義我們把指標的差異歸因到了那個唯一的干預上。所以判斷一次實驗值不值得做有個很簡單的自問我能不能隨機地把用戶分到不同的體驗里并且保證除了我要測的改動之外其他都不一樣如果答案是肯定的那A/B test適合你如果答案是否定的你需要考慮別的因果推斷方法。1.2 一個合格的實驗必須同時滿足的三個條件我梳理了一下一個能得出可信結論的實驗至少要滿足下面三條缺一條結論就會打折扣。隨機化分配。這是整個實驗的地基。隨機化不是說隨便分而是要求每個用戶被分到任意一組的概率是已知且相等的通常是各50%。工程上我們一般用哈希函數(shù)基于用戶ID來分流而不是用隨機數(shù)——因為用戶可能會刷新頁面、跨設備訪問用隨機數(shù)會導致同一個人一會兒看到A一會兒看到B體驗割裂數(shù)據(jù)也被污染。哈希分流的妙處在于同一個用戶ID永遠落在同一組穩(wěn)定且可復現(xiàn)。平行對照。實驗組和對照組必須在同一時間段并行運行。這一點經(jīng)常被忽視。有些團隊圖省事先跑一周舊版本再跑一周新版本這叫前后對比而不是A/B test。問題是這兩周之間可能發(fā)生了太多別的事節(jié)假日、競品動作、天氣、系統(tǒng)故障、大盤自然波動。你根本分不清指標變化是新版本帶來的還是時間帶來的。單一變更與可解釋性。理想情況下一次實驗只改一個變量。如果你既改了按鈕文案、又換了按鈕顏色、還調(diào)整了頁面布局那么就算指標漲了你也不知道是哪個改動起的作用下次想復用都沒法復用。當然現(xiàn)實里產(chǎn)品迭代往往是一起打包上線的這時候就需要退一步接受我測的是這個整包方案但心里要清楚你是沒法拆解貢獻度的。1.3 什么時候不該用A/B testA/B test不是萬能藥。這幾年我看到不少人硬把A/B test往不合適的場景上套結果做出來的結論比不做還危險。第一類是無法隨機化的場景。比如你想評估一次品牌廣告投放的效果你沒法隨機地把用戶分組然后強迫一部分人看電視廣告、另一部分人不看。再比如監(jiān)管政策變更、價格體系調(diào)整這類全局性動作一旦上線就是全體生效壓根切不出對照組。第二類是樣本量嚴重不足。你的產(chǎn)品一天只有幾百個UV還指望測出1%的提升這在統(tǒng)計上是不可能的任務。后面我會算給你看一個10%基線的指標要測出1個百分點的絕對提升每組需要一萬五千左右的樣本。流量不夠你跑一個月也攢不齊。第三類是倫理或體驗風險。比如涉及退款政策、隱私相關的改動把一部分用戶分到更差的版本里可能帶來投訴或者合規(guī)風險這時候要謹慎評估。面對這些場景你可以考慮傾向得分匹配、斷點回歸、雙重差分DID或者切換實驗Switchback Test——切換實驗的思路是讓整個大盤在不同時間片上交替使用新舊版本用時間做對照特別適合那些沒法切用戶、只能整體切換的場景比如推薦算法的大盤調(diào)度。這些方法各有各的假設比A/B test更容易被質疑但總比拍腦袋強。2. 統(tǒng)計學地基p值、置信區(qū)間和它們被誤讀的一百種方式聊完為什么做接下來必須啃下統(tǒng)計學這塊硬骨頭。我見過太多人實驗工具用得飛起報表拉得漂漂亮亮但你問他p值是0.03是什么意思他答不上來。這就像開車不看儀表盤遲早要出事。這一節(jié)我會盡量用人話把這些概念講透不講公式推導只講它們在實際決策里怎么用、以及最容易踩的認知陷阱。2.1 零假設與備擇假設先假定改了沒用假設檢驗的邏輯跟我們?nèi)粘Ｖ庇X是反著來的。我們平時想證明新版本更好但統(tǒng)計學要求你先假定新版本沒有任何效果然后看數(shù)據(jù)是否強烈到能推翻這個假定。這個先假定沒用的說法就叫零假設Null HypothesisH0。對應的**備擇假設Alternative HypothesisH1**才是你想證明的東西——新版本跟舊版本有差異。整個檢驗過程就是在H0成立的前提下計算出觀察到當前這么極端的數(shù)據(jù)的概率有多大這個概率就是p值。如果這個概率特別小我們就說在H0成立的前提下出現(xiàn)這種數(shù)據(jù)的可能性太低了所以H0大概率不成立我們拒絕它。打個比方。你懷疑一枚硬幣被做了手腳于是先假定它是公平的H0。然后你拋了100次發(fā)現(xiàn)60次正面。如果你拋出來是50次正面左右那很正常啥也說明不了但60次正面就有點反常了。假設檢驗要回答的就是如果硬幣真的公平拋100次出現(xiàn)60次及以上正面的概率有多大這個概率算出來大概是2.8%如果你事先設定的門檻是5%那這個概率小于門檻你就可以拒絕公平這個假設。關鍵點在于我們永遠不能證明H1成立只能說H0在數(shù)據(jù)面前站不住腳。這兩者聽起來差不多實際上差著十萬八千里后面講p值誤讀的時候你會有更深的體會。2.2 第一類錯誤、第二類錯誤你要防的是哪一個只要是基于樣本做推斷就一定會犯錯因為你看的不是全量而是抽樣。錯誤分兩種我習慣用一個法庭類比來記第一類錯誤Type I Error假陽性H0其實是對的你卻拒絕了它。翻譯到法庭上就是這個人無罪你卻判他有罪。翻譯到A/B test里就是新版本其實沒用你卻說它有用把它上線了。犯這個錯的概率就是顯著性水平α通常設成0.05意思是我容忍5%的概率誤把一個無效的改動當成有效的。第二類錯誤Type II Error假陰性H0其實是錯的你卻沒有拒絕它。法庭版本是這個人有罪你卻把他放了。A/B test版本是新版本確實有效但你樣本不夠或者運氣不好沒測出來把它砍掉了。犯這個錯的概率記作β通常設成0.2意思是我容忍20%的概率漏掉一個真實有效的改動。由此衍生出兩個核心概念顯著性水平α決定了你判錯案的門檻**統(tǒng)計功效Power 1 - β**決定了你抓得住真兇的能力。功效0.8意味著如果新版本真的有我們預期的那么大效果這次實驗有80%的概率能把它識別出來。這里有個我特別想強調(diào)的取舍α和β是此消彼長的。你把α調(diào)得更嚴比如從0.05降到0.01假陽性是少了但同樣的樣本量下功效會下降假陰性會變多。所以你不能單方面貪心地要求兩樣都低要么就得加樣本。這個權衡是每個實驗設計者必須做的選擇題。概念含義常用取值業(yè)務含義α顯著性水平容忍假陽性的概率0.05誤把無效改動當有效的風險β第二類錯誤率容忍假陰性的概率0.2漏掉真實有效改動的風險Power統(tǒng)計功效1 - β0.8能識別出真實效果的概率p值H0成立時觀測到當前數(shù)據(jù)的概率與α比較越小越反常注意α0.05不是鐵律。如果你的產(chǎn)品改動上線成本極高、一旦錯了損失巨大比如涉及資金、支付、核心算法那把α設到0.01甚至更嚴是合理的。反之如果只是文案小改錯上線成本很低放寬到0.1也能接受。2.3 p值到底是什么以及它不是什么p值是這幾年被罵得最慘的統(tǒng)計指標問題不在它本身而在它被濫用。我用一句話給它定個性p值是在改動完全無效這個假設下你觀測到的或更極端的數(shù)據(jù)出現(xiàn)的概率。注意是數(shù)據(jù)的概率不是假設為真的概率。最常見的誤讀有四種我一個個拆。第一種誤讀p0.03意味著新版本有97%的概率更好。錯。p值說的是數(shù)據(jù)不是假設。它沒有給你任何關于新版本更好這個命題為真的概率。要得到那種概率你得用貝葉斯方法那是另一套體系。第二種誤讀p0.05說明新版本沒用。錯得離譜。p0.05只說明數(shù)據(jù)不足以證明有差異它可能是真的沒差異也可能是樣本不夠沒測出來。統(tǒng)計學上有個說法叫absence of evidence is not evidence of absence翻譯過來就是沒有證據(jù)不等于證據(jù)不存在。我吃過這個虧一個真實的提升因為樣本量沒算夠p0.08被判了不顯著直接砍掉后來補足樣本重測發(fā)現(xiàn)效果是真的。第三種誤讀p值越小效果越大。p值大小同時受效果大小和樣本量影響。一個微乎其微的效果只要樣本量足夠大也能得到極小的p值。反過來一個巨大的效果在小樣本下p值可能也不小。所以看p值一定要配套看效應量也就是提升幅度本身。第四種誤讀p0.05就代表業(yè)務上值得上線。這更是把統(tǒng)計顯著和業(yè)務顯著混為一談。統(tǒng)計顯著只代表這個差異不太可能是巧合但差異本身可能只有0.05%用戶根本感知不到上線投入的人力還不如省省。給不給上線得看這個提升帶來的收益能不能覆蓋開發(fā)成本這是業(yè)務判斷不是統(tǒng)計判斷。2.4 置信區(qū)間比p值更好用如果讓我只能選一個指標來看實驗結果我會選置信區(qū)間Confidence IntervalCI而不是p值。為什么呢因為p值只告訴你有沒有差異而置信區(qū)間同時告訴你差異大概有多大、以及有多不確定。95%置信區(qū)間的準確含義比較繞如果你把這個實驗重復無數(shù)次每次都算一個95%置信區(qū)間那么這些區(qū)間里大約95%會包含真實的效應值。對單次實驗來說我們通常就說真實效應有95%的把握落在這個范圍內(nèi)。舉個例子假設實驗組比對照組轉化率提升了1個百分點95%置信區(qū)間是[0.2%, 1.8%]。這個區(qū)間完全在0的右側說明效果是正向的且統(tǒng)計顯著。同時你還能看到最樂觀的情況提升1.8%最保守也有0.2%。如果最保守的這個下界你也能接受那這個改動就值得上線。要是區(qū)間是[-0.5%, 2.5%]跨過了0那就說明方向都不確定別提上線了。我個人的習慣是看實驗結論必看三樣點估計提升幅度、置信區(qū)間、p值。三者放在一起看一個實驗到底贏了多少、穩(wěn)不穩(wěn)基本就清晰了。光看p值是典型的只見樹木不見森林。3. 開跑之前必須算的賬樣本量與統(tǒng)計功效實驗設計里最容易被跳過的一步就是提前算樣本量。很多人是先跑起來再說跑幾天看看結果要么樣本不夠下不了結論要么白白浪費兩周流量。我把話放這兒不提前算樣本量的實驗大概率是浪費。這一節(jié)我把怎么算、算完怎么用、以及怎么少花流量也能測準都講一遍。3.1 決定樣本量的四個參數(shù)樣本量不是拍腦袋定的它是被四個參數(shù)唯一確定的。想清楚這四個樣本量就是個填空題?；€轉化率p對照組當前的指標水平。比如當前下單轉化率是10%。最小可檢測效應Minimum Detectable EffectMDE你能接受的最小有意義提升。這個要慎重定。定得太小比如0.1%樣本量會爆炸定得太大比如50%的相對提升那大多數(shù)正常的改動都達不到實驗永遠不顯著。我的經(jīng)驗是MDE通常取相對提升5%~20%具體看業(yè)務改版動作大就定得大一點精細化調(diào)優(yōu)就定得小一點。顯著性水平α一般是0.05對應雙側檢驗的z值約1.96。統(tǒng)計功效1-β一般是0.8對應z值約0.84。把這四個參數(shù)代進公式就能算出每組需要的樣本量。下面這個公式適用于比較兩個比例的經(jīng)典場景n 2 × (z_{1-α/2} z_{1-β})2 × p? × (1 - p?) / Δ2 其中 n 每組所需樣本量 p? 兩組基線率的平均值 (p_control p_treatment) / 2 Δ 絕對效應量 p_treatment - p_control z 標準正態(tài)分布的分位數(shù)如果嫌麻煩業(yè)內(nèi)有個很好用的近似式每組樣本量 ≈ 16 × p × (1-p) / Δ2這個16就是把(1.960.84)2≈7.84再乘2湊整來的算出來的結果跟精確公式差不了多少做快速估算非常夠用。3.2 手把手算一遍從10%基線到1%絕對提升光說公式太空我們算一遍實際數(shù)字你感受一下樣本量到底有多大。場景對照組基線轉化率10%我們希望檢測出**相對提升10%**的效果也就是絕對提升1個百分點即實驗組目標為11%。取α0.05功效0.8。代入公式p? (0.10 0.11) / 2 0.105p? × (1 - p?) 0.105 × 0.895 0.093975Δ 0.11 - 0.10 0.01Δ2 0.0001z_{0.975} 1.96z_{0.80} 0.8416兩者之和 2.8016平方 ≈ 7.849所以n 2 × 7.849 × 0.093975 / 0.0001 15.698 × 0.093975 / 0.0001 ≈ 14752結果是每組約14750人兩組合計約3萬人。用近似公式驗證一下16 × 0.093975 / 0.0001 ≈ 15036跟精確值非常接近可見這個近似式足夠靠譜?？吹竭@個數(shù)字你應該對樣本量有點敬畏了。如果你的產(chǎn)品每天轉化用戶只有500個那這個實驗光是攢樣本就要攢上近60天。這時候你有兩個選擇要么把MDE放大比如只關心20%以上的相對提升要么想辦法提高實驗的靈敏度。前者是妥協(xié)后者是技術活。用Python寫個小工具幾行就能算from scipy.stats import norm def sample_size_per_group(p_base, mde_rel, alpha0.05, power0.8): p_base : 對照組基線轉化率例如 0.10 mde_rel : 相對提升幅度例如 0.10 表示提升10% alpha : 顯著性水平 power : 統(tǒng)計功效 p_treat p_base * (1 mde_rel) p_bar (p_base p_treat) / 2 delta p_treat - p_base z_alpha norm.ppf(1 - alpha / 2) z_beta norm.ppf(power) n 2 * (z_alpha z_beta) ** 2 * p_bar * (1 - p_bar) / delta ** 2 return int(n) 1 # 向上取整 print(sample_size_per_group(0.10, 0.10)) # 約 14753 print(sample_size_per_group(0.10, 0.20)) # 相對提升20%樣本量驟降你可以自己跑一下會發(fā)現(xiàn)相對提升20%時樣本量幾乎只有提升10%時的四分之一。這也解釋了為什么大改動往往更容易測出效果——不是因為大改動一定更好而是因為大改動更容易被檢測到。提示如果你做的是連續(xù)型指標比如人均停留時長、客單價樣本量公式不一樣它依賴的是指標的方差而不是比例。但思路完全一致方差越大、MDE越小需要的樣本越多。業(yè)界通用的估算工具如在線樣本量計算器一般都支持這兩種類型。3.3 實驗要跑多久別讓周期毀掉結論算出每組樣本量之后還要把它換算成跑幾天。這一步的坑特別多。首先用你產(chǎn)品的日活或日均落入實驗的用戶數(shù)除一下就知道大概需要多少天。但這里有個隱藏殺手用戶行為的周期性。工作日和周末用戶的下單行為可能天差地別月初發(fā)工資那幾天和月末消費傾向也不一樣。如果你的實驗只跑了工作日或者橫跨了一個大促那結論很可能是被周期性因素污染的。所以我的建議是實驗周期至少覆蓋一個完整的周7天最好能覆蓋兩周。這樣每周各天的差異會被平均掉。如果你的業(yè)務有明顯的月度周期理論上最好覆蓋一個月但那往往不現(xiàn)實這時候就退而求其次保證覆蓋整周并在結論里標注未覆蓋月度周期。第二個坑是實驗啟動的初期污染。用戶剛進入新版本時行為可能有新鮮感效應——短時間內(nèi)點擊率暴漲過幾天又回落。或者反過來老用戶突然看到界面變了產(chǎn)生排斥。這類效應一般持續(xù)幾天所以實驗也不要只看第一天。第三個坑是用戶首次進入實驗的時間。要確保實驗組的用戶和對照組的用戶是在同一個時間窗口里首次接觸到版本的否則一個跑了三天、一個跑了七天樣本構成就不一樣了這叫新鮮度偏差。3.4 提升靈敏度的幾個實用手段當你流量不夠、又不想放大MDE的時候還有一招降低指標方差也就是讓同樣的效果更容易被看見。這在統(tǒng)計上叫方差縮減Variance Reduction。我介紹幾個我實際用過、比較靠譜的。CUPEDControlled-experiment Using Pre-Experiment Data這個方法是微軟提出來的思路很巧妙。它利用實驗開始之前的用戶行為數(shù)據(jù)作為協(xié)變量來修正實驗期指標。比如你知道每個實驗用戶在實驗前的歷史下單次數(shù)就可以用這個歷史值把實驗期指標的方差抽掉一部分。效果非常顯著我實測下來方差經(jīng)常能降低30%~50%等效于把樣本量需求砍掉一大截。代碼上也不難核心就幾行回歸調(diào)整。import numpy as np def cuped_adjust(y, x, thetaNone): y : 實驗期指標比如是否下單 x : 實驗前協(xié)變量比如實驗前7天下單次數(shù) theta : 調(diào)整系數(shù)默認用 Cov(y,x)/Var(x) 估計 if theta is None: theta np.cov(y, x)[0, 1] / np.var(x) return y - theta * (x - np.mean(x)) # 對實驗組和對照組的 y 都做調(diào)整后再做檢驗配對設計把特征相似的用戶配對然后一對里隨機一個進實驗組、一個進對照組。這樣組間差異會小很多但工程實現(xiàn)復雜一般大規(guī)模實驗用不上。更敏感的指標有時候主指標太粗比如是否下單這種0/1指標方差天然就大。你可以換成更細的代理指標比如加購次數(shù)、頁面停留時長這些指標方差小、對改動更敏感。但要注意代理指標動了不代表主指標一定動別撿了芝麻丟了西瓜。分流比例不均如果你對數(shù)據(jù)非常有把握可以把分流比例從50/50調(diào)成70/30實驗組多一些在總流量固定時這通常能讓整體功效略微提升一點點。但收益有限且會減少對照組信息量我個人不太推薦優(yōu)先用這招。4. 分流與實驗設計讓兩組真的可比前面都是紙上談兵的統(tǒng)計這一節(jié)落到工程實現(xiàn)。分流的代碼寫得對不對直接決定了實驗數(shù)據(jù)能不能用。我見過不少實驗結論漂亮但底層分流有bug白忙一場。這里面我認為最核心的三個環(huán)節(jié)是哈希分流、AA檢驗、SRM檢測。4.1 隨機化的工程實現(xiàn)哈希分流怎么寫前面說過別用隨機數(shù)分流要用哈希分流。核心思路是把「實驗ID 用戶ID 鹽值」拼成一個字符串用哈希函數(shù)映射成一個固定長度的數(shù)字再取模映射到具體的桶bucket里。為什么要有「鹽值salt」因為如果你只用用戶ID哈希那么同一個用戶在你們所有的實驗里都會被分到同一比例的桶里長期下來會導致實驗污染——某些用戶總是在實驗組某些總在對照組長期行為會分化。加一個跟實驗ID相關的鹽值就能讓同一個用戶在不同實驗里的分組互相獨立。import hashlib def hash_bucket(exp_id: str, user_id: str, salt: str v1, n_buckets: int 10000) - int: key f{exp_id}:{salt}:{user_id} digest hashlib.md5(key.encode(utf-8)).hexdigest() # 取前8位十六進制轉成整數(shù)再取模 return int(digest[:8], 16) % n_buckets def assign_group(exp_id: str, user_id: str, salt: str v1, split: float 0.5, n_buckets: int 10000) - str: bucket hash_bucket(exp_id, user_id, salt, n_buckets) if bucket int(n_buckets * split): return control return treatment print(assign_group(exp_001, user_9527)) # 穩(wěn)定輸出 control 或 treatment這段代碼的核心優(yōu)點有兩個冪等同一個用戶無論訪問多少次結果永遠一致可復現(xiàn)你用同樣的鹽值和ID在任何環(huán)境里都能算出相同的分組方便排查問題。有一個細節(jié)值得注意哈希桶的粒度。如果你的實驗很多或者需要在一組實驗里嵌套多層比如先分實驗流量、再分實驗組建議采用多層分流Layered Experiment / Overlapping Experiment的思路。這種方法把流量池切成多個正交層不同層之間的實驗互不干擾可以同時跑很多實驗而不互相踩腳。這個方法最早是搜索引擎公司用來同時跑大量算法實驗的現(xiàn)在很多實驗平臺都借鑒了這個設計。4.2 AA檢驗上線前的自我體檢分流代碼寫完之后千萬別直接跑真實驗。先跑一次AA檢驗對照組和實驗組跑的是完全一樣的版本理論上兩組的指標應該沒有統(tǒng)計顯著的差異。如果AA檢驗都能跑出顯著差異那說明你的分流邏輯或者埋點有問題。我見過一次特別嚇人的AA結果兩組轉化率差了3個百分點p值0.001。排查之后發(fā)現(xiàn)是埋點上報時間不一致實驗組的日志匯總有延遲導致一部分下單沒算進去。這種bug如果混在真實驗里足夠讓你做出一個完全錯誤的決策。AA檢驗跑多久我的經(jīng)驗是跑夠單組樣本量的50%~100%。不用跑完整周期但樣本太少也看不出問題。AA檢驗的通過標準是指標差異應該落在合理的隨機波動范圍內(nèi)p值大于0.05甚至更寬比如大于0.01就可以繼續(xù)。如果AA反復出現(xiàn)顯著差異就別急著上真實驗。4.3 SRM樣本比例失衡最容易被忽略的致命傷**SRMSample Ratio Mismatch樣本比例失衡**是實驗圈公認的實驗殺手之一。它的意思很簡單你設定分流比例是50/50但實際跑下來落到兩組的人數(shù)卻是49/51、甚至48/52差距大到不像隨機波動。SRM為什么可怕因為它說明分流機制本身出了問題實驗數(shù)據(jù)很可能是被某種系統(tǒng)性偏差污染的這時候你算出來的所有p值、置信區(qū)間都不可信。哪怕指標看起來漂亮也不能信。檢測SRM用卡方擬合優(yōu)度檢驗from scipy.stats import chisquare # 假設預期比例 50:50實際觀測到的樣本數(shù) observed [4980, 5020] total sum(observed) expected [total * 0.5, total * 0.5] stat, p chisquare(observed, expected) print(fchi2{stat:.3f}, p{p:.4f}) # 判據(jù)p 0.001 視為存在 SRM判據(jù)有個經(jīng)驗值p值小于0.001就判定為SRM而不是常規(guī)的0.05。原因是我們對SRM要更敏感也更寬容——太敏感會誤報但0.001這個門檻足夠低一旦觸發(fā)基本就是真有問題。常見的SRM原因我列一下都是實戰(zhàn)中高頻出現(xiàn)的原因類別具體表現(xiàn)排查手段分流邏輯bug哈希取模寫錯、邊界判定漏桶用固定測試集跑分流單測埋點/日志丟失某一版本上報延遲或失敗對比兩組的日志條數(shù)、上報延遲路由/跳轉攔截某些版本被安全策略或CDN攔截檢查中間件、頻率限制用戶主動跳出新版本加載慢用戶提前關閉看兩組的跳出率是否異常分桶污染用戶跨設備、跨端導致重復計入用穩(wěn)定ID而非設備ID分流注意SRM一旦觸發(fā)不要試圖解釋它。很多人的第一反應是哦可能是新版本加載慢導致的用戶跑了然后繼續(xù)看數(shù)據(jù)。正確的做法是終止實驗、排查根因、修復后重跑。用被污染的數(shù)據(jù)下結論是拿業(yè)務決策賭運氣。4.4 偷看數(shù)據(jù)與序貫檢驗還有個特別隱蔽的坑叫偷看數(shù)據(jù)Peeking。很多團隊跑實驗時每天都看一遍顯著性看到p0.05就宣布勝利、停止實驗。這個做法在統(tǒng)計上是錯誤的它會大幅拉高假陽性率。原因在于經(jīng)典的假設檢驗要求你在實驗開始前就固定樣本量跑滿后再看一次。如果你反復看、隨時可能停止那你就相當于給了數(shù)據(jù)很多次變得顯著的機會。哪怕新版本完全沒效果你每天看一眼連續(xù)看兩周出現(xiàn)一次p0.05的概率遠高于5%實測能到20%~30%。這就好比你在賭場里一直下注總覺得下一把會贏但最終是概率在收割你。解決這個問題有兩條路。第一條是老老實實跑滿樣本量再看簡單粗暴但有效。第二條是采用序貫檢驗Sequential Testing方法它專門處理反復看數(shù)據(jù)的場景通過對每次檢驗的閾值做動態(tài)調(diào)整來控制整體的假陽性率。業(yè)界常用的有SPRT序貫概率比檢驗和Always-Valid p-value?，F(xiàn)在一些實驗平臺默認就用了這類方法允許你隨時看、隨時停但解釋起來更復雜需要團隊有一定的統(tǒng)計學基礎。我個人的建議是如果你的團隊統(tǒng)計功底一般就老老實實跑滿再看如果實驗很頻繁、流程要求實時決策那就統(tǒng)一用序貫方法別讓兩套標準混用。5. 指標、多重比較與結果解讀實驗跑完了數(shù)據(jù)處理也做對了接下來是解讀環(huán)節(jié)。這一步看起來簡單其實是魔鬼藏在細節(jié)的重災區(qū)。指標定錯了、結論會跑偏多重比較沒校正、會撿到假顯著辛普森悖論沒注意、整體贏了局部輸了。這一節(jié)我逐條拆開講。5.1 主指標、護欄指標、代理指標怎么定一次實驗只盯一個指標非常容易走偏。我的習慣是設計一個主指標 若干護欄指標 可選代理指標。主指標Primary Metric這是你做這次實驗想優(yōu)化的核心指標一次實驗最好只有一個。比如改版商品詳情頁主指標就是下單轉化率。定多了會引出多重比較問題下面會講而且會讓人模糊焦點。護欄指標Guardrail Metric這些指標不是你要提升的而是要保證不被搞壞的。比如你為了提升下單轉化可能會加很多引導按鈕但用戶體驗可能變差導致退款率上升、客服投訴率上升、頁面加載時長上升。護欄指標的作用就是兜底一旦某個護欄指標顯著惡化哪怕主指標漲了也要謹慎上線。代理指標Proxy Metric當你關心的長期指標比如用戶留存、NPS很難在實驗周期內(nèi)觀察到時可以用短期相關的代理指標。比如用7日復訪率代理長期留存用加購率代理下單率。用代理指標的好處是靈敏但代價是它和真實目標的關系只是相關而非因果結論要打折扣表述。指標類型作用舉例使用注意主指標衡量改動是否達成目標下單轉化率只設一個提前定義護欄指標防止體驗或業(yè)務倒退退款率、投訴率、加載時長惡化即亮紅燈需解釋代理指標短期替代長期目標7日復訪率相關性需論證慎下結論5.2 辛普森悖論整體贏局部輸辛普森悖論是數(shù)據(jù)分析里最反直覺的現(xiàn)象之一在分組數(shù)據(jù)里A組每個子集都比B組好但合起來看A組反而更差。放在A/B test里就是整體看實驗組贏了但拆開每個細分人群看實驗組都輸了或者反過來。它的成因是組間構成比例不同。我舉個具體的例子。假設你的實驗涉及新老兩類用戶新用戶轉化率天然低老用戶轉化率天然高。對照組老用戶100人轉化30%新用戶100人轉化10% → 整體轉化20%實驗組老用戶20人轉化40%新用戶180人轉化20% → 整體轉化21.8%你看實驗組在每個細分人群里都贏了40%30%20%10%但整體實驗組的轉化率21.8%比對照組的20%高看起來好像也是實驗組贏。這是因為新用戶的占比在實驗組里大幅提高了——嗯這個例子里剛好沒體現(xiàn)出悖論。我再構造一個能體現(xiàn)的。對照組老用戶200人轉化率30%新用戶800人轉化率5% → 整體200×0.3 800×0.05/1000 10%實驗組老用戶800人轉化率40%新用戶200人轉化率10% → 整體800×0.4 200×0.1/1000 34%這種情況下兩邊的細分都贏了整體也贏了。要構造悖論需要人群占比發(fā)生方向相反的傾斜?？傊攲嶒灲M和對照組的人群構成顯著不同時聚合指標的比較可能完全誤導。所以實戰(zhàn)里我強烈建議看到顯著的聚合結果時一定要做細分拆解Segmentation Analysis看看是不是某個子人群的變化被平均掉了或者放大了。常見的拆解維度有新老用戶、設備類型、地域、渠道來源、活躍度分層。當然拆得太多又會掉進多重比較的坑所以要配合校正手段使用。5.3 多重比較跑20個指標總有一個顯著**多重比較Multiple Comparisons**是假陽性的重災區(qū)。道理很簡單如果每個檢驗都是α0.05那單獨一個檢驗的假陽性率是5%但如果你獨立跑20個檢驗至少有一個假陽性的概率是1 - (1 - 0.05)^20 ≈ 0.642也就是說你跑20個指標即使所有改動其實完全無效也有約64%的概率至少看到一個顯著的結果。這就像拋20次硬幣總會遇到幾次連著正面一樣是純粹的概率現(xiàn)象。解決手段主要有兩個。Bonferroni校正最保守也最簡單。把每個檢驗的顯著性閾值從α改成α/mm是檢驗次數(shù)。比如你跑20個指標那每個指標的閾值就設成0.05/20 0.0025。這種方法能嚴格控制假陽性但代價是功效下降嚴重容易漏掉真實效果。Benjamini-HochbergBHFDR校正控制的是假發(fā)現(xiàn)率False Discovery Rate比Bonferroni溫和得多是實際用起來更舒服的方法。它的思路是把所有p值從小到大排序找到最大的那個滿足 p_i ≤ (i/m) × α 的位置該位置及其之前的所有假設都判為顯著。import numpy as np def bh_correction(p_values, alpha0.05): p np.array(p_values) m len(p) order np.argsort(p) sorted_p p[order] thresholds np.arange(1, m 1) / m * alpha # 找到滿足條件的最大的 i passed sorted_p thresholds if not passed.any(): return np.zeros(m, dtypebool) k np.max(np.where(passed)[0]) significant np.zeros(m, dtypebool) significant[order[:k 1]] True return significant pvals [0.001, 0.008, 0.02, 0.04, 0.06, 0.2, 0.5] print(bh_correction(pvals))實戰(zhàn)建議如果實驗里只跑了一個主指標不用校正如果拆了10個細分人群或者跟蹤了多個指標至少要做一次FDR校正否則你的發(fā)現(xiàn)里摻了多少假貨自己都不知道。注意校正不是萬能的。它只解決你主動做了多次檢驗的問題不解決你看數(shù)據(jù)挑指標的問題。如果先看哪個指標顯著就把它當主指標那校正也救不了你。主指標一定要在實驗前就定死。5.4 從顯著性到?jīng)Q策別把p0.05當成圣旨最后一個環(huán)節(jié)是從統(tǒng)計結論到業(yè)務決策。這中間隔著一條很寬的溝很多團隊容易一頭扎進p0.05就上線的簡單邏輯里。我的決策框架是這樣的分三層。第一層看統(tǒng)計顯著性p值是否達標、置信區(qū)間是否跨0。這層決定數(shù)據(jù)支不支持這個結論。第二層看業(yè)務顯著性效應量夠不夠大。一個提升0.02%的改動哪怕p0.0001上線的人力成本都未必回得來。我會算一筆賬這個提升在全年大盤能帶來多少收益能不能覆蓋開發(fā)和維護成本。第三層看風險與護欄相關護欄指標有沒有惡化、細分人群里有沒有人明顯吃虧、實驗周期內(nèi)有沒有被特殊事件大促、事故污染。這層決定能不能上、什么時候上、要不要分批上。這三層都過了才叫可以上線。任何一層不過就需要補測、或者小流量灰度、或者干脆放棄。單純盯著p值做決策是把業(yè)務當成了統(tǒng)計學考試。6. 落地實操一套能跑起來的最小實驗流程前面五節(jié)都是拆解原理這一節(jié)我把它們串成一條能落地的流程。不管你是用現(xiàn)成的商業(yè)實驗平臺還是自己搭一套輕量系統(tǒng)這套流程和關鍵節(jié)點都適用。6.1 技術架構的最小閉環(huán)一套能用的A/B實驗系統(tǒng)其實不一定需要多復雜我把它拆成五個關鍵模塊缺哪個都不行。分桶服務Bucketing Service負責根據(jù)用戶ID決定他落入哪個組。就是前面講的哈希分流邏輯。這個服務要做得快——每次請求都要校驗分組如果它拖慢了主流程用戶體驗會倒退所以通常用本地緩存 布隆過濾器來加速。配置中心Config Service存儲每個實驗的配置實驗ID、分流比例、生效范圍比如僅限某幾個城市、某幾個渠道、時間窗口。分桶服務拿到用戶分組后結合配置中心判斷這個用戶是否真的進入實驗。配置中心最好支持熱更新這樣你調(diào)整實驗參數(shù)不用重啟服務。埋點上報Event Tracking用戶的行為數(shù)據(jù)曝光、點擊、下單要打上實驗標簽和分組信息方便后續(xù)歸因。這一步最容易出bug務必保證曝光埋點在用戶真實看到版本時上報而不是在進入頁面時上報否則會虛高。指標計算Metric Aggregation把埋點數(shù)據(jù)按實驗、按組聚合算出各種指標。這一步往往是離線批處理天級更新。要注意數(shù)據(jù)口徑的統(tǒng)一別讓實驗組和對照組用了不同的分母。分析平臺Analysis Reporting把聚合數(shù)據(jù)做統(tǒng)計檢驗算p值、置信區(qū)間、SRM檢驗結果生成實驗報告。這一步可以簡單到一個腳本也可以復雜到一整套可視化平臺。6.2 常見問題速查表我把這些年遇到的高頻問題整理成表方便你對照排查。這些問題基本涵蓋了A/B test執(zhí)行中出現(xiàn)狀況的八成?，F(xiàn)象可能原因排查/解決辦法p值總在0.05附近反復橫跳樣本量不足在功效邊緣補樣本或放大MDE實驗組樣本數(shù)明顯偏多/偏少SRM分流或埋點bug卡方檢驗p0.001就終止排查AA檢驗出現(xiàn)顯著差異分流邏輯或埋點不一致固定ID跑分流單測檢查上報延遲多個指標都顯著多重比較假陽性做BH或Bonferroni校正整體顯著但拆開看都輸了辛普森悖論人群構成傾斜按人群分層重算看加權結果第一天大漲后面回落新鮮感效應/首因效應拉長周期看穩(wěn)態(tài)數(shù)據(jù)實驗跑不動樣本攢不齊流量太小或MDE定太小用CUPED降方差或放大MDE每次看數(shù)據(jù)結果都不一樣偷看數(shù)據(jù)Peeking跑滿再看或改用序貫檢驗主指標漲了但投訴變多護欄指標被忽視建立護欄指標看板主指標護欄一起決策實驗結論無法復現(xiàn)分流不穩(wěn)定或環(huán)境差異檢查鹽值、埋點口徑、是否被其他實驗干擾6.3 我自己踩過的坑和幾條經(jīng)驗寫到這兒我把這些年做實驗積累的幾條經(jīng)驗擺出來都是花錢買來的教訓希望你能少走點彎路。第一條實驗前一定要寫清楚假設。別只寫改版詳情頁要寫成我認為把購買按鈕置頂能提升下單轉化率因為減少了用戶的視覺搜索成本預期提升幅度在5%~15%。把假設寫細你才能在跑完之后判斷是假設本身錯了還是假設對但實現(xiàn)沒做好。這一步很多團隊省了導致實驗做完只有數(shù)字沒有認知。第二條MDE不要拍腦袋要從業(yè)務倒推。我見過太多人把MDE定得特別小想著我要測出1%的提升結果實驗跑了兩個月都攢不夠樣本。正確的做法是先問業(yè)務我們至少要提升多少才值得上線那個數(shù)就是MDE。業(yè)務說5%才有意義你就按5%算樣本別去追那1%。第三條永遠先跑AA檢驗。哪怕你的實驗系統(tǒng)用了半年沒出過事也別跳過AA。分流邏輯、埋點、日志統(tǒng)計任何一環(huán)改過代碼都要重新跑AA。AA通過是實驗數(shù)據(jù)能用的最低門檻。第四條別迷信一次實驗的結論。一個顯著的實驗結果如果跟你的業(yè)務直覺嚴重不符先懷疑數(shù)據(jù)別急著慶?；蛘呖车?。我遇過一個實驗實驗組轉化率暴漲30%大家狂喜結果排查發(fā)現(xiàn)是實驗組的推薦位恰好命中了一個爆款商品。這種假提升披著統(tǒng)計顯著的外衣最容易被當成真效果。第五條把失敗的實驗也存檔。很多團隊只記錄成功的實驗失敗的實驗隨手丟了。這是巨大的浪費。失敗的實驗告訴你什么方向走不通也是有價值的信息。更實際的是當你三個月后又想試同一個方向時翻出歷史實驗能幫你省下一輪流量。我建議給每個實驗都建個記錄假設、設計、結果、結論、后續(xù)動作。第六條實驗文化比實驗工具更重要。一個團隊能不能做實驗不取決于有沒有好平臺而取決于愿不愿意用數(shù)據(jù)推翻自己的主觀判斷。如果產(chǎn)品經(jīng)理覺得我就知道這個改動是對的然后無視實驗結論硬推上線那再好的實驗系統(tǒng)也是擺設。工具解決的是怎么測文化解決的是測了之后信不信。后者難得多也重要得多。關于這個主題后續(xù)還能延伸出很多有意思的方向比如怎么用實驗做長期效應評估實驗結束后繼續(xù)跟蹤、怎么做跨實驗的影響分析多個實驗同時跑會不會互相干擾、以及大規(guī)模實驗平臺的分層正交設計。每一個都值得單獨寫一篇。不過就原理層面來說把隨機化、假設檢驗、樣本量、分流、多重比較這五個環(huán)節(jié)吃透你已經(jīng)超過市面上八成的從業(yè)者了。