做數(shù)據(jù)分析的人十有八九用過(guò)K-Means但大多數(shù)人只是import一下就出圖。真正麻煩的是那些import之后的事為什么運(yùn)行兩次結(jié)果不一樣為什么某個(gè)簇總是空為什么歸一化前后聚類天差地別這次我不打算糊弄過(guò)去直接從零手撕一遍K-Means聚類算法——不調(diào)sklearn不用現(xiàn)成的聚類函數(shù)只用Numpy把初始化、距離計(jì)算、樣本分配、質(zhì)心更新和收斂判定一步步寫(xiě)成代碼。整個(gè)過(guò)程里踩過(guò)的坑、查過(guò)的資料、改過(guò)的bug全記錄在下面。適合剛接觸聚類算法的新手也適合把KMeans()當(dāng)黑盒用了很久、實(shí)在受不了拍腦袋調(diào)參的老手?？赐昴銜?huì)明白這個(gè)老朋友在每次迭代里到底偷偷做了什么。1. K-Means聚類算法到底在做什么思路先對(duì)齊代碼才不會(huì)歪1.1 一句話直覺(jué)讓“相似”變成“距離”K-Means處理的是沒(méi)有標(biāo)簽的樣本集合。聚類算法的目標(biāo)是把這些樣本自動(dòng)分成K個(gè)組盡可能讓同一個(gè)組里的樣本相似不同組之間的樣本差異明顯。K-Means把“相似”這個(gè)詞翻譯成了數(shù)學(xué)語(yǔ)言“相似”就是“距離近”。更具體地說(shuō)它只關(guān)心歐氏距離——兩個(gè)點(diǎn)在多維空間里離得越近就越可能屬于同一簇。你可以把它想象成數(shù)據(jù)版的“礦石分揀”。你有一堆混合礦石不知道里面含幾種金屬也不知道每塊礦石具體屬于哪一類。K-Means根據(jù)礦石的質(zhì)地、顏色、重量這些特征把它們自動(dòng)歸成幾堆。歸完之后每一堆的中心就是這堆樣本的代表也就是質(zhì)心。整個(gè)過(guò)程沒(méi)有老師告訴你正確答案純靠數(shù)據(jù)本身的結(jié)構(gòu)來(lái)分組所以這類算法也叫無(wú)監(jiān)督學(xué)習(xí)。這里有個(gè)容易忽略的點(diǎn)K-Means不是一把梭直接算出來(lái)的。它先隨便猜幾個(gè)質(zhì)心然后讓每個(gè)樣本“投靠”距離最近的質(zhì)心再根據(jù)新組員的平均位置重新計(jì)算質(zhì)心如此循環(huán)直到質(zhì)心不再明顯移動(dòng)。這個(gè)“猜—分—算—再猜”的循環(huán)是整個(gè)算法的靈魂。搞懂這個(gè)循環(huán)后面所有代碼都只是它的具體翻譯。1.2 目標(biāo)函數(shù)與硬分配K-Means憑什么能收斂只看直覺(jué)的話很容易把K-Means理解成“循環(huán)求平均”雖然沒(méi)錯(cuò)但會(huì)漏掉最重要的東西——目標(biāo)函數(shù)。K-Means的目標(biāo)是讓每個(gè)樣本到它所屬質(zhì)心的距離平方和最小用公式寫(xiě)出來(lái)就是SSE Σ(k1..K) Σ(x_i ∈ C_k) ‖x_i - μ_k‖2其中C_k是第K個(gè)簇μ_k是該簇的質(zhì)心也就是簇內(nèi)樣本的均值。這個(gè)指標(biāo)通常叫簇內(nèi)平方和SSEK-Means的每次迭代都在壓低這個(gè)值。這個(gè)式子決定了K-Means的一個(gè)關(guān)鍵性質(zhì)硬分配。每個(gè)樣本在每一步里只屬于離它最近的唯一簇不存在“有60%屬于A簇、40%屬于B簇”這種說(shuō)法。argmin一錘定音樣本要么是這簇的要么是那簇的沒(méi)有中間地帶。這一點(diǎn)聽(tīng)起來(lái)理所當(dāng)然但跟后面要提到的高斯混合模型GMM形成了鮮明對(duì)比GMM是軟聚類會(huì)給每個(gè)樣本輸出一個(gè)概率向量。目標(biāo)函數(shù)存在還有另一層意義它解釋了K-Means為什么一定收斂。經(jīng)典的Lloyd算法本質(zhì)上在交替優(yōu)化兩個(gè)變量——固定質(zhì)心時(shí)給樣本分配最近的簇固定簇時(shí)把質(zhì)心更新成簇內(nèi)均值。兩步操作都在降低同一個(gè)SSE目標(biāo)函數(shù)所以迭代過(guò)程是單調(diào)不增的最終必然收斂。只不過(guò)這個(gè)收斂不是“收斂到全局最優(yōu)”而是收斂到某個(gè)局部極小值。SSE這個(gè)函數(shù)并不凸存在很多坑坑洼洼的谷底隨機(jī)初始化不同跑到的谷底也不同。這是后面講K-Means和n_init時(shí)反復(fù)要提到的前提。1.3 為什么偏偏用歐氏距離超球面偏好的由來(lái)很多剛上手的人會(huì)問(wèn)能不能用曼哈頓距離能用余弦距離嗎答案是能算但那個(gè)算法就不叫K-Means了數(shù)學(xué)性質(zhì)也會(huì)徹底變掉。原因在于歐氏距離與“均值”天生是一對(duì)。給定一堆點(diǎn)能讓“到所有點(diǎn)的歐氏距離平方和”最小的那個(gè)中心恰恰就是它們的算術(shù)平均。而K-Means的每一步更新都需要求均值兩者剛好無(wú)縫銜接。如果把距離換成曼哈頓距離最優(yōu)中心就變成了中位數(shù)算法演變成K-Medians或K-Medoids換了個(gè)物種。所以K-Means不是“非要用歐氏距離”而是“用均值做質(zhì)心自然推導(dǎo)出了歐氏距離”。歐氏距離還有一個(gè)隱藏含義它對(duì)應(yīng)的簇形狀是各向同性的圓。用專業(yè)點(diǎn)的話說(shuō)K-Means假設(shè)每個(gè)簇在特征空間里是一個(gè)超球面而且各個(gè)方向半徑差不多。一旦數(shù)據(jù)里出現(xiàn)細(xì)長(zhǎng)條狀的簇、半包圍的圓弧形簇K-Means就會(huì)生硬地把它攔腰切開(kāi)或者跨越邊界亂分。判斷一個(gè)數(shù)據(jù)集適不適合用K-Means最簡(jiǎn)單的方法就是降維到2D看一眼如果散點(diǎn)圖呈現(xiàn)幾個(gè)圓團(tuán)直接用如果形狀妖嬈趁早換DBSCAN或GMM。歐氏距離對(duì)量綱的敏感也是它在實(shí)際項(xiàng)目里最常被忽略的坑。想象兩個(gè)特征“年齡”取值20到60“年消費(fèi)額”取值5萬(wàn)到100萬(wàn)。計(jì)算歐氏距離時(shí)年齡那一位的貢獻(xiàn)基本被消費(fèi)金額淹沒(méi)聚類結(jié)果跟年齡一點(diǎn)關(guān)系都沒(méi)有。這不是算法錯(cuò)了是距離度量被量綱綁架了。所以在跑K-Means之前標(biāo)準(zhǔn)化幾乎是最重要的一步預(yù)處理后面4.1會(huì)專門展開(kāi)。2. 從零手撕一遍K-Means完整實(shí)現(xiàn)與收斂過(guò)程可視化2.1 數(shù)據(jù)準(zhǔn)備先造一份能畫(huà)出結(jié)果的2D數(shù)據(jù)集既然要手撕算法數(shù)據(jù)我也選擇自己造。用Numpy直接生成三個(gè)高斯簇二維帶真實(shí)中心只是用來(lái)驗(yàn)證效果算法本身完全不需要標(biāo)簽import numpy as np import matplotlib.pyplot as plt rng np.random.default_rng(42) centers_true np.array([[2.0, 2.0], [-2.0, 3.0], [3.0, -2.0]]) X np.vstack([ rng.normal(loccenter, scale0.6, size(100, 2)) for center in centers_true ]) rng.shuffle(X)為什么選2D數(shù)據(jù)因?yàn)榭梢暬庇^每一輪質(zhì)心的移動(dòng)都能畫(huà)出來(lái)人眼直接看到算法“動(dòng)起來(lái)”。實(shí)際業(yè)務(wù)里通常是幾十維甚至上百維但算法邏輯完全一樣只是沒(méi)法用眼睛直接看罷了。scale0.6是給每個(gè)簇加適量噪聲讓三個(gè)團(tuán)有輕微重疊但又不至于糊成一團(tuán)這樣K-Means既有挑戰(zhàn)又能穩(wěn)定收斂。shuffle這步容易被忽略如果不打亂樣本順序隨機(jī)初始化質(zhì)心時(shí)更容易連續(xù)抽到同一區(qū)域的樣本增加空簇概率。雖然對(duì)這個(gè)干凈數(shù)據(jù)集影響不大但這是防止“莫名其妙翻車”的好習(xí)慣。真實(shí)數(shù)據(jù)里樣本順序常常帶有隱藏結(jié)構(gòu)比如按時(shí)間排列、按來(lái)源排列先shuffle能避免初始化被順序影響。2.2 核心代碼逐段拆解初始化、分配、更新、收斂我把手撕版K-Means寫(xiě)成一個(gè)可直接運(yùn)行的函數(shù)包含距離計(jì)算、空簇處理、質(zhì)心位移記錄。每個(gè)步驟都帶注釋方便對(duì)照原理def euclidean_dist(X, center): # X: (n, d), center: (d,) - 返回每個(gè)樣本到該質(zhì)心的距離 return np.sqrt(np.sum((X - center) ** 2, axis1)) def kmeans_custom(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) # 1. 初始化從樣本里隨機(jī)挑k個(gè)樣本當(dāng)質(zhì)心 initial_idx rng.choice(len(X), sizek, replaceFalse) centroids X[initial_idx].copy() for i in range(max_iter): # 2. 分配步驟計(jì)算每個(gè)樣本到全部質(zhì)心的距離 # distances 的形狀是 (k, n)每行是“到某一個(gè)質(zhì)心”的距離 distances np.array([euclidean_dist(X, c) for c in centroids]) labels np.argmin(distances, axis0) # 每個(gè)樣本分給最近質(zhì)心 # 3. 更新步驟對(duì)每個(gè)簇求均值作為新質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: # 空簇處理隨機(jī)補(bǔ)一個(gè)樣本當(dāng)質(zhì)心避免實(shí)際簇?cái)?shù)悄悄減一 new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) # 4. 收斂判定質(zhì)心位移小于閾值 shift np.linalg.norm(new_centroids - centroids) centroids new_centroids if shift tol: print(f迭代 {i 1} 輪后收斂總位移 {shift:.6f}) return centroids, labels print(f達(dá)到最大迭代次數(shù) {max_iter}可能需要檢查tol的合理性) return centroids, labels運(yùn)行指定K3我這個(gè)測(cè)試?yán)锿ǔ５?輪就收斂。三個(gè)質(zhì)心大約落在(2.02, 1.98)、(-1.98, 2.94)、(2.95, -1.96)附近與真實(shí)中心(2,2)、(-2,3)、(3,-2)誤差在0.1以內(nèi)。這說(shuō)明數(shù)據(jù)生成得干凈K-Means在這種球狀簇場(chǎng)景下簡(jiǎn)直是為它量身定做的。這里必須提醒一個(gè)新手最容易踩的代碼級(jí)坑argmin的axis到底寫(xiě)幾。在初版實(shí)現(xiàn)里distances的形狀是(k, n)所以argmin(axis0)才能得到n個(gè)樣本各自的簇編號(hào)。如果你手滑寫(xiě)成axis1取到的將是“對(duì)每個(gè)質(zhì)心而言最近的樣本索引”組成的列表形狀直接變成(k,)結(jié)果完全不是簇標(biāo)簽而且大概率不報(bào)錯(cuò)。這類錯(cuò)誤極其隱蔽我建議寫(xiě)完先打印distances.shape和labels.shape驗(yàn)證一下別直接往業(yè)務(wù)代碼里塞。2.3 向量化提速用Numpy廣播把循環(huán)壓成矩陣運(yùn)算教學(xué)版代碼容易看懂但每次算距離都開(kāi)一個(gè)循環(huán)數(shù)據(jù)量一上來(lái)就慢得可怕。實(shí)際生產(chǎn)需要的是同一邏輯的向量化版本。用Numpy廣播一步算出所有樣本到所有質(zhì)心的距離矩陣def kmeans_vec(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() for i in range(max_iter): # X: (n, d) - X[:, None, :] 形狀(n, 1, d) # centroids: (k, d) - centroids[None, :, :] 形狀(1, k, d) # 廣播相減得到 (n, k, d)即每個(gè)樣本對(duì)每個(gè)質(zhì)心的分量差 diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) # 形狀(n, k) labels np.argmin(distances, axis1) # 每個(gè)樣本最近的質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) if np.linalg.norm(new_centroids - centroids) tol: centroids new_centroids break centroids new_centroids return centroids, labels這個(gè)版本里distances變成(n, k)矩陣每個(gè)元素是第i個(gè)樣本到第j個(gè)質(zhì)心的距離argmin(axis1)就是按行找最小值得到n個(gè)樣本的簇標(biāo)簽。對(duì)比教學(xué)版可以發(fā)現(xiàn)兩個(gè)版本唯一的本質(zhì)區(qū)別是距離矩陣的軸方向反了隨之a(chǎn)rgmin的axis也反了。搞懂這一點(diǎn)你就同時(shí)看穿了大多數(shù)K-Means源碼里讓人迷惑的軸操作。數(shù)據(jù)量到幾十萬(wàn)行、幾十維特征時(shí)向量化版本比循環(huán)版快一到兩個(gè)數(shù)量級(jí)這就是Numpy廣播的威力。實(shí)際項(xiàng)目里如果還想再快可以用scipy.spatial.distance.cdist直接算距離矩陣它底層調(diào)了優(yōu)化過(guò)的C實(shí)現(xiàn)比手寫(xiě)廣播更快。不過(guò)在“手撕”階段用廣播更能看清形狀變化的脈絡(luò)因?yàn)槊恳徊絪hape的變化就是算法邏輯的具象化。2.4 每輪迭代都在發(fā)生什么質(zhì)心移動(dòng)的可視化復(fù)盤代碼跑通后最有意思的事情是看質(zhì)心怎么一步步“歸位”。為了畫(huà)圖我稍微改造一下函數(shù)把每輪迭代的質(zhì)心都記錄下來(lái)def kmeans_process(X, k, max_iter10, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() history [centroids.copy()] for i in range(max_iter): diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) labels np.argmin(distances, axis1) # 畫(huà)圖觀察用的簡(jiǎn)化版省略了空簇處理邏輯 new_centroids np.array([X[labels c].mean(axis0) for c in range(k)]) history.append(new_centroids.copy()) if np.linalg.norm(new_centroids - centroids) 1e-4: centroids new_centroids break centroids new_centroids return np.array(history), labels, i 1 history, labels, iters kmeans_process(X, k3)然后用matplotlib畫(huà)一個(gè)2x2的子圖依次展示初始質(zhì)心、第1輪后、第2輪后、最終結(jié)果。初始質(zhì)心是從樣本里隨機(jī)挑的很可能三個(gè)點(diǎn)都擠在數(shù)據(jù)一側(cè)第1輪分配完成后質(zhì)心猛跳到三個(gè)簇的大致中心第2輪只做小修正第3輪基本要么觸發(fā)收斂要么只需要再微調(diào)一步。我在實(shí)際跑圖時(shí)觀察到的典型現(xiàn)象是第一輪質(zhì)心位移最大之后斷崖式減小。這不是巧合而是坐標(biāo)下降法的普遍特點(diǎn)——先快速找到大體區(qū)域再慢速精確逼近。理解這一點(diǎn)就知道為什么很多K-Means實(shí)現(xiàn)默認(rèn)只迭代一兩百輪就夠了它真的不需要太多輪。如果發(fā)現(xiàn)收斂很慢根源幾乎都不是“輪數(shù)不夠”而是初始化差、數(shù)據(jù)沒(méi)標(biāo)準(zhǔn)化或者K選得不合理。3. 手撕路上踩過(guò)的坑K-Means常見(jiàn)問(wèn)題與排查實(shí)錄3.1 空簇問(wèn)題質(zhì)心是怎么“消失”的第一個(gè)坑是空簇?，F(xiàn)象是跑完后有一類標(biāo)簽沒(méi)人用實(shí)際有效簇?cái)?shù)從K變成了K-1。我第一次手撕時(shí)遇到這個(gè)還挺懵明明設(shè)置的K3為什么labels里只有0和1原因通常有三類。初始化質(zhì)心位置太差比如三個(gè)初始質(zhì)心全落在同一堆數(shù)據(jù)里另一個(gè)質(zhì)心被孤立數(shù)據(jù)里有明顯離群點(diǎn)離群點(diǎn)獨(dú)自搶走一個(gè)質(zhì)心或者K設(shè)得太大某些簇本來(lái)就只有零星幾個(gè)樣本隨機(jī)初始化恰好沒(méi)覆蓋到。如果不處理空簇后果不只是少一個(gè)標(biāo)簽。求均值時(shí)用空簇樣本取mean會(huì)直接報(bào)錯(cuò)或產(chǎn)生nan后面算SSE也全亂套。教科書(shū)版本往往回避這個(gè)細(xì)節(jié)但工程實(shí)現(xiàn)必須處理。我用的方案是檢測(cè)到空簇就重新隨機(jī)選一個(gè)樣本作為該質(zhì)心簡(jiǎn)單有效但不保證最優(yōu)。更穩(wěn)的做法有三種按我的推薦程度排列把新質(zhì)心定為當(dāng)前離其他質(zhì)心最遠(yuǎn)的樣本讓空簇趕緊去覆蓋空白區(qū)域。找到當(dāng)前SSE最大的簇把它一分為二把新質(zhì)心塞給空簇。直接用K-Means做初始化從源頭上大幅降低空簇概率。我在小規(guī)模比賽和項(xiàng)目里用“最遠(yuǎn)樣本填充”最多效果好、代碼也就幾行邏輯更接近生產(chǎn)版本。3.2 初始化玄學(xué)同數(shù)據(jù)兩次結(jié)果為何天差地別第二個(gè)問(wèn)題比空簇隱蔽得多同一份數(shù)據(jù)跑兩遍K-Means結(jié)果可能完全對(duì)不上。這不是隨機(jī)數(shù)種子的鍋而是目標(biāo)函數(shù)本身非凸。K-Means的SSE存在多個(gè)局部極小值。隨機(jī)初始化相當(dāng)于從某座山頭出發(fā)往下走走到哪個(gè)谷底全看起點(diǎn)。有些谷底對(duì)應(yīng)的聚類結(jié)果很離譜比如把兩個(gè)本應(yīng)分開(kāi)的簇合并了或者把一個(gè)簇硬劈成兩半。我第一次遇到時(shí)懷疑自己代碼有bug查了一晚上才發(fā)現(xiàn)同樣的代碼換了個(gè)隨機(jī)種子跑到另一個(gè)局部最優(yōu)去了。工程界的解法早就標(biāo)準(zhǔn)化多跑幾次取SSE最小的那次結(jié)果。sklearn里的n_init10就是干這個(gè)的。手撕版實(shí)現(xiàn)也很直接best_centroids None best_labels None best_sse np.inf for seed in range(10): centroids, labels kmeans_vec(X, k, seedseed) sse ((X - centroids[labels]) ** 2).sum() if sse best_sse: best_sse sse best_centroids centroids best_labels labels不過(guò)比“多次運(yùn)行取最優(yōu)”更優(yōu)雅的方案是K-Means初始化。它的核心思路是讓初始質(zhì)心盡量離得遠(yuǎn)先隨機(jī)選第一個(gè)質(zhì)心之后每次以“距離平方占全場(chǎng)總距離平方的比例”作為概率挑選下一個(gè)質(zhì)心。這個(gè)策略幾乎把所有壞初始化壓到了地板水平。手寫(xiě)K-Means初始化也不難def kmeans_plusplus_init(X, k, seed42): rng np.random.default_rng(seed) centroids [X[rng.choice(len(X))]] for _ in range(1, k): # 每個(gè)樣本到最近已有質(zhì)心的距離平方 diff X[:, None, :] - np.array(centroids)[None, :, :] d2 np.min((diff ** 2).sum(axis2), axis1) prob d2 / d2.sum() # 距離越遠(yuǎn)的樣本越可能被選為質(zhì)心 centroids.append(X[rng.choice(len(X), pprob)]) return np.array(centroids)這段代碼的價(jià)值足夠讓一個(gè)手撕版K-Means的穩(wěn)定性提升一個(gè)檔次。我實(shí)際測(cè)試過(guò)原始隨機(jī)初始化200個(gè)seed里大約有3到4次掉進(jìn)明顯差的局部解換K-Means之后同樣200次試驗(yàn)一次都沒(méi)翻車。這個(gè)差距落到業(yè)務(wù)里直接體現(xiàn)為“聚類結(jié)果跟業(yè)務(wù)case對(duì)得上”還是“結(jié)果看起來(lái)離譜”。3.3 收斂判定陷阱tol、max_iter與浮點(diǎn)精度的博弈還有一類坑不在算法邏輯而在邊界條件。先說(shuō)tol。tol控制的是“質(zhì)心移動(dòng)多少距離就認(rèn)為收斂”。如果特征量級(jí)是幾十萬(wàn)tol1e-4意味著質(zhì)心幾乎在原地踏步迭代會(huì)一直跑滿max_iter才被迫停下如果特征已經(jīng)標(biāo)準(zhǔn)化到零附近1e-4又相對(duì)合理。所以我建議跑K-Means前先標(biāo)準(zhǔn)化再根據(jù)質(zhì)心位移曲線決定tol別直接照抄默認(rèn)值。max_iter也有講究。經(jīng)典教材說(shuō)“一般幾十輪就收斂”但高維稀疏數(shù)據(jù)、初始化差時(shí)跑幾百輪也不一定穩(wěn)。我習(xí)慣設(shè)300到500。為什么不是一萬(wàn)因?yàn)槊枯喍家阋淮稳烤嚯x矩陣數(shù)據(jù)大時(shí)多跑就是燒算力不如先把初始化做好。另一個(gè)容易被忽視的是浮點(diǎn)數(shù)精度。曾經(jīng)我在判斷收斂時(shí)把閾值寫(xiě)成1e-10結(jié)果跑滿迭代次數(shù)也沒(méi)觸發(fā)收斂——因?yàn)橘|(zhì)心在接近最優(yōu)時(shí)每一步位移只有大約1e-7量級(jí)1e-10這個(gè)閾值過(guò)于苛刻。更麻煩的是當(dāng)矩陣接近零時(shí)np.linalg.norm對(duì)極小位移會(huì)產(chǎn)生浮點(diǎn)抖動(dòng)收斂判定不穩(wěn)定。所以工程上我更傾向于用“簇分配標(biāo)簽不再變化”作為收斂信號(hào)。對(duì)K-Means來(lái)說(shuō)標(biāo)簽不變意味著再怎么迭代結(jié)果也不會(huì)變這是最硬氣的收斂判據(jù)if np.array_equal(labels, prev_labels): break當(dāng)然常規(guī)情況下標(biāo)簽不變時(shí)質(zhì)心也基本不動(dòng)了兩個(gè)判據(jù)等價(jià)。但標(biāo)簽判據(jù)對(duì)浮點(diǎn)噪聲更魯棒我后來(lái)的手撕代碼里干脆同時(shí)允許兩種退出條件代碼量幾乎沒(méi)增加保險(xiǎn)系數(shù)卻高了不少。3.4 排查問(wèn)題速查表現(xiàn)象、原因與處理方案把上面這些坑整理成一張表以后遇到問(wèn)題直接對(duì)照現(xiàn)象典型原因我的處理方案聚類結(jié)果每次都不一樣隨機(jī)初始化陷入不同局部最優(yōu)多次運(yùn)行取最小SSE或用K-Means某個(gè)簇是空的初始化覆蓋差、K太大、有離群點(diǎn)空簇填充最遠(yuǎn)樣本或減小K或換K-Means迭代到max_iter才停tol相對(duì)量級(jí)太小、數(shù)據(jù)未標(biāo)準(zhǔn)化先標(biāo)準(zhǔn)化把tol調(diào)到1e-4量級(jí)聚類邊界明顯亂切數(shù)據(jù)簇形狀非球、有重疊改用GMM、DBSCAN或先降維可視化結(jié)果對(duì)業(yè)務(wù)無(wú)解釋性只看了統(tǒng)計(jì)最優(yōu)沒(méi)結(jié)合業(yè)務(wù)約束結(jié)合業(yè)務(wù)設(shè)定K人工復(fù)核每個(gè)簇如果遇到表里沒(méi)有的怪問(wèn)題一個(gè)笨但有效的排查方式把質(zhì)心和簇內(nèi)樣本散點(diǎn)圖畫(huà)出來(lái)人眼掃一遍往往就有思路了。K-Means本身不復(fù)雜失敗模式也不復(fù)雜大多數(shù)問(wèn)題的根源不外乎“數(shù)據(jù)沒(méi)洗干凈”和“參數(shù)沒(méi)對(duì)應(yīng)上數(shù)據(jù)量級(jí)”這兩處。4. 從手撕到實(shí)戰(zhàn)標(biāo)準(zhǔn)化、K值選擇與算法進(jìn)階路線4.1 跑之前先標(biāo)準(zhǔn)化歐氏距離的量綱陷阱K-Means基于歐氏距離而歐氏距離會(huì)被大數(shù)值特征主導(dǎo)。用客戶分群舉個(gè)例子特征里有“年齡”和“年消費(fèi)額”年消費(fèi)額動(dòng)輒幾萬(wàn)年齡只有幾十距離計(jì)算幾乎只看消費(fèi)額年齡直接成了擺設(shè)。聚類結(jié)果看著像按消費(fèi)額切了幾刀實(shí)際上是量綱在幫忙做特征選擇。標(biāo)準(zhǔn)做法通常是Z-score標(biāo)準(zhǔn)化把每個(gè)特征變成均值0、標(biāo)準(zhǔn)差1X_scaled (X - X.mean(axis0)) / X.std(axis0)還有一種Min-Max縮放把特征壓到0到1之間對(duì)沒(méi)有極端值的數(shù)據(jù)效果也不錯(cuò)。但Min-Max對(duì)離群點(diǎn)極敏感——一個(gè)極大的離群點(diǎn)會(huì)把其他所有數(shù)據(jù)壓到0到0.01之間等于把正常樣本全擠在一起。所以我個(gè)人對(duì)分布偏穩(wěn)健的數(shù)據(jù)用Z-score更多。不過(guò)并不是所有場(chǎng)景都非要標(biāo)準(zhǔn)化。當(dāng)所有特征本來(lái)就是同量綱時(shí)比如全是0-1的one-hot編碼或全是百分比標(biāo)準(zhǔn)化反而可能破壞原始語(yǔ)義。判斷標(biāo)準(zhǔn)很簡(jiǎn)單先問(wèn)自己這個(gè)特征取值的絕對(duì)大小有沒(méi)有業(yè)務(wù)意義如果只是量綱不同標(biāo)準(zhǔn)化如果量大本身代表某種強(qiáng)度保留原始尺度有時(shí)更合理。4.2 K值怎么定最靠譜肘部法、輪廓系數(shù)與實(shí)際業(yè)務(wù)約束K是K-Means里用戶給定的唯一超參數(shù)也是最難拍板的一個(gè)。常見(jiàn)方法有兩個(gè)半。第一個(gè)是肘部法。畫(huà)一條“K值—SSE”曲線K越大SSE越小但下降速度會(huì)變緩。曲線上的那個(gè)拐點(diǎn)就是“肘”代表從那個(gè)K開(kāi)始多分一簇帶來(lái)的收益明顯變小。手撕版實(shí)現(xiàn)很直接k_list range(2, 10) sse_list [] for k in k_list: centroids, labels kmeans_vec(X_scaled, k, seed42) sse ((X_scaled - centroids[labels]) ** 2).sum() sse_list.append(sse) plt.plot(k_list, sse_list, markero)第二個(gè)是輪廓系數(shù)。它同時(shí)考慮每個(gè)樣本與自身簇內(nèi)的緊密度以及到最近鄰居簇的距離算出介于-1到1之間的分?jǐn)?shù)全局平均輪廓系數(shù)越高說(shuō)明簇結(jié)構(gòu)越清晰。選K時(shí)一般取平均輪廓系數(shù)接近最大的那個(gè)值。不過(guò)輪廓系數(shù)在小數(shù)據(jù)集上非常吃計(jì)算量n超過(guò)幾萬(wàn)就開(kāi)始吃力那時(shí)更推薦用采樣或者干脆靠業(yè)務(wù)經(jīng)驗(yàn)。剩下半個(gè)方法是Gap Statistic它通過(guò)與隨機(jī)數(shù)據(jù)對(duì)比來(lái)找K理論上更漂亮但計(jì)算量大實(shí)際項(xiàng)目里用得少。最后我還得說(shuō)一句大實(shí)話數(shù)值指標(biāo)永遠(yuǎn)只是參考真實(shí)業(yè)務(wù)里K經(jīng)常由需求決定。你要做五個(gè)用戶層級(jí)K就是5你要把客戶分成能承載不同運(yùn)營(yíng)話術(shù)的幾類K得看團(tuán)隊(duì)接不接受。最優(yōu)K不等于最可用K這層判斷只有人做得來(lái)。4.3 現(xiàn)成庫(kù)到底多做了什么與sklearn KMeans的差異對(duì)照手撕完之后建議一定要做一次對(duì)照實(shí)驗(yàn)把結(jié)果跟sklearn的KMeans對(duì)比看看差多少。我測(cè)下來(lái)兩者在常規(guī)數(shù)據(jù)上的SSE幾乎一致差異主要來(lái)自幾個(gè)工程細(xì)節(jié)sklearn默認(rèn)初始化是k-means默認(rèn)n_init10也就是跑10次完整聚類后取SSE最小的結(jié)果。它的默認(rèn)tol1e-4、默認(rèn)max_iter300處理空簇時(shí)用“最遠(yuǎn)點(diǎn)填充法”。底層是Cython實(shí)現(xiàn)還支持elkan變種利用三角不等式減少部分距離計(jì)算。我手撕版的“重新隨機(jī)選點(diǎn)填充”方案跟它比粗糙一些但主流程完全對(duì)得上。如果你不想寫(xiě)代碼Orange3這類可視化數(shù)據(jù)分析平臺(tái)里也集成了聚類分析模塊把K-Means封裝成圖形節(jié)點(diǎn)點(diǎn)幾下鼠標(biāo)就能跑。它的底層依然是“初始化—分配—更新—收斂”這套邏輯參數(shù)含義跟我上面寫(xiě)的完全一致。所以不管用什么工具理解這些參數(shù)都是通用的。數(shù)據(jù)規(guī)模上也要有數(shù)sklearn的KMeans在百萬(wàn)級(jí)樣本、幾十維特征上能跑得動(dòng)但手撕版在同樣規(guī)模下會(huì)因?yàn)槿嚯x矩陣而內(nèi)存爆炸。手撕版更像教學(xué)腳手架和問(wèn)題排查工具真到生產(chǎn)級(jí)規(guī)模合理選擇是Mini-Batch K-Means或者分布式實(shí)現(xiàn)。4.4 從K-Means走向哪K-Medoids、GMM高斯混合與更多聚類思路K-Means雖經(jīng)典但有三個(gè)肉眼可見(jiàn)的短板均值對(duì)離群點(diǎn)敏感、只會(huì)生成球形簇、只做硬分配。對(duì)應(yīng)這三個(gè)短板至少有三條進(jìn)階路線。第一條是K-Medoids。它不把質(zhì)心定義為簇內(nèi)均值而是從簇內(nèi)樣本里挑一個(gè)“最典型的代表”因此對(duì)離群點(diǎn)更穩(wěn)。它適合特征不是連續(xù)值或均值沒(méi)有意義的場(chǎng)景比如文本向量、評(píng)分?jǐn)?shù)據(jù)。第二條是高斯混合模型GMM屬于模型聚類算法。GMM給每個(gè)樣本輸出一個(gè)“屬于各簇的概率向量”而不是一個(gè)硬標(biāo)簽同時(shí)允許每個(gè)簇有自己的協(xié)方差結(jié)構(gòu)所以能擬合橢圓形的簇。從數(shù)學(xué)上看K-Means其實(shí)是GMM的特例——當(dāng)GMM各組件協(xié)方差趨向于各向同性且共享時(shí)它的最大后驗(yàn)分配就退化為按歐氏距離最近分配也就是K-Means的行為。理解這一點(diǎn)你會(huì)發(fā)現(xiàn)K-Means處于整個(gè)概率聚類譜系的一端而不是孤立知識(shí)點(diǎn)。第三條是Mini-Batch K-Means每次只取一小批樣本更新質(zhì)心犧牲少量精度換速度千萬(wàn)級(jí)數(shù)據(jù)場(chǎng)景下我一般直接走這條線。還有一個(gè)方向值得提譜聚類、DBSCAN這些方法能處理K-Means完全做不了的形狀比如嵌套的環(huán)形、細(xì)長(zhǎng)的帶狀結(jié)構(gòu)。選型邏輯很簡(jiǎn)單如果散點(diǎn)圖畫(huà)出來(lái)是幾個(gè)圓團(tuán)K-Means夠了如果形狀怪異就別硬扛先考慮密度聚類或圖方法。這遍手撕最直接的收獲是我終于敢在排查K-Means問(wèn)題時(shí)說(shuō)“我大概知道它哪里出了問(wèn)題”而不是只能拍腦袋調(diào)參。另一個(gè)小技巧分享給剛開(kāi)始學(xué)的人跑任何聚類之前先畫(huà)一張降維后的散點(diǎn)圖人眼掃一遍判斷簇?cái)?shù)目和形狀。這一步花五分鐘卻能省掉后面無(wú)數(shù)瞎調(diào)參的時(shí)間。K-Means看起來(lái)簡(jiǎn)單但把它從“可運(yùn)行的庫(kù)”變成“自己寫(xiě)的代碼”你才能真正感覺(jué)到它在做什么以及那些參數(shù)在什么情況下說(shuō)了算。先把基礎(chǔ)版跑穩(wěn)后續(xù)我會(huì)接著寫(xiě)K-Means的細(xì)節(jié)和K值自動(dòng)選擇的實(shí)操對(duì)比感興趣的話可以繼續(xù)跟。