比：單類分類算法原理、差異與選型實(shí)踐)
做異常檢測這幾年SVDD和OCSVM這兩個(gè)名字幾乎每次都一起出現(xiàn)。很多人問過我這兩個(gè)到底什么區(qū)別選哪個(gè)好為什么我換了數(shù)據(jù)集之后結(jié)果“風(fēng)水輪流轉(zhuǎn)”說實(shí)話這兩個(gè)算法確實(shí)長得像親兄弟都出身SVM家族都能做單類分類One-Class Classification甚至在高斯核下數(shù)學(xué)形式只有一線之隔。但這“一線之隔”恰恰決定了它們?cè)谡鎸?shí)數(shù)據(jù)上的表現(xiàn)差異。這篇文章我就把這兩個(gè)方法的原理、差異、實(shí)操細(xì)節(jié)和踩坑經(jīng)驗(yàn)一次性講清楚希望能幫你少走彎路。OCSVMOne-Class Support Vector Machine單類支持向量機(jī)和SVDDSupport Vector Data Description支持向量數(shù)據(jù)描述都是解決“只有正常樣本沒有異常樣本”這類問題的經(jīng)典方法。它們不需要你提供反例只需要從一堆正常數(shù)據(jù)里學(xué)出一個(gè)邊界邊界之外的東西就被判定為異常。這種范式在工業(yè)質(zhì)檢、故障診斷、金融反欺詐、醫(yī)療異常篩查里非常實(shí)用。我最早接觸這對(duì)算法是在一個(gè)軸承故障檢測項(xiàng)目里當(dāng)時(shí)手里只有正常狀態(tài)下的振動(dòng)數(shù)據(jù)故障數(shù)據(jù)少得可憐傳統(tǒng)分類器完全沒法訓(xùn)練。后來換成單類分類的思路問題才豁然開朗。這篇文章適合正在做異常檢測、新穎性檢測、工業(yè)健康管理或者想做數(shù)據(jù)分布邊界建模的同學(xué)。我會(huì)從問題定義講起逐步深入到原理推導(dǎo)再落到代碼實(shí)操和調(diào)參經(jīng)驗(yàn)。不管你是剛接觸單類分類的新手還是已經(jīng)在用OCSVM但想搞清楚SVDD差異的老手這篇都能給你一些實(shí)實(shí)在在的參考。1. 問題定義與應(yīng)用場景1.1 單類分類到底在解決什么問題先說一個(gè)反直覺的事情很多異常檢測任務(wù)其實(shí)沒有“異常樣本”可以訓(xùn)練?！爱惓！边@個(gè)概念在數(shù)據(jù)采集階段往往太模糊、太罕見、太昂貴。比如生產(chǎn)線上某臺(tái)設(shè)備還沒壞你怎么采到“壞了”的數(shù)據(jù)就算采到了故障模式可能有一百種根本采不全。這種場景下監(jiān)督學(xué)習(xí)沒法做半監(jiān)督也缺一半材料只能做單類分類。單類分類的設(shè)定很純粹訓(xùn)練階段只給你一類樣本通常是正常樣本你要學(xué)出一個(gè)“正常范圍”的邊界。推理階段落在邊界內(nèi)的判為正常落在邊界外的判為異常。用一句更通俗的話講它不是在學(xué)“什么是異?！倍窃趯W(xué)“什么是正常”凡是跟正常長得不一樣的都算異常。這套思路跟密度估計(jì)有相似之處但也有本質(zhì)區(qū)別。密度估計(jì)比如高斯混合模型是把概率密度建模出來然后設(shè)一個(gè)密度閾值。密度估計(jì)的問題是數(shù)據(jù)一旦高維密度估計(jì)極難做準(zhǔn)而且“低密度區(qū)域”和“異常區(qū)域”并不總是相等。SVDD和OCSVM走的是另一條路不做概率建模直接在特征空間里找一個(gè)幾何邊界讓邊界盡量貼合正常數(shù)據(jù)的分布范圍。1.2 真實(shí)場景里的典型應(yīng)用我接觸到這幾個(gè)方法的場景基本都是“數(shù)據(jù)只有一正類”的業(yè)務(wù)工業(yè)設(shè)備健康管理傳感器持續(xù)采集振動(dòng)、溫度、電流信號(hào)絕大多數(shù)時(shí)間設(shè)備是正常的故障數(shù)據(jù)極其稀少。用單類分類模型對(duì)正常運(yùn)行狀態(tài)建模實(shí)時(shí)打分分?jǐn)?shù)突變就報(bào)警。金融反欺詐正常交易數(shù)據(jù)海量欺詐交易比例極低且攻擊手法不斷變化。用單類分類對(duì)正常用戶行為畫像偏離畫像的交易會(huì)被標(biāo)記出來人工復(fù)核。醫(yī)療異常篩查體檢指標(biāo)中健康人群的數(shù)據(jù)容易獲取而某種罕見病的病例可能只有幾十條。先對(duì)健康樣本建模偏離模型的個(gè)體進(jìn)一步做檢查。圖像缺陷檢測良品圖片很多缺陷圖片各種各樣且新缺陷不斷出現(xiàn)。用單類分類學(xué)“良品的樣子”像素級(jí)或特征級(jí)偏離都算缺陷。在這些場景里SVDD和OCSVM都曾被大量使用。它們不依賴負(fù)樣本、對(duì)高維數(shù)據(jù)有一定容忍度、決策邊界靈活這些都是它們能火這么多年的原因。2. 算法原理深挖2.1 從SVM的間隔最大化說起要說清楚這兩個(gè)算法得先回到SVMSupport Vector Machine支持向量機(jī)的思想源頭。普通二分類SVM在做的事情是在高維特征空間里找到一個(gè)超平面把兩類數(shù)據(jù)分開同時(shí)讓這個(gè)超平面離兩邊最近樣本的距離之和即間隔最大化。間隔越大泛化越好這是統(tǒng)計(jì)學(xué)習(xí)理論里的核心結(jié)論。但單類分類的問題里沒有兩類數(shù)據(jù)只有一個(gè)類怎么套用“間隔最大化”的思路這就派生出了兩種不同的處理策略策略一把坐標(biāo)原點(diǎn)當(dāng)成“虛擬的另一個(gè)類”學(xué)一個(gè)超平面把原點(diǎn)和正常數(shù)據(jù)分開同時(shí)最大化超平面到原點(diǎn)的距離。這就是OCSVM的出發(fā)點(diǎn)。策略二不再找超平面而是找一個(gè)能夠把正常數(shù)據(jù)全部包住的最小超球體讓球邊界盡量貼合數(shù)據(jù)。球心到邊界的半徑就相當(dāng)于SVM里的間隔。這就是SVDD的出發(fā)點(diǎn)。兩種策略都把“正常數(shù)據(jù)”和“某個(gè)人造參照物”做了一次二分類從而巧妙地借用SVM的機(jī)制。你可以這樣理解OCSVM是“以原點(diǎn)為假想敵”SVDD是“以球心為基準(zhǔn)點(diǎn)”。一個(gè)畫線一個(gè)畫圈。2.2 OCSVM的目標(biāo)函數(shù)OCSVM由Sch?lkopf等人于2001年提出。設(shè)正常樣本為 x1, x2, ..., xn通過核函數(shù) φ(x) 把它們映射到高維特征空間。OCSVM想找一個(gè)超平面 w·φ(x) - ρ 0使得大部分正常樣本滿足 w·φ(x) ≥ ρ也就是落在超平面的“正側(cè)”同時(shí)讓原點(diǎn)到超平面的距離 ρ/||w|| 最大。因?yàn)樵c(diǎn)本身就在原點(diǎn)這一側(cè)優(yōu)化目標(biāo)等價(jià)于 min ?||w||2 (1/(νn))∑ξ? - ρ約束條件 w·φ(x?) ≥ ρ - ξ?ξ? ≥ 0對(duì)所有 i這里的 ξ? 是松弛變量允許部分正常樣本越過邊界增強(qiáng)模型對(duì)噪聲的魯棒性。參數(shù) ν 的作用非常關(guān)鍵它同時(shí)控制了兩件事訓(xùn)練樣本中被判定為異常即落在邊界另一側(cè)的樣本比例的上界訓(xùn)練樣本中成為支持向量的樣本比例的下界ν 的取值范圍是 (0, 1]取值越大邊界越緊越多的正常點(diǎn)會(huì)被當(dāng)成異常模型對(duì)正常數(shù)據(jù)的覆蓋越少但對(duì)異常越敏感。實(shí)際項(xiàng)目中 ν 通常在 0.01 到 0.1 之間調(diào)。2.3 SVDD的目標(biāo)函數(shù)SVDD由Tax和Duin于2004年正式提出。它的思路是找一個(gè)最小半徑的超球體讓所有正常樣本都盡量落在球內(nèi)。設(shè)球心為 a半徑為 R優(yōu)化目標(biāo)為 min R2 C ∑ξ?約束條件 ||φ(x?) - a||2 ≤ R2 ξ?ξ? ≥ 0對(duì)所有 i這里 C 是懲罰系數(shù)控制松弛變量的權(quán)重。C 越大模型越不允許樣本落在球外邊界越緊C 越小模型越寬容。直觀理解C 就像彈簧允許少量樣本越過球面換取更緊湊的球體邊界。用拉格朗日對(duì)偶求解后SVDD的對(duì)偶問題可以寫成只包含內(nèi)積的形式。很多教材里總結(jié)過如果核函數(shù)選擇高斯徑向基核SVDD的對(duì)偶解里球心a可以表示為支持向量的線性組合決策函數(shù)只需要計(jì)算新樣本到球心的距離是否小于半徑R。2.4 兩者的對(duì)偶形式對(duì)比比較對(duì)偶問題是最能看清兩者親緣關(guān)系的地方。當(dāng)采用核函數(shù) k(x, y) 時(shí)OCSVM 的對(duì)偶問題中目標(biāo)函數(shù)里有關(guān)于數(shù)據(jù)的一項(xiàng)是一次項(xiàng)∑α? k(x?, x?)并且約束是 ∑α? 10 ≤ α? ≤ 1/(νn)。SVDD 的對(duì)偶問題中同樣有 ∑α? k(x?, x?)但還多了一個(gè)二次項(xiàng)∑∑α?α? k(x?, x?)約束同樣是 ∑α? 10 ≤ α? ≤ C。問題就出在這個(gè)二次項(xiàng)上。OCSVM對(duì)每個(gè)樣本只單獨(dú)看它自己跟自己的內(nèi)積而SVDD要考慮樣本兩兩之間的內(nèi)積。這個(gè)差異看似細(xì)微實(shí)際效果卻有很大區(qū)別。當(dāng)使用高斯核 k(x,x) 恒等于 1 時(shí)OCSVM里那個(gè)一次項(xiàng) ∑α?·1 就變成了常數(shù)對(duì)優(yōu)化沒有實(shí)質(zhì)影響而SVDD里的二次項(xiàng)仍然存在它刻畫的是樣本兩兩之間的相似性結(jié)構(gòu)。換句話說在高斯核下OCSVM實(shí)際上只需要維護(hù)每個(gè)樣本跟其他樣本的關(guān)系來決定誰做支持向量而SVDD則更直接地利用樣本間的距離信息。這個(gè)數(shù)學(xué)差異直接導(dǎo)致了兩個(gè)算法在邊界形狀、參數(shù)敏感度和高維表現(xiàn)上的不同。這也是為什么很多人在自己的數(shù)據(jù)上對(duì)比后發(fā)現(xiàn)兩個(gè)算法結(jié)果經(jīng)常不一致的根本原因。3. 核心差異對(duì)比3.1 幾何直觀一個(gè)找球一個(gè)找平面SVDD是找一個(gè)包圍數(shù)據(jù)的超球體決策邊界是一個(gè)閉合的球面。這個(gè)球面會(huì)對(duì)所有方向一視同仁因?yàn)榍蝮w本身是各向同性的。如果正常數(shù)據(jù)在不同方向上的分布寬度相差很大SVDD的球體邊界就會(huì)在窄方向上多出一些“空余”在寬方向上又顯得太緊繃。OCSVM是找一個(gè)超平面理論上這個(gè)超平面是開放的但因?yàn)橛?jì)算時(shí)加入了核映射實(shí)際決策邊界在原始空間里也可以形成閉合曲線或復(fù)雜曲面。不過OCSVM有一個(gè)內(nèi)在偏向分離超平面經(jīng)過了原點(diǎn)方向。當(dāng)數(shù)據(jù)的均值不在原點(diǎn)附近時(shí)OCSVM會(huì)傾向于把數(shù)據(jù)分布的“朝向”考慮進(jìn)去所以它對(duì)某些非對(duì)稱分布的數(shù)據(jù)反而更友好。打個(gè)比方。SVDD像一個(gè)圓規(guī)畫出一個(gè)盡可能小的圓把點(diǎn)圍住圓一定是圓的。OCSVM像一個(gè)裁紙刀把紙一刀切開這一刀的角度和位置會(huì)被優(yōu)化切完之后朝有數(shù)據(jù)的一側(cè)就是正常區(qū)域。如果你的數(shù)據(jù)是一團(tuán)云圓規(guī)畫圈很合適如果你的數(shù)據(jù)是一條帶方向的長條云裁紙刀一刀切可能更貼合。3.2 參數(shù)體系C和ν的語義差異這是實(shí)際調(diào)參時(shí)最容易困惑的地方。SVDD的懲罰參數(shù) C 和 OCSVM 的 ν 看起來都能控制邊界松緊但語義不完全一樣。SVDD的 C 是用在約束項(xiàng) R2 C∑ξ? 里。它不是直接告訴你“多大比例的點(diǎn)會(huì)落在外邊”而是通過懲罰力度間接控制。要讓多少點(diǎn)落在外邊得先解優(yōu)化問題才知道。C 越大邊界越緊可能導(dǎo)致過擬合把噪聲也學(xué)進(jìn)“正常范圍”的邊緣C 越小邊界越松可能把真正的異常也包進(jìn)“正常范圍”。OCSVM的 ν 有一個(gè)非常優(yōu)雅的性質(zhì)它直接給出訓(xùn)練集中異常點(diǎn)比例的上界和支持向量比例的下界。也就是說你設(shè)定 ν 0.05算法就會(huì)自動(dòng)調(diào)整邊界讓至多5%的訓(xùn)練樣本落在邊界的另一側(cè)。這個(gè)可解釋性在工程里非常有用因?yàn)闃I(yè)務(wù)方往往能給出“我大概能接受多少比例的誤報(bào)”這種需求。實(shí)際項(xiàng)目中我會(huì)先問自己我是要控制錯(cuò)誤的預(yù)算還是只想要一個(gè)穩(wěn)健的邊界要控制錯(cuò)誤預(yù)算優(yōu)先用OCSVM的ν想要一個(gè)邊界盡可能緊湊、可解釋的幾何包絡(luò)就考慮SVDD。當(dāng)然這只是初始傾向最終要看驗(yàn)證集上的表現(xiàn)。3.3 高斯核下的關(guān)系很多人聽說過一個(gè)說法“高斯核下SVDD和OCSVM是等價(jià)的”。這個(gè)說法并不完全準(zhǔn)確。準(zhǔn)確的說法是當(dāng)數(shù)據(jù)在特征空間中的均值被歸一化到原點(diǎn)附近或者核函數(shù)滿足特定條件時(shí)兩者的決策函數(shù)會(huì)趨同。但真實(shí)數(shù)據(jù)很難保證這個(gè)條件所以實(shí)際結(jié)果往往有差異。具體來說高斯核 k(x,y) exp(-γ||x-y||2)有 k(x,x) 1所以SVDD對(duì)偶問題中的一次項(xiàng)變成了常數(shù)對(duì)優(yōu)化方向影響減弱OCSVM同樣如此。兩者差別就主要集中在SVDD多出來的那個(gè)二次項(xiàng)上。這個(gè)二次項(xiàng)使得SVDD對(duì)數(shù)據(jù)點(diǎn)之間的相對(duì)距離更加敏感。換句話說SVDD更像是在“學(xué)習(xí)數(shù)據(jù)的形狀”而OCSVM更側(cè)重于“找數(shù)據(jù)的支撐方向”。一個(gè)經(jīng)驗(yàn)結(jié)論當(dāng)數(shù)據(jù)分布比較球形、且沒有明顯的偏好方向時(shí)SVDD和OCSVM表現(xiàn)接近SVDD的球狀假設(shè)也不會(huì)造成太大偏差當(dāng)數(shù)據(jù)分布存在明顯的橢球形狀或方向性時(shí)OCSVM往往能利用超平面的方向適應(yīng)性獲得更好的邊界而SVDD的球狀邊界會(huì)顯得力不從心。3.4 計(jì)算復(fù)雜度與可擴(kuò)展性兩者都涉及核矩陣的計(jì)算訓(xùn)練階段復(fù)雜度都是 O(n2) 到 O(n3) 級(jí)別n是訓(xùn)練樣本數(shù)。樣本數(shù)量到幾萬級(jí)別時(shí)直接訓(xùn)練會(huì)非常吃力。在線推斷階段兩者都需要計(jì)算新樣本與支持向量的核函數(shù)值復(fù)雜度與支持向量數(shù)量成正比。SVDD的球心表示通常更緊湊一些因?yàn)樗阉兄С窒蛄康木€性組合聚成一個(gè)球心向量OCSVM的超平面雖然也由支持向量線性表示但它沒有一個(gè)像“球心”這樣直觀的幾何量。所以SVDD在存儲(chǔ)和推理效率上偶爾有一點(diǎn)優(yōu)勢(shì)但差距不大SVM家族方法都不太擅長處理超大規(guī)模數(shù)據(jù)。數(shù)據(jù)量太大時(shí)一般會(huì)考慮采樣、Mini-batch優(yōu)化或者換用基于深度的異常檢測方法。4. 實(shí)戰(zhàn)工具、代碼與參數(shù)調(diào)優(yōu)4.1 工具體選型Python生態(tài)里OCSVM直接可以用sklearn的sklearn.svm.OneClassSVM非常方便。SVDD則沒有集成到sklearn主庫中通常用第三方實(shí)現(xiàn)比如pyod庫里有OCSVM模型但沒有內(nèi)置SVDD。如果需要使用SVDD常見的選擇是自己按對(duì)偶問題實(shí)現(xiàn)如果你熟悉凸優(yōu)化或者SMO算法用一些開源庫如svdd相關(guān)的GitHub項(xiàng)目用MATLAB的dd_tools工具箱很多早期文獻(xiàn)用這個(gè)我建議你在動(dòng)手前想清楚你的核心目標(biāo)是搞懂算法、復(fù)現(xiàn)論文還是快速落地一個(gè)基線模型?？焖俾涞豋CSVM sklearn是最省事的路徑細(xì)致研究邊界自己實(shí)現(xiàn)SVDD也不難因?yàn)樗膶?duì)偶形式很規(guī)整。下面我給一個(gè)簡化的SVDD實(shí)現(xiàn)思路。先說好這個(gè)實(shí)現(xiàn)主要用來理解原理工程上要追求性能的話還是推薦集成更成熟的庫或者用SMO優(yōu)化。4.2 用sklearn快速搭一個(gè)OCSVM基線假設(shè)你已經(jīng)有一批正常樣本保存在X_train中每個(gè)樣本是d維特征向量。下面是用OCSVM建模并做預(yù)測的標(biāo)準(zhǔn)流程import numpy as np from sklearn.svm import OneClassSVM from sklearn.preprocessing import StandardScaler # 1. 標(biāo)準(zhǔn)化 scaler StandardScaler() X_scaled scaler.fit_transform(X_train) # 2. 初始化模型 model OneClassSVM( kernelrbf, gamma0.1, # 這個(gè)參數(shù)很關(guān)鍵后面專門講 nu0.05 # 預(yù)期異常比例上界 ) # 3. 訓(xùn)練 model.fit(X_scaled) # 4. 預(yù)測返回1表示正常-1表示異常 y_pred model.predict(X_scaled) # 5. 獲取異常得分距離決策邊界的帶符號(hào)距離 score model.decision_function(X_scaled)這里有個(gè)我反復(fù)踩過的坑decision_function的分?jǐn)?shù)正負(fù)號(hào)。在sklearn的OneClassSVM里正數(shù)表示在邊界內(nèi)側(cè)負(fù)數(shù)表示邊界外側(cè)。但具體數(shù)值的大小并不直接等于距離只是有單調(diào)關(guān)系。后續(xù)如果要做閾值調(diào)整建議直接用這個(gè)分?jǐn)?shù)排序而不是硬套某個(gè)固定閾值。4.3 自己實(shí)現(xiàn)一個(gè)簡單的SVDDSVDD的對(duì)偶問題可以寫成一個(gè)帶約束的二次規(guī)劃。為了簡化我直接給出一個(gè)基于拉格朗日對(duì)偶的實(shí)現(xiàn)輪廓import numpy as np from scipy.optimize import minimize def rbf_kernel(X, Y, gamma1.0): # 高斯核矩陣 sq_dist np.sum(X**2, axis1)[:, None] np.sum(Y**2, axis1)[None, :] - 2 * X Y.T return np.exp(-gamma * np.clip(sq_dist, 0, None)) def train_svdd(X, C1.0, gamma1.0): n X.shape[0] K rbf_kernel(X, X, gamma) # 目標(biāo)函數(shù): 0.5 * sum_ij alpha_i alpha_j K_ij - sum_i alpha_i K_ii # scipy minimize默認(rèn)求最小值所以取負(fù)號(hào)的那個(gè)對(duì)偶目標(biāo)改成求 min # 實(shí)際最小化: 0.5 * alpha^T K alpha - sum(alpha) def objective(alpha): return 0.5 * alpha K alpha - np.sum(alpha) # 約束: sum alpha_i 1, 0 alpha_i C constraints [{type: eq, fun: lambda a: np.sum(a) - 1}] bounds [(0, C)] * n # 初始化 alpha0 np.ones(n) / n res minimize( objective, alpha0, methodSLSQP, boundsbounds, constraintsconstraints, options{maxiter: 200} ) alpha res.x # 計(jì)算球心在特征空間中的表示如果要用核函數(shù)計(jì)算距離需要保存支持向量 sv_idx np.where(alpha 1e-6)[0] # 計(jì)算半徑 R^2: 任選一個(gè)支持向量計(jì)算它到球心的距離 alpha_sv alpha[sv_idx] X_sv X[sv_idx] # K(x_sv, x_sv) diag_sv np.sum(alpha_sv[:, None] * alpha_sv[None, :] * rbf_kernel(X_sv, X_sv, gamma)) # 實(shí)際上 R^2 可以用公式計(jì)算這里省略細(xì)節(jié) # 預(yù)測時(shí)比較新樣本到球心距離和半徑 return alpha, sv_idx需要注意的是這種基于scipy.optimize.minimize的通用QP解法在樣本量大時(shí)非常慢只能用來跑幾十到幾百個(gè)樣本的小實(shí)驗(yàn)。工程上SVDD一般用SMO序列最小優(yōu)化或者隨機(jī)梯度下降來優(yōu)化。另外上面代碼只是為了展示對(duì)偶問題怎么落到優(yōu)化函數(shù)上真正復(fù)現(xiàn)SVDD還需要仔細(xì)處理拉格朗日乘子的初始化和邊界條件。如果你不太想自己敲這些數(shù)學(xué)我建議直接用比較成熟的第三方實(shí)現(xiàn)。GitHub上搜索SVDD可以找到一些實(shí)現(xiàn)有些基于PyTorch支持GPU加速。但一定要自己先讀一下代碼確認(rèn)它實(shí)現(xiàn)了標(biāo)準(zhǔn)SVDD而不是簡化版本否則結(jié)果會(huì)有偏差。4.4 關(guān)鍵參數(shù)gamma和nu的調(diào)優(yōu)說到調(diào)參gamma和nu是兩個(gè)最核心的旋鈕。很多人上來就默認(rèn)gamma 1/n_features然后發(fā)現(xiàn)模型一團(tuán)糟。實(shí)際上gamma的合理范圍跟數(shù)據(jù)的尺度、樣本量、維度都有關(guān)系。gamma過大高斯核只對(duì)非常近的點(diǎn)敏感決策邊界會(huì)變得非常復(fù)雜容易過擬合把正常數(shù)據(jù)邊界畫成碎片。gamma過小高斯核退化成一個(gè)接近常數(shù)的核所有點(diǎn)之間的相似度都差不多模型學(xué)不到有效結(jié)構(gòu)邊界會(huì)非常簡單。實(shí)踐中我會(huì)用網(wǎng)格搜索配合驗(yàn)證集來做選擇。驗(yàn)證集上沒有標(biāo)準(zhǔn)答案因?yàn)閱晤惙诸悰]有真實(shí)標(biāo)簽所以更常見的做法是你有少量標(biāo)記的異常樣本但不足以訓(xùn)練模型把這些異常樣本單獨(dú)留出來作為驗(yàn)證集看模型在“拒絕異?！鄙系谋憩F(xiàn)。用AUC、F1k這類指標(biāo)來選參數(shù)會(huì)比純粹看訓(xùn)練集上的邊界緊湊度靠譜得多。nu的選擇相對(duì)直觀。你先根據(jù)業(yè)務(wù)容忍度估算一個(gè)“異常比例上界”比如誤報(bào)率不能超過3%那就設(shè)定nu在0.03附近。然后觀察驗(yàn)證集上的精確率和召回率再微調(diào)。有一點(diǎn)要注意nu設(shè)得很小時(shí)模型會(huì)傾向于把所有訓(xùn)練數(shù)據(jù)都包進(jìn)正常邊界決策邊界離數(shù)據(jù)很遠(yuǎn)這時(shí)候?qū)Ξ惓颖镜拿舾卸葧?huì)下降實(shí)際就是“寧可放過不可誤殺”的傾向。4.5 對(duì)比實(shí)驗(yàn)的評(píng)估方法做SVDD和OCSVM的對(duì)比實(shí)驗(yàn)時(shí)很多新手直接用準(zhǔn)確率。在極度不平衡的數(shù)據(jù)上準(zhǔn)確率毫無意義。我見到的比較規(guī)范的評(píng)估方式把正常樣本分成訓(xùn)練集和驗(yàn)證集訓(xùn)練集只用來建模驗(yàn)證集用來調(diào)參。準(zhǔn)備少量真實(shí)異常樣本作為測試集不參與訓(xùn)練。計(jì)算每個(gè)樣本的異常得分后用AUCROC曲線下面積評(píng)估排序能力。如果要設(shè)閾值用Precisionk或者F1-beta這類指標(biāo)。在實(shí)驗(yàn)報(bào)告里我通常同時(shí)報(bào)告正常樣本的召回率模型能覆蓋多少正常樣本和異常樣本的命中率模型能抓出多少異常。這兩個(gè)指標(biāo)之間存在權(quán)衡參數(shù)的選取本質(zhì)上就是在找這個(gè)權(quán)衡的平衡點(diǎn)。5. 真實(shí)數(shù)據(jù)上的表現(xiàn)差異與原因分析5.1 實(shí)驗(yàn)設(shè)置為了說明問題我用一個(gè)仿真數(shù)據(jù)做過對(duì)比實(shí)驗(yàn)。數(shù)據(jù)分三種形狀第一組是各向同性的高斯團(tuán)正常數(shù)據(jù)均勻分布在球體周圍第二組是帶方向性的長條高斯分布正常數(shù)據(jù)形成明顯橢球第三組是環(huán)形分布中心區(qū)域基本沒有數(shù)據(jù)。三組數(shù)據(jù)各生成2000個(gè)正常樣本作為訓(xùn)練和驗(yàn)證另生成200個(gè)真實(shí)異常樣本從遠(yuǎn)離正常區(qū)域的均勻分布中采樣作為測試。兩個(gè)模型都使用RBF核。OCSVM的nu設(shè)置為0.05SVDD的C通過交叉驗(yàn)證在[0.01, 0.1, 1, 10]里選。gamma在兩組模型中都從[0.01, 0.1, 1, 10]里網(wǎng)格搜索。評(píng)估指標(biāo)用AUC。5.2 結(jié)果觀察第一組各向同性高斯團(tuán)上SVDD和OCSVM的AUC非常接近差距在0.5%以內(nèi)。這符合理論預(yù)期數(shù)據(jù)分布越接近球?qū)ΨQSVDD的球假設(shè)越不受懲罰OCSVM的超平面也能很好地工作。第二組帶方向性的橢圓分布上OCSVM明顯更好AUC高了大概4到6個(gè)百分點(diǎn)。原因在于OCSVM的超平面可以適應(yīng)數(shù)據(jù)的主方向邊界在長軸方向?qū)捤伞⒍梯S方向緊湊而SVDD的球體邊界會(huì)在這個(gè)橢圓分布的長軸方向上出現(xiàn)很大的“空洞”把一部分異常樣本也包進(jìn)了球內(nèi)。第三組環(huán)形分布上SVDD的表現(xiàn)反而更好。環(huán)形分布的中心是空的OCSVM由于超平面必須經(jīng)過原點(diǎn)方向在特征空間中把原點(diǎn)和數(shù)據(jù)分開會(huì)把環(huán)形中心錯(cuò)誤地判為正常SVDD則能把整個(gè)數(shù)據(jù)區(qū)域圍成一個(gè)“球形殼”外的區(qū)域中心空洞得以保留模型對(duì)中心區(qū)域樣本的異常敏感度更高。當(dāng)然這個(gè)優(yōu)勢(shì)的前提是支持向量集中在環(huán)的外側(cè)球心也在環(huán)中心附近。5.3 背后的關(guān)鍵影響因素從這幾個(gè)實(shí)驗(yàn)結(jié)果里我總結(jié)出影響兩者選擇的三個(gè)關(guān)鍵因素?cái)?shù)據(jù)分布是否近似球?qū)ΨQ。越接近球?qū)ΨQSVDD越占優(yōu)越有方向性O(shè)CSVM越靈活。數(shù)據(jù)中的“空洞”結(jié)構(gòu)。如果正常數(shù)據(jù)包圍著一塊空白區(qū)域SVDD能更好地保留這個(gè)空洞OCSVM可能直接把這一塊也看成正常。高維空間中的距離集中效應(yīng)。在高維數(shù)據(jù)里樣本之間的距離趨向于均勻化SVDD對(duì)距離的二次項(xiàng)利用可能退化OCSVM對(duì)方向的利用更穩(wěn)健。我實(shí)測過幾十到幾百維的特征OCSVM在高維上的魯棒性確實(shí)更好SVDD在高維上更容易出現(xiàn)邊界退化。但這都不是絕對(duì)的。真實(shí)業(yè)務(wù)數(shù)據(jù)往往混合了多種效應(yīng)所以我始終建議在你自己數(shù)據(jù)上做一次小規(guī)模對(duì)比實(shí)驗(yàn)再下結(jié)論。6. 常見問題與避坑指南6.1 標(biāo)準(zhǔn)化不是可選項(xiàng)是必選項(xiàng)SVDD和OCSVM都非常依賴特征尺度。RBF核里的距離是歐氏距離如果某個(gè)特征的數(shù)值范圍是0到10000另一個(gè)是0到1距離計(jì)算完全被第一個(gè)特征主導(dǎo)模型基本瞎了。標(biāo)準(zhǔn)化StandardScaler或MinMaxScaler能避免這個(gè)問題。但我提醒一句標(biāo)準(zhǔn)化必須在訓(xùn)練集上做然后拿著訓(xùn)練集的均值和方差去變換驗(yàn)證集和測試集。6.2 “無負(fù)樣本”不代表沒有標(biāo)簽可用很多人陷入了“單類分類不能使用任何負(fù)樣本”的教條。實(shí)際上哪怕只有幾十條異常樣本把它們作為驗(yàn)證集用來選參數(shù)、選模型都是完全合理且推薦的。單類分類的訓(xùn)練過程確實(shí)只用正常樣本但評(píng)估和調(diào)參環(huán)節(jié)引入少量異常樣本能顯著提升模型效果。6.3 別把普通異常檢測的評(píng)測指標(biāo)照搬過來我在項(xiàng)目里常見的問題甲方要求報(bào)告“準(zhǔn)確率”然后發(fā)現(xiàn)不管怎么調(diào)參準(zhǔn)確率都超過95%因?yàn)楫惓１壤挥?%。這個(gè)指標(biāo)沒有意義。正確做法是報(bào)告在固定誤報(bào)率下的檢出率或者直接報(bào)告AUC。6.4 核函數(shù)不是越多越好SVDD和OCSVM常用RBF核因?yàn)樗鼙平我庑螤畹倪吔?。線性核相當(dāng)于只在原始空間畫一個(gè)超平面/球面表達(dá)能力有限多項(xiàng)式核的階數(shù)不好控制容易過擬合。我建議從一開始就用RBF核把精力花在調(diào)gamma上而不是折騰核函數(shù)類型。6.5 樣本量太少怎么辦如果你的正常樣本只有幾十條SVDD和OCSVM的效果都不會(huì)太好因?yàn)樗鼈儽举|(zhì)上是基于距離的方法需要足夠的支持向量來刻畫邊界。這種情況下我建議先考慮數(shù)據(jù)增強(qiáng)、特征降維或者使用基于深度自編碼器的方法來做異常打分然后再考慮單類分類模型。6.6 決策邊界的可視化調(diào)試在二維數(shù)據(jù)上我強(qiáng)烈建議把決策邊界可視化出來看一版。sklearn的OneClassSVM可以配合matplotlib畫等高線圖能直觀看到邊界是否合理。SVDD同樣可以可視化出球心和半徑?？梢暬瘯?huì)比單純看指標(biāo)更容易發(fā)現(xiàn)問題比如邊界在某個(gè)方向上明顯空洞、或者模型把少數(shù)正常樣本排得太靠外了。7. 選型建議與個(gè)人體會(huì)7.1 我的選擇框架說了這么多給出一個(gè)實(shí)際可操作的選型建議。我會(huì)按下面的順序判斷如果特征維度很高比如大于100優(yōu)先OCSVM它對(duì)方向性結(jié)構(gòu)更穩(wěn)健。如果數(shù)據(jù)分布近似球?qū)ΨQ且希望決策邊界是閉合的、每個(gè)方向都公平優(yōu)先SVDD。如果業(yè)務(wù)方需要“我大概能接受多少誤報(bào)”這類的可解釋參數(shù)優(yōu)先OCSVM因?yàn)棣椭苯訉?duì)應(yīng)異常比例上界。如果數(shù)據(jù)中存在明顯的空洞結(jié)構(gòu)正常數(shù)據(jù)環(huán)繞一塊空白區(qū)域優(yōu)先SVDD。如果兩個(gè)模型在驗(yàn)證集上AUC差距很小選更簡單的那個(gè)——多數(shù)情況下是OCSVM因?yàn)樗衧klearn原生支持工程成本低很多。7.2 最后再分享一個(gè)小技巧我經(jīng)常遇到一種情況OCSVM和SVDD在同一個(gè)數(shù)據(jù)集上一個(gè)效果好一個(gè)差。這并不說明某個(gè)算法“更好”而是它們對(duì)數(shù)據(jù)分布的隱含假設(shè)不同。所以與其糾結(jié)選哪一個(gè)不如把兩個(gè)模型的異常得分融合一下。最簡單的做法是把兩個(gè)得分分別做分位數(shù)歸一化然后取加權(quán)平均或者取這兩個(gè)得分的最小值也就是“只要有一個(gè)模型認(rèn)為是異常就標(biāo)記為異?！薄＿@個(gè)方法在我做過的好幾個(gè)故障檢測項(xiàng)目里都有效融合后的AUC通常不會(huì)低于表現(xiàn)較好的那一個(gè)。另外如果你想深挖這兩個(gè)算法的理論基礎(chǔ)建議讀一讀Sch?lkopf等人在2001年發(fā)表的關(guān)于單類SVM的論文以及Tax和Duin的SVDD原始文獻(xiàn)。兩篇論文都不長但對(duì)理解算法邊界非常有用。看懂對(duì)偶形式的那一刻你就能明白它們?yōu)槭裁词恰巴串惲鳌钡男值芩惴恕? SVDD與OCSVM深度對(duì)比：單類分類算法原理、差異與選型實(shí)踐
做異常檢測這幾年SVDD和OCSVM這兩個(gè)名字幾乎每次都一起出現(xiàn)。很多人問過我這兩個(gè)到底什么區(qū)別選哪個(gè)好為什么我換了數(shù)據(jù)集之后結(jié)果“風(fēng)水輪流轉(zhuǎn)”說實(shí)話這兩個(gè)算法確實(shí)長得像親兄弟都出身SVM家族都能做單類分類One-Class Classification甚至在高斯核下數(shù)學(xué)形式只有一線之隔。但這“一線之隔”恰恰決定了它們?cè)谡鎸?shí)數(shù)據(jù)上的表現(xiàn)差異。這篇文章我就把這兩個(gè)方法的原理、差異、實(shí)操細(xì)節(jié)和踩坑經(jīng)驗(yàn)一次性講清楚希望能幫你少走彎路。OCSVMOne-Class Support Vector Machine單類支持向量機(jī)和SVDDSupport Vector Data Description支持向量數(shù)據(jù)描述都是解決“只有正常樣本沒有異常樣本”這類問題的經(jīng)典方法。它們不需要你提供反例只需要從一堆正常數(shù)據(jù)里學(xué)出一個(gè)邊界邊界之外的東西就被判定為異常。這種范式在工業(yè)質(zhì)檢、故障診斷、金融反欺詐、醫(yī)療異常篩查里非常實(shí)用。我最早接觸這對(duì)算法是在一個(gè)軸承故障檢測項(xiàng)目里當(dāng)時(shí)手里只有正常狀態(tài)下的振動(dòng)數(shù)據(jù)故障數(shù)據(jù)少得可憐傳統(tǒng)分類器完全沒法訓(xùn)練。后來換成單類分類的思路問題才豁然開朗。這篇文章適合正在做異常檢測、新穎性檢測、工業(yè)健康管理或者想做數(shù)據(jù)分布邊界建模的同學(xué)。我會(huì)從問題定義講起逐步深入到原理推導(dǎo)再落到代碼實(shí)操和調(diào)參經(jīng)驗(yàn)。不管你是剛接觸單類分類的新手還是已經(jīng)在用OCSVM但想搞清楚SVDD差異的老手這篇都能給你一些實(shí)實(shí)在在的參考。1. 問題定義與應(yīng)用場景1.1 單類分類到底在解決什么問題先說一個(gè)反直覺的事情很多異常檢測任務(wù)其實(shí)沒有“異常樣本”可以訓(xùn)練?！爱惓！边@個(gè)概念在數(shù)據(jù)采集階段往往太模糊、太罕見、太昂貴。比如生產(chǎn)線上某臺(tái)設(shè)備還沒壞你怎么采到“壞了”的數(shù)據(jù)就算采到了故障模式可能有一百種根本采不全。這種場景下監(jiān)督學(xué)習(xí)沒法做半監(jiān)督也缺一半材料只能做單類分類。單類分類的設(shè)定很純粹訓(xùn)練階段只給你一類樣本通常是正常樣本你要學(xué)出一個(gè)“正常范圍”的邊界。推理階段落在邊界內(nèi)的判為正常落在邊界外的判為異常。用一句更通俗的話講它不是在學(xué)“什么是異?！倍窃趯W(xué)“什么是正常”凡是跟正常長得不一樣的都算異常。這套思路跟密度估計(jì)有相似之處但也有本質(zhì)區(qū)別。密度估計(jì)比如高斯混合模型是把概率密度建模出來然后設(shè)一個(gè)密度閾值。密度估計(jì)的問題是數(shù)據(jù)一旦高維密度估計(jì)極難做準(zhǔn)而且“低密度區(qū)域”和“異常區(qū)域”并不總是相等。SVDD和OCSVM走的是另一條路不做概率建模直接在特征空間里找一個(gè)幾何邊界讓邊界盡量貼合正常數(shù)據(jù)的分布范圍。1.2 真實(shí)場景里的典型應(yīng)用我接觸到這幾個(gè)方法的場景基本都是“數(shù)據(jù)只有一正類”的業(yè)務(wù)工業(yè)設(shè)備健康管理傳感器持續(xù)采集振動(dòng)、溫度、電流信號(hào)絕大多數(shù)時(shí)間設(shè)備是正常的故障數(shù)據(jù)極其稀少。用單類分類模型對(duì)正常運(yùn)行狀態(tài)建模實(shí)時(shí)打分分?jǐn)?shù)突變就報(bào)警。金融反欺詐正常交易數(shù)據(jù)海量欺詐交易比例極低且攻擊手法不斷變化。用單類分類對(duì)正常用戶行為畫像偏離畫像的交易會(huì)被標(biāo)記出來人工復(fù)核。醫(yī)療異常篩查體檢指標(biāo)中健康人群的數(shù)據(jù)容易獲取而某種罕見病的病例可能只有幾十條。先對(duì)健康樣本建模偏離模型的個(gè)體進(jìn)一步做檢查。圖像缺陷檢測良品圖片很多缺陷圖片各種各樣且新缺陷不斷出現(xiàn)。用單類分類學(xué)“良品的樣子”像素級(jí)或特征級(jí)偏離都算缺陷。在這些場景里SVDD和OCSVM都曾被大量使用。它們不依賴負(fù)樣本、對(duì)高維數(shù)據(jù)有一定容忍度、決策邊界靈活這些都是它們能火這么多年的原因。2. 算法原理深挖2.1 從SVM的間隔最大化說起要說清楚這兩個(gè)算法得先回到SVMSupport Vector Machine支持向量機(jī)的思想源頭。普通二分類SVM在做的事情是在高維特征空間里找到一個(gè)超平面把兩類數(shù)據(jù)分開同時(shí)讓這個(gè)超平面離兩邊最近樣本的距離之和即間隔最大化。間隔越大泛化越好這是統(tǒng)計(jì)學(xué)習(xí)理論里的核心結(jié)論。但單類分類的問題里沒有兩類數(shù)據(jù)只有一個(gè)類怎么套用“間隔最大化”的思路這就派生出了兩種不同的處理策略策略一把坐標(biāo)原點(diǎn)當(dāng)成“虛擬的另一個(gè)類”學(xué)一個(gè)超平面把原點(diǎn)和正常數(shù)據(jù)分開同時(shí)最大化超平面到原點(diǎn)的距離。這就是OCSVM的出發(fā)點(diǎn)。策略二不再找超平面而是找一個(gè)能夠把正常數(shù)據(jù)全部包住的最小超球體讓球邊界盡量貼合數(shù)據(jù)。球心到邊界的半徑就相當(dāng)于SVM里的間隔。這就是SVDD的出發(fā)點(diǎn)。兩種策略都把“正常數(shù)據(jù)”和“某個(gè)人造參照物”做了一次二分類從而巧妙地借用SVM的機(jī)制。你可以這樣理解OCSVM是“以原點(diǎn)為假想敵”SVDD是“以球心為基準(zhǔn)點(diǎn)”。一個(gè)畫線一個(gè)畫圈。2.2 OCSVM的目標(biāo)函數(shù)OCSVM由Sch?lkopf等人于2001年提出。設(shè)正常樣本為 x1, x2, ..., xn通過核函數(shù) φ(x) 把它們映射到高維特征空間。OCSVM想找一個(gè)超平面 w·φ(x) - ρ 0使得大部分正常樣本滿足 w·φ(x) ≥ ρ也就是落在超平面的“正側(cè)”同時(shí)讓原點(diǎn)到超平面的距離 ρ/||w|| 最大。因?yàn)樵c(diǎn)本身就在原點(diǎn)這一側(cè)優(yōu)化目標(biāo)等價(jià)于 min ?||w||2 (1/(νn))∑ξ? - ρ約束條件 w·φ(x?) ≥ ρ - ξ?ξ? ≥ 0對(duì)所有 i這里的 ξ? 是松弛變量允許部分正常樣本越過邊界增強(qiáng)模型對(duì)噪聲的魯棒性。參數(shù) ν 的作用非常關(guān)鍵它同時(shí)控制了兩件事訓(xùn)練樣本中被判定為異常即落在邊界另一側(cè)的樣本比例的上界訓(xùn)練樣本中成為支持向量的樣本比例的下界ν 的取值范圍是 (0, 1]取值越大邊界越緊越多的正常點(diǎn)會(huì)被當(dāng)成異常模型對(duì)正常數(shù)據(jù)的覆蓋越少但對(duì)異常越敏感。實(shí)際項(xiàng)目中 ν 通常在 0.01 到 0.1 之間調(diào)。2.3 SVDD的目標(biāo)函數(shù)SVDD由Tax和Duin于2004年正式提出。它的思路是找一個(gè)最小半徑的超球體讓所有正常樣本都盡量落在球內(nèi)。設(shè)球心為 a半徑為 R優(yōu)化目標(biāo)為 min R2 C ∑ξ?約束條件 ||φ(x?) - a||2 ≤ R2 ξ?ξ? ≥ 0對(duì)所有 i這里 C 是懲罰系數(shù)控制松弛變量的權(quán)重。C 越大模型越不允許樣本落在球外邊界越緊C 越小模型越寬容。直觀理解C 就像彈簧允許少量樣本越過球面換取更緊湊的球體邊界。用拉格朗日對(duì)偶求解后SVDD的對(duì)偶問題可以寫成只包含內(nèi)積的形式。很多教材里總結(jié)過如果核函數(shù)選擇高斯徑向基核SVDD的對(duì)偶解里球心a可以表示為支持向量的線性組合決策函數(shù)只需要計(jì)算新樣本到球心的距離是否小于半徑R。2.4 兩者的對(duì)偶形式對(duì)比比較對(duì)偶問題是最能看清兩者親緣關(guān)系的地方。當(dāng)采用核函數(shù) k(x, y) 時(shí)OCSVM 的對(duì)偶問題中目標(biāo)函數(shù)里有關(guān)于數(shù)據(jù)的一項(xiàng)是一次項(xiàng)∑α? k(x?, x?)并且約束是 ∑α? 10 ≤ α? ≤ 1/(νn)。SVDD 的對(duì)偶問題中同樣有 ∑α? k(x?, x?)但還多了一個(gè)二次項(xiàng)∑∑α?α? k(x?, x?)約束同樣是 ∑α? 10 ≤ α? ≤ C。問題就出在這個(gè)二次項(xiàng)上。OCSVM對(duì)每個(gè)樣本只單獨(dú)看它自己跟自己的內(nèi)積而SVDD要考慮樣本兩兩之間的內(nèi)積。這個(gè)差異看似細(xì)微實(shí)際效果卻有很大區(qū)別。當(dāng)使用高斯核 k(x,x) 恒等于 1 時(shí)OCSVM里那個(gè)一次項(xiàng) ∑α?·1 就變成了常數(shù)對(duì)優(yōu)化沒有實(shí)質(zhì)影響而SVDD里的二次項(xiàng)仍然存在它刻畫的是樣本兩兩之間的相似性結(jié)構(gòu)。換句話說在高斯核下OCSVM實(shí)際上只需要維護(hù)每個(gè)樣本跟其他樣本的關(guān)系來決定誰做支持向量而SVDD則更直接地利用樣本間的距離信息。這個(gè)數(shù)學(xué)差異直接導(dǎo)致了兩個(gè)算法在邊界形狀、參數(shù)敏感度和高維表現(xiàn)上的不同。這也是為什么很多人在自己的數(shù)據(jù)上對(duì)比后發(fā)現(xiàn)兩個(gè)算法結(jié)果經(jīng)常不一致的根本原因。3. 核心差異對(duì)比3.1 幾何直觀一個(gè)找球一個(gè)找平面SVDD是找一個(gè)包圍數(shù)據(jù)的超球體決策邊界是一個(gè)閉合的球面。這個(gè)球面會(huì)對(duì)所有方向一視同仁因?yàn)榍蝮w本身是各向同性的。如果正常數(shù)據(jù)在不同方向上的分布寬度相差很大SVDD的球體邊界就會(huì)在窄方向上多出一些“空余”在寬方向上又顯得太緊繃。OCSVM是找一個(gè)超平面理論上這個(gè)超平面是開放的但因?yàn)橛?jì)算時(shí)加入了核映射實(shí)際決策邊界在原始空間里也可以形成閉合曲線或復(fù)雜曲面。不過OCSVM有一個(gè)內(nèi)在偏向分離超平面經(jīng)過了原點(diǎn)方向。當(dāng)數(shù)據(jù)的均值不在原點(diǎn)附近時(shí)OCSVM會(huì)傾向于把數(shù)據(jù)分布的“朝向”考慮進(jìn)去所以它對(duì)某些非對(duì)稱分布的數(shù)據(jù)反而更友好。打個(gè)比方。SVDD像一個(gè)圓規(guī)畫出一個(gè)盡可能小的圓把點(diǎn)圍住圓一定是圓的。OCSVM像一個(gè)裁紙刀把紙一刀切開這一刀的角度和位置會(huì)被優(yōu)化切完之后朝有數(shù)據(jù)的一側(cè)就是正常區(qū)域。如果你的數(shù)據(jù)是一團(tuán)云圓規(guī)畫圈很合適如果你的數(shù)據(jù)是一條帶方向的長條云裁紙刀一刀切可能更貼合。3.2 參數(shù)體系C和ν的語義差異這是實(shí)際調(diào)參時(shí)最容易困惑的地方。SVDD的懲罰參數(shù) C 和 OCSVM 的 ν 看起來都能控制邊界松緊但語義不完全一樣。SVDD的 C 是用在約束項(xiàng) R2 C∑ξ? 里。它不是直接告訴你“多大比例的點(diǎn)會(huì)落在外邊”而是通過懲罰力度間接控制。要讓多少點(diǎn)落在外邊得先解優(yōu)化問題才知道。C 越大邊界越緊可能導(dǎo)致過擬合把噪聲也學(xué)進(jìn)“正常范圍”的邊緣C 越小邊界越松可能把真正的異常也包進(jìn)“正常范圍”。OCSVM的 ν 有一個(gè)非常優(yōu)雅的性質(zhì)它直接給出訓(xùn)練集中異常點(diǎn)比例的上界和支持向量比例的下界。也就是說你設(shè)定 ν 0.05算法就會(huì)自動(dòng)調(diào)整邊界讓至多5%的訓(xùn)練樣本落在邊界的另一側(cè)。這個(gè)可解釋性在工程里非常有用因?yàn)闃I(yè)務(wù)方往往能給出“我大概能接受多少比例的誤報(bào)”這種需求。實(shí)際項(xiàng)目中我會(huì)先問自己我是要控制錯(cuò)誤的預(yù)算還是只想要一個(gè)穩(wěn)健的邊界要控制錯(cuò)誤預(yù)算優(yōu)先用OCSVM的ν想要一個(gè)邊界盡可能緊湊、可解釋的幾何包絡(luò)就考慮SVDD。當(dāng)然這只是初始傾向最終要看驗(yàn)證集上的表現(xiàn)。3.3 高斯核下的關(guān)系很多人聽說過一個(gè)說法“高斯核下SVDD和OCSVM是等價(jià)的”。這個(gè)說法并不完全準(zhǔn)確。準(zhǔn)確的說法是當(dāng)數(shù)據(jù)在特征空間中的均值被歸一化到原點(diǎn)附近或者核函數(shù)滿足特定條件時(shí)兩者的決策函數(shù)會(huì)趨同。但真實(shí)數(shù)據(jù)很難保證這個(gè)條件所以實(shí)際結(jié)果往往有差異。具體來說高斯核 k(x,y) exp(-γ||x-y||2)有 k(x,x) 1所以SVDD對(duì)偶問題中的一次項(xiàng)變成了常數(shù)對(duì)優(yōu)化方向影響減弱OCSVM同樣如此。兩者差別就主要集中在SVDD多出來的那個(gè)二次項(xiàng)上。這個(gè)二次項(xiàng)使得SVDD對(duì)數(shù)據(jù)點(diǎn)之間的相對(duì)距離更加敏感。換句話說SVDD更像是在“學(xué)習(xí)數(shù)據(jù)的形狀”而OCSVM更側(cè)重于“找數(shù)據(jù)的支撐方向”。一個(gè)經(jīng)驗(yàn)結(jié)論當(dāng)數(shù)據(jù)分布比較球形、且沒有明顯的偏好方向時(shí)SVDD和OCSVM表現(xiàn)接近SVDD的球狀假設(shè)也不會(huì)造成太大偏差當(dāng)數(shù)據(jù)分布存在明顯的橢球形狀或方向性時(shí)OCSVM往往能利用超平面的方向適應(yīng)性獲得更好的邊界而SVDD的球狀邊界會(huì)顯得力不從心。3.4 計(jì)算復(fù)雜度與可擴(kuò)展性兩者都涉及核矩陣的計(jì)算訓(xùn)練階段復(fù)雜度都是 O(n2) 到 O(n3) 級(jí)別n是訓(xùn)練樣本數(shù)。樣本數(shù)量到幾萬級(jí)別時(shí)直接訓(xùn)練會(huì)非常吃力。在線推斷階段兩者都需要計(jì)算新樣本與支持向量的核函數(shù)值復(fù)雜度與支持向量數(shù)量成正比。SVDD的球心表示通常更緊湊一些因?yàn)樗阉兄С窒蛄康木€性組合聚成一個(gè)球心向量OCSVM的超平面雖然也由支持向量線性表示但它沒有一個(gè)像“球心”這樣直觀的幾何量。所以SVDD在存儲(chǔ)和推理效率上偶爾有一點(diǎn)優(yōu)勢(shì)但差距不大SVM家族方法都不太擅長處理超大規(guī)模數(shù)據(jù)。數(shù)據(jù)量太大時(shí)一般會(huì)考慮采樣、Mini-batch優(yōu)化或者換用基于深度的異常檢測方法。4. 實(shí)戰(zhàn)工具、代碼與參數(shù)調(diào)優(yōu)4.1 工具體選型Python生態(tài)里OCSVM直接可以用sklearn的sklearn.svm.OneClassSVM非常方便。SVDD則沒有集成到sklearn主庫中通常用第三方實(shí)現(xiàn)比如pyod庫里有OCSVM模型但沒有內(nèi)置SVDD。如果需要使用SVDD常見的選擇是自己按對(duì)偶問題實(shí)現(xiàn)如果你熟悉凸優(yōu)化或者SMO算法用一些開源庫如svdd相關(guān)的GitHub項(xiàng)目用MATLAB的dd_tools工具箱很多早期文獻(xiàn)用這個(gè)我建議你在動(dòng)手前想清楚你的核心目標(biāo)是搞懂算法、復(fù)現(xiàn)論文還是快速落地一個(gè)基線模型?？焖俾涞豋CSVM sklearn是最省事的路徑細(xì)致研究邊界自己實(shí)現(xiàn)SVDD也不難因?yàn)樗膶?duì)偶形式很規(guī)整。下面我給一個(gè)簡化的SVDD實(shí)現(xiàn)思路。先說好這個(gè)實(shí)現(xiàn)主要用來理解原理工程上要追求性能的話還是推薦集成更成熟的庫或者用SMO優(yōu)化。4.2 用sklearn快速搭一個(gè)OCSVM基線假設(shè)你已經(jīng)有一批正常樣本保存在X_train中每個(gè)樣本是d維特征向量。下面是用OCSVM建模并做預(yù)測的標(biāo)準(zhǔn)流程import numpy as np from sklearn.svm import OneClassSVM from sklearn.preprocessing import StandardScaler # 1. 標(biāo)準(zhǔn)化 scaler StandardScaler() X_scaled scaler.fit_transform(X_train) # 2. 初始化模型 model OneClassSVM( kernelrbf, gamma0.1, # 這個(gè)參數(shù)很關(guān)鍵后面專門講 nu0.05 # 預(yù)期異常比例上界 ) # 3. 訓(xùn)練 model.fit(X_scaled) # 4. 預(yù)測返回1表示正常-1表示異常 y_pred model.predict(X_scaled) # 5. 獲取異常得分距離決策邊界的帶符號(hào)距離 score model.decision_function(X_scaled)這里有個(gè)我反復(fù)踩過的坑decision_function的分?jǐn)?shù)正負(fù)號(hào)。在sklearn的OneClassSVM里正數(shù)表示在邊界內(nèi)側(cè)負(fù)數(shù)表示邊界外側(cè)。但具體數(shù)值的大小并不直接等于距離只是有單調(diào)關(guān)系。后續(xù)如果要做閾值調(diào)整建議直接用這個(gè)分?jǐn)?shù)排序而不是硬套某個(gè)固定閾值。4.3 自己實(shí)現(xiàn)一個(gè)簡單的SVDDSVDD的對(duì)偶問題可以寫成一個(gè)帶約束的二次規(guī)劃。為了簡化我直接給出一個(gè)基于拉格朗日對(duì)偶的實(shí)現(xiàn)輪廓import numpy as np from scipy.optimize import minimize def rbf_kernel(X, Y, gamma1.0): # 高斯核矩陣 sq_dist np.sum(X**2, axis1)[:, None] np.sum(Y**2, axis1)[None, :] - 2 * X Y.T return np.exp(-gamma * np.clip(sq_dist, 0, None)) def train_svdd(X, C1.0, gamma1.0): n X.shape[0] K rbf_kernel(X, X, gamma) # 目標(biāo)函數(shù): 0.5 * sum_ij alpha_i alpha_j K_ij - sum_i alpha_i K_ii # scipy minimize默認(rèn)求最小值所以取負(fù)號(hào)的那個(gè)對(duì)偶目標(biāo)改成求 min # 實(shí)際最小化: 0.5 * alpha^T K alpha - sum(alpha) def objective(alpha): return 0.5 * alpha K alpha - np.sum(alpha) # 約束: sum alpha_i 1, 0 alpha_i C constraints [{type: eq, fun: lambda a: np.sum(a) - 1}] bounds [(0, C)] * n # 初始化 alpha0 np.ones(n) / n res minimize( objective, alpha0, methodSLSQP, boundsbounds, constraintsconstraints, options{maxiter: 200} ) alpha res.x # 計(jì)算球心在特征空間中的表示如果要用核函數(shù)計(jì)算距離需要保存支持向量 sv_idx np.where(alpha 1e-6)[0] # 計(jì)算半徑 R^2: 任選一個(gè)支持向量計(jì)算它到球心的距離 alpha_sv alpha[sv_idx] X_sv X[sv_idx] # K(x_sv, x_sv) diag_sv np.sum(alpha_sv[:, None] * alpha_sv[None, :] * rbf_kernel(X_sv, X_sv, gamma)) # 實(shí)際上 R^2 可以用公式計(jì)算這里省略細(xì)節(jié) # 預(yù)測時(shí)比較新樣本到球心距離和半徑 return alpha, sv_idx需要注意的是這種基于scipy.optimize.minimize的通用QP解法在樣本量大時(shí)非常慢只能用來跑幾十到幾百個(gè)樣本的小實(shí)驗(yàn)。工程上SVDD一般用SMO序列最小優(yōu)化或者隨機(jī)梯度下降來優(yōu)化。另外上面代碼只是為了展示對(duì)偶問題怎么落到優(yōu)化函數(shù)上真正復(fù)現(xiàn)SVDD還需要仔細(xì)處理拉格朗日乘子的初始化和邊界條件。如果你不太想自己敲這些數(shù)學(xué)我建議直接用比較成熟的第三方實(shí)現(xiàn)。GitHub上搜索SVDD可以找到一些實(shí)現(xiàn)有些基于PyTorch支持GPU加速。但一定要自己先讀一下代碼確認(rèn)它實(shí)現(xiàn)了標(biāo)準(zhǔn)SVDD而不是簡化版本否則結(jié)果會(huì)有偏差。4.4 關(guān)鍵參數(shù)gamma和nu的調(diào)優(yōu)說到調(diào)參gamma和nu是兩個(gè)最核心的旋鈕。很多人上來就默認(rèn)gamma 1/n_features然后發(fā)現(xiàn)模型一團(tuán)糟。實(shí)際上gamma的合理范圍跟數(shù)據(jù)的尺度、樣本量、維度都有關(guān)系。gamma過大高斯核只對(duì)非常近的點(diǎn)敏感決策邊界會(huì)變得非常復(fù)雜容易過擬合把正常數(shù)據(jù)邊界畫成碎片。gamma過小高斯核退化成一個(gè)接近常數(shù)的核所有點(diǎn)之間的相似度都差不多模型學(xué)不到有效結(jié)構(gòu)邊界會(huì)非常簡單。實(shí)踐中我會(huì)用網(wǎng)格搜索配合驗(yàn)證集來做選擇。驗(yàn)證集上沒有標(biāo)準(zhǔn)答案因?yàn)閱晤惙诸悰]有真實(shí)標(biāo)簽所以更常見的做法是你有少量標(biāo)記的異常樣本但不足以訓(xùn)練模型把這些異常樣本單獨(dú)留出來作為驗(yàn)證集看模型在“拒絕異?！鄙系谋憩F(xiàn)。用AUC、F1k這類指標(biāo)來選參數(shù)會(huì)比純粹看訓(xùn)練集上的邊界緊湊度靠譜得多。nu的選擇相對(duì)直觀。你先根據(jù)業(yè)務(wù)容忍度估算一個(gè)“異常比例上界”比如誤報(bào)率不能超過3%那就設(shè)定nu在0.03附近。然后觀察驗(yàn)證集上的精確率和召回率再微調(diào)。有一點(diǎn)要注意nu設(shè)得很小時(shí)模型會(huì)傾向于把所有訓(xùn)練數(shù)據(jù)都包進(jìn)正常邊界決策邊界離數(shù)據(jù)很遠(yuǎn)這時(shí)候?qū)Ξ惓颖镜拿舾卸葧?huì)下降實(shí)際就是“寧可放過不可誤殺”的傾向。4.5 對(duì)比實(shí)驗(yàn)的評(píng)估方法做SVDD和OCSVM的對(duì)比實(shí)驗(yàn)時(shí)很多新手直接用準(zhǔn)確率。在極度不平衡的數(shù)據(jù)上準(zhǔn)確率毫無意義。我見到的比較規(guī)范的評(píng)估方式把正常樣本分成訓(xùn)練集和驗(yàn)證集訓(xùn)練集只用來建模驗(yàn)證集用來調(diào)參。準(zhǔn)備少量真實(shí)異常樣本作為測試集不參與訓(xùn)練。計(jì)算每個(gè)樣本的異常得分后用AUCROC曲線下面積評(píng)估排序能力。如果要設(shè)閾值用Precisionk或者F1-beta這類指標(biāo)。在實(shí)驗(yàn)報(bào)告里我通常同時(shí)報(bào)告正常樣本的召回率模型能覆蓋多少正常樣本和異常樣本的命中率模型能抓出多少異常。這兩個(gè)指標(biāo)之間存在權(quán)衡參數(shù)的選取本質(zhì)上就是在找這個(gè)權(quán)衡的平衡點(diǎn)。5. 真實(shí)數(shù)據(jù)上的表現(xiàn)差異與原因分析5.1 實(shí)驗(yàn)設(shè)置為了說明問題我用一個(gè)仿真數(shù)據(jù)做過對(duì)比實(shí)驗(yàn)。數(shù)據(jù)分三種形狀第一組是各向同性的高斯團(tuán)正常數(shù)據(jù)均勻分布在球體周圍第二組是帶方向性的長條高斯分布正常數(shù)據(jù)形成明顯橢球第三組是環(huán)形分布中心區(qū)域基本沒有數(shù)據(jù)。三組數(shù)據(jù)各生成2000個(gè)正常樣本作為訓(xùn)練和驗(yàn)證另生成200個(gè)真實(shí)異常樣本從遠(yuǎn)離正常區(qū)域的均勻分布中采樣作為測試。兩個(gè)模型都使用RBF核。OCSVM的nu設(shè)置為0.05SVDD的C通過交叉驗(yàn)證在[0.01, 0.1, 1, 10]里選。gamma在兩組模型中都從[0.01, 0.1, 1, 10]里網(wǎng)格搜索。評(píng)估指標(biāo)用AUC。5.2 結(jié)果觀察第一組各向同性高斯團(tuán)上SVDD和OCSVM的AUC非常接近差距在0.5%以內(nèi)。這符合理論預(yù)期數(shù)據(jù)分布越接近球?qū)ΨQSVDD的球假設(shè)越不受懲罰OCSVM的超平面也能很好地工作。第二組帶方向性的橢圓分布上OCSVM明顯更好AUC高了大概4到6個(gè)百分點(diǎn)。原因在于OCSVM的超平面可以適應(yīng)數(shù)據(jù)的主方向邊界在長軸方向?qū)捤伞⒍梯S方向緊湊而SVDD的球體邊界會(huì)在這個(gè)橢圓分布的長軸方向上出現(xiàn)很大的“空洞”把一部分異常樣本也包進(jìn)了球內(nèi)。第三組環(huán)形分布上SVDD的表現(xiàn)反而更好。環(huán)形分布的中心是空的OCSVM由于超平面必須經(jīng)過原點(diǎn)方向在特征空間中把原點(diǎn)和數(shù)據(jù)分開會(huì)把環(huán)形中心錯(cuò)誤地判為正常SVDD則能把整個(gè)數(shù)據(jù)區(qū)域圍成一個(gè)“球形殼”外的區(qū)域中心空洞得以保留模型對(duì)中心區(qū)域樣本的異常敏感度更高。當(dāng)然這個(gè)優(yōu)勢(shì)的前提是支持向量集中在環(huán)的外側(cè)球心也在環(huán)中心附近。5.3 背后的關(guān)鍵影響因素從這幾個(gè)實(shí)驗(yàn)結(jié)果里我總結(jié)出影響兩者選擇的三個(gè)關(guān)鍵因素?cái)?shù)據(jù)分布是否近似球?qū)ΨQ。越接近球?qū)ΨQSVDD越占優(yōu)越有方向性O(shè)CSVM越靈活。數(shù)據(jù)中的“空洞”結(jié)構(gòu)。如果正常數(shù)據(jù)包圍著一塊空白區(qū)域SVDD能更好地保留這個(gè)空洞OCSVM可能直接把這一塊也看成正常。高維空間中的距離集中效應(yīng)。在高維數(shù)據(jù)里樣本之間的距離趨向于均勻化SVDD對(duì)距離的二次項(xiàng)利用可能退化OCSVM對(duì)方向的利用更穩(wěn)健。我實(shí)測過幾十到幾百維的特征OCSVM在高維上的魯棒性確實(shí)更好SVDD在高維上更容易出現(xiàn)邊界退化。但這都不是絕對(duì)的。真實(shí)業(yè)務(wù)數(shù)據(jù)往往混合了多種效應(yīng)所以我始終建議在你自己數(shù)據(jù)上做一次小規(guī)模對(duì)比實(shí)驗(yàn)再下結(jié)論。6. 常見問題與避坑指南6.1 標(biāo)準(zhǔn)化不是可選項(xiàng)是必選項(xiàng)SVDD和OCSVM都非常依賴特征尺度。RBF核里的距離是歐氏距離如果某個(gè)特征的數(shù)值范圍是0到10000另一個(gè)是0到1距離計(jì)算完全被第一個(gè)特征主導(dǎo)模型基本瞎了。標(biāo)準(zhǔn)化StandardScaler或MinMaxScaler能避免這個(gè)問題。但我提醒一句標(biāo)準(zhǔn)化必須在訓(xùn)練集上做然后拿著訓(xùn)練集的均值和方差去變換驗(yàn)證集和測試集。6.2 “無負(fù)樣本”不代表沒有標(biāo)簽可用很多人陷入了“單類分類不能使用任何負(fù)樣本”的教條。實(shí)際上哪怕只有幾十條異常樣本把它們作為驗(yàn)證集用來選參數(shù)、選模型都是完全合理且推薦的。單類分類的訓(xùn)練過程確實(shí)只用正常樣本但評(píng)估和調(diào)參環(huán)節(jié)引入少量異常樣本能顯著提升模型效果。6.3 別把普通異常檢測的評(píng)測指標(biāo)照搬過來我在項(xiàng)目里常見的問題甲方要求報(bào)告“準(zhǔn)確率”然后發(fā)現(xiàn)不管怎么調(diào)參準(zhǔn)確率都超過95%因?yàn)楫惓１壤挥?%。這個(gè)指標(biāo)沒有意義。正確做法是報(bào)告在固定誤報(bào)率下的檢出率或者直接報(bào)告AUC。6.4 核函數(shù)不是越多越好SVDD和OCSVM常用RBF核因?yàn)樗鼙平我庑螤畹倪吔?。線性核相當(dāng)于只在原始空間畫一個(gè)超平面/球面表達(dá)能力有限多項(xiàng)式核的階數(shù)不好控制容易過擬合。我建議從一開始就用RBF核把精力花在調(diào)gamma上而不是折騰核函數(shù)類型。6.5 樣本量太少怎么辦如果你的正常樣本只有幾十條SVDD和OCSVM的效果都不會(huì)太好因?yàn)樗鼈儽举|(zhì)上是基于距離的方法需要足夠的支持向量來刻畫邊界。這種情況下我建議先考慮數(shù)據(jù)增強(qiáng)、特征降維或者使用基于深度自編碼器的方法來做異常打分然后再考慮單類分類模型。6.6 決策邊界的可視化調(diào)試在二維數(shù)據(jù)上我強(qiáng)烈建議把決策邊界可視化出來看一版。sklearn的OneClassSVM可以配合matplotlib畫等高線圖能直觀看到邊界是否合理。SVDD同樣可以可視化出球心和半徑?？梢暬瘯?huì)比單純看指標(biāo)更容易發(fā)現(xiàn)問題比如邊界在某個(gè)方向上明顯空洞、或者模型把少數(shù)正常樣本排得太靠外了。7. 選型建議與個(gè)人體會(huì)7.1 我的選擇框架說了這么多給出一個(gè)實(shí)際可操作的選型建議。我會(huì)按下面的順序判斷如果特征維度很高比如大于100優(yōu)先OCSVM它對(duì)方向性結(jié)構(gòu)更穩(wěn)健。如果數(shù)據(jù)分布近似球?qū)ΨQ且希望決策邊界是閉合的、每個(gè)方向都公平優(yōu)先SVDD。如果業(yè)務(wù)方需要“我大概能接受多少誤報(bào)”這類的可解釋參數(shù)優(yōu)先OCSVM因?yàn)棣椭苯訉?duì)應(yīng)異常比例上界。如果數(shù)據(jù)中存在明顯的空洞結(jié)構(gòu)正常數(shù)據(jù)環(huán)繞一塊空白區(qū)域優(yōu)先SVDD。如果兩個(gè)模型在驗(yàn)證集上AUC差距很小選更簡單的那個(gè)——多數(shù)情況下是OCSVM因?yàn)樗衧klearn原生支持工程成本低很多。7.2 最后再分享一個(gè)小技巧我經(jīng)常遇到一種情況OCSVM和SVDD在同一個(gè)數(shù)據(jù)集上一個(gè)效果好一個(gè)差。這并不說明某個(gè)算法“更好”而是它們對(duì)數(shù)據(jù)分布的隱含假設(shè)不同。所以與其糾結(jié)選哪一個(gè)不如把兩個(gè)模型的異常得分融合一下。最簡單的做法是把兩個(gè)得分分別做分位數(shù)歸一化然后取加權(quán)平均或者取這兩個(gè)得分的最小值也就是“只要有一個(gè)模型認(rèn)為是異常就標(biāo)記為異?！薄＿@個(gè)方法在我做過的好幾個(gè)故障檢測項(xiàng)目里都有效融合后的AUC通常不會(huì)低于表現(xiàn)較好的那一個(gè)。另外如果你想深挖這兩個(gè)算法的理論基礎(chǔ)建議讀一讀Sch?lkopf等人在2001年發(fā)表的關(guān)于單類SVM的論文以及Tax和Duin的SVDD原始文獻(xiàn)。兩篇論文都不長但對(duì)理解算法邊界非常有用。看懂對(duì)偶形式的那一刻你就能明白它們?yōu)槭裁词恰巴串惲鳌钡男值芩惴恕?