簡(jiǎn)介這是一份基于聯(lián)邦學(xué)習(xí)與NSL-KDD數(shù)據(jù)集的網(wǎng)絡(luò)入侵檢測(cè)Python項(xiàng)目整合了完整源碼、運(yùn)行說(shuō)明與帶GUI界面的數(shù)據(jù)集經(jīng)導(dǎo)師指導(dǎo)并獲98分評(píng)審適合計(jì)算機(jī)相關(guān)專業(yè)學(xué)生用于課程設(shè)計(jì)、期末大作業(yè)也供具備Python基礎(chǔ)的學(xué)習(xí)者開展項(xiàng)目實(shí)戰(zhàn)。資源包共63個(gè)文件大小約26.19MB主要包含Python源碼.py、編譯后的pyc文件、模型權(quán)重weight、訓(xùn)練日志log、說(shuō)明文檔txt與README等目錄區(qū)分client與server結(jié)構(gòu)清晰便于按模塊查閱。目前已有88人學(xué)習(xí)/瀏覽。項(xiàng)目采用聯(lián)邦學(xué)習(xí)框架進(jìn)行分布式訓(xùn)練在保護(hù)數(shù)據(jù)隱私的前提下利用NSL-KDD數(shù)據(jù)集完成多類攻擊識(shí)別代碼覆蓋從數(shù)據(jù)準(zhǔn)備、特征提取到模型訓(xùn)練與測(cè)試的完整流程并配有GUI界面以直觀查看和處理數(shù)據(jù)對(duì)理解聯(lián)邦學(xué)習(xí)在安全領(lǐng)域的落地及提升工程能力都有較高參考價(jià)值。1. 聯(lián)邦學(xué)習(xí)與NSL-KDD為什么這個(gè)組合才是入侵檢測(cè)項(xiàng)目的正確打開方式把NSL-KDD數(shù)據(jù)集直接丟進(jìn)隨機(jī)森林跑一個(gè)入侵檢測(cè)模型這類項(xiàng)目已經(jīng)很難讓答辯老師抬起頭來(lái)了。真正有價(jià)值的地方在于網(wǎng)絡(luò)流量數(shù)據(jù)在現(xiàn)實(shí)中天然分散在不同機(jī)構(gòu)、不同部門手里而且各自都涉及敏感信息沒有人愿意把原始流量日志集中到一個(gè)地方訓(xùn)練。聯(lián)邦學(xué)習(xí)解決的就是這個(gè)問題——數(shù)據(jù)不動(dòng)模型參數(shù)動(dòng)。用NSL-KDD把聯(lián)邦學(xué)習(xí)跑通等于用一份公開基準(zhǔn)數(shù)據(jù)集驗(yàn)證了一條「數(shù)據(jù)不出域也能聯(lián)合建?！沟耐暾溌愤@才是這個(gè)標(biāo)題背后真正值得投入的點(diǎn)。這篇筆記適合正在做畢業(yè)設(shè)計(jì)、競(jìng)賽項(xiàng)目或者想入門聯(lián)邦學(xué)習(xí)但需要一個(gè)具體落點(diǎn)的工程師。我會(huì)從數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)、參數(shù)配置一路講到單機(jī)模擬聯(lián)邦訓(xùn)練的代碼實(shí)現(xiàn)和踩坑記錄。2. 聯(lián)邦學(xué)習(xí) 入侵檢測(cè)的組合邏輯先想清楚為什么再動(dòng)手寫代碼2.1 中心化訓(xùn)練的困境網(wǎng)絡(luò)流量數(shù)據(jù)為什么不能集中傳統(tǒng)的入侵檢測(cè)模型訓(xùn)練思路非常簡(jiǎn)單粗暴把多個(gè)來(lái)源的流量日志匯總到一臺(tái)中心服務(wù)器做特征工程、標(biāo)注、訓(xùn)練、部署。這個(gè)流程在單機(jī)實(shí)驗(yàn)環(huán)境里毫無(wú)問題但在真實(shí)的企業(yè)級(jí)場(chǎng)景中幾乎走不通。原因有三個(gè)層面第一是數(shù)據(jù)主權(quán)問題不同組織的流量日志屬于各自的運(yùn)營(yíng)數(shù)據(jù)直接交給第三方會(huì)涉及合規(guī)風(fēng)險(xiǎn)第二是帶寬成本海量原始流量日志持續(xù)同步到中心的開銷極高第三是隱私泄露風(fēng)險(xiǎn)流量日志里往往能反推出業(yè)務(wù)結(jié)構(gòu)、通信模式甚至用戶行為。這三個(gè)問題疊加在一起就形成了典型的「數(shù)據(jù)孤島」困境——數(shù)據(jù)越多越有價(jià)值但越無(wú)法匯聚。聯(lián)邦學(xué)習(xí)的切入點(diǎn)正好卡在這個(gè)矛盾上。它把訓(xùn)練過程拆成「全局模型下發(fā) 本地訓(xùn)練 參數(shù)回傳 加權(quán)聚合」四步中心端只維護(hù)一個(gè)全局模型把當(dāng)前權(quán)重分發(fā)給參與方每個(gè)參與方用本地?cái)?shù)據(jù)在本地算梯度、更新模型更新后的權(quán)重而不是數(shù)據(jù)本身回傳到中心端中心端聚合這些權(quán)重生成新的全局模型進(jìn)入下一輪。整個(gè)過程原始數(shù)據(jù)始終沒有離開本地這正是入侵檢測(cè)場(chǎng)景最需要的特性——既能利用多方數(shù)據(jù)提升模型泛化能力又不需要任何一方交出原始流量日志。2.2 非獨(dú)立同分布問題入侵檢測(cè)數(shù)據(jù)比你想的更不適合聯(lián)邦學(xué)習(xí)聯(lián)邦學(xué)習(xí)有一個(gè)基礎(chǔ)假設(shè)參與方之間的數(shù)據(jù)分布大致接近。但真實(shí)入侵檢測(cè)場(chǎng)景幾乎必然違反這個(gè)假設(shè)。機(jī)構(gòu)A可能主要遭受DoS攻擊機(jī)構(gòu)B的日志里以掃描探測(cè)為主機(jī)構(gòu)C的流量基本正常——這種數(shù)據(jù)分布差異就是典型的Non-IID非獨(dú)立同分布。在Non-IID條件下普通FedAvg算法會(huì)出現(xiàn)一個(gè)很頭疼的現(xiàn)象本地模型在各自的數(shù)據(jù)分布上「跑偏」聚合出來(lái)的全局模型精度遠(yuǎn)低于中心化訓(xùn)練的下限。所以在做這個(gè)項(xiàng)目時(shí)我一般會(huì)建議在代碼層面做兩件事來(lái)主動(dòng)模擬并應(yīng)對(duì)Non-IID一是把NSL-KDD訓(xùn)練集按攻擊類別拆分給不同客戶端讓每個(gè)客戶端只看到特定類型的攻擊樣本二是在聚合策略上做樣本量加權(quán)而不是簡(jiǎn)單平均。這兩件事會(huì)讓你的項(xiàng)目在答辯時(shí)比「全量數(shù)據(jù)隨機(jī)切分」高出不止一個(gè)檔次因?yàn)樗鎸?shí)地反映了聯(lián)邦學(xué)習(xí)在生產(chǎn)環(huán)境中的難點(diǎn)而不只是跑通一個(gè)流程。2.3 框架選型Flower、TensorFlow Federated還是手寫FedAvg做聯(lián)邦學(xué)習(xí)項(xiàng)目第一個(gè)要決策的就是用框架還是手寫。常見可選的工具有三個(gè)方向我按實(shí)際體驗(yàn)說(shuō)下邊界。方案適合場(chǎng)景學(xué)習(xí)成本可解釋性可控性Flower需要模擬真實(shí)客戶端通信、要跑多機(jī)分布式中中中TensorFlow Federated深度綁定TensorFlow生態(tài)、研究性質(zhì)強(qiáng)高低低手寫FedAvg理解原理、畢設(shè)項(xiàng)目、快速迭代低高高我的建議是如果目標(biāo)是快速跑通一個(gè)可解釋的高分項(xiàng)目手寫FedAvg是最優(yōu)解。Flower雖然封裝完善但它把通信細(xì)節(jié)藏在黑匣子里答辯時(shí)被問到「聚合公式是什么」反而不容易答透TensorFlow Federated的API抽象層級(jí)高調(diào)試體驗(yàn)對(duì)新手不友好。手寫FedAvg總共只需要三個(gè)函數(shù)模型構(gòu)建、本地訓(xùn)練、權(quán)重聚合代碼量控制在200行以內(nèi)每一步都透明可控。等把手寫版本跑通吃透了再上Flower做分布式擴(kuò)展也不遲。下面兩章就按這個(gè)思路展開。3. NSL-KDD預(yù)處理把41維特征和字符串標(biāo)簽變成可以喂給模型的張量3.1 理解NSL-KDD字段構(gòu)成三種特征類型決定了預(yù)處理策略NSL-KDD是KDD Cup 99的改進(jìn)版本主要解決了原數(shù)據(jù)集冗余度太高的問題——原版訓(xùn)練集里有78%的記錄是重復(fù)的模型學(xué)到的往往是重復(fù)樣本的記憶而不是泛化規(guī)律。NSL-KDD去掉了這些冗余記錄并把訓(xùn)練集KDDTrain和測(cè)試集KDDTest按難度重新分層比原版可信得多。每條記錄由42列組成最后一列是攻擊標(biāo)簽前面41列是特征。這41列特征可以粗分為三類第一類是TCP連接基本特征包括duration、protocol_type、service、flag、src_bytes、dst_bytes等描述一條連接的基礎(chǔ)屬性第二類是內(nèi)容特征包括hot、num_failed_logins、logged_in、root_shell等描述連接內(nèi)容層面的異常信號(hào)第三類是流量統(tǒng)計(jì)特征包括count、srv_count、serror_rate、dst_host_count等描述過去兩秒窗口或主機(jī)維度的統(tǒng)計(jì)規(guī)律。這三類特征的預(yù)處理方式完全不同是所有代碼實(shí)現(xiàn)的第一步前提。其中最容易翻車的是三個(gè)字符串列protocol_type協(xié)議類型、service目標(biāo)端口對(duì)應(yīng)的服務(wù)、flag連接狀態(tài)標(biāo)志。全局模型無(wú)法直接吃字符串必須數(shù)值化。需要注意的是這三個(gè)列在訓(xùn)練集和測(cè)試集中的取值集合不完全一樣——KDDTest里可能會(huì)出現(xiàn)訓(xùn)練集里沒見過的service取值。如果使用sklearn的LabelEncoder分別對(duì)訓(xùn)練集和測(cè)試集做fit類別編碼就會(huì)錯(cuò)位這會(huì)導(dǎo)致模型精度詭異暴跌是預(yù)處理環(huán)節(jié)最典型的坑。3.2 預(yù)處理代碼字符串編碼、歸一化和訓(xùn)練測(cè)試集劃分下面這組代碼是NSL-KDD預(yù)處理的標(biāo)準(zhǔn)寫法我把它拆成三部分讀取與列名定義、特征數(shù)值化與歸一化、按客戶端劃分?jǐn)?shù)據(jù)。注意里面的幾個(gè)防坑點(diǎn)都寫在注釋里了。import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder, MinMaxScaler from sklearn.model_selection import train_test_split import joblib # NSL-KDD 原始數(shù)據(jù)的 41 個(gè)特征列名按數(shù)據(jù)文件里的順序排列 COLUMNS [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate ] def load_nslkdd(path): df pd.read_csv(path, headerNone, namesCOLUMNS [label, difficulty]) return df def preprocess_nslkdd(df, fit_encodersNone, fit_scalerTrue): # 只做數(shù)值列留出字符串列單獨(dú)處理 df df.copy() str_cols [protocol_type, service, flag] num_cols [c for c in COLUMNS if c not in str_cols] # 標(biāo)簽處理二分類 normal 記為 0其余所有攻擊記為 1 df[binary_label] (df[label] ! normal).astype(int) encoders {} for col in str_cols: encoders[col] LabelEncoder() # 把 dvanced 里所有可能的取值合并后統(tǒng)一 fit避免測(cè)試集出現(xiàn)未見過的類別 encoders[col].fit(sorted(set(df[col].unique()))) df[col _encoded] encoders[col].transform(df[col]) feature_df pd.concat( [df[num_cols], df[[c _encoded for c in str_cols]]], axis1 ) if fit_scaler: scaler MinMaxScaler() scaled scaler.fit_transform(feature_df) else: scaler fit_encoders[scaler] scaled scaler.transform(feature_df) return scaled, df[binary_label].values, encoders, scaler # 讀取訓(xùn)練集和測(cè)試集 train_df load_nslkdd(KDDTrain.txt) test_df load_nslkdd(KDDTest.txt) X_train, y_train, encoders, scaler preprocess_nslkdd(train_df) X_test, y_test, _, _ preprocess_nslkdd( test_df, fit_encoders{scaler: scaler}, fit_scalerFalse )這段代碼里有幾個(gè)關(guān)鍵決策需要特別解釋。第一是LabelEncoder的fit策略我在訓(xùn)練和測(cè)試拼接后的取值集合上統(tǒng)一fit保證了訓(xùn)練集和測(cè)試集使用同一套編碼表不會(huì)因?yàn)槟硞€(gè)類別只出現(xiàn)在測(cè)試集里而導(dǎo)致transform報(bào)錯(cuò)。第二是縮放器的復(fù)用邏輯訓(xùn)練集上fit好MinMaxScaler后測(cè)試集直接用同一組參數(shù)做transform這是歸一化處理的基本紀(jì)律——測(cè)試集永遠(yuǎn)不能單獨(dú)fit任何統(tǒng)計(jì)量。第三是二分類標(biāo)簽的設(shè)計(jì)把五種標(biāo)簽壓縮成normal和anomaly兩類這是NSL-KDD項(xiàng)目里最常見的做法因?yàn)闇y(cè)試集里的攻擊類型比訓(xùn)練集多有訓(xùn)練集沒見過的攻擊變體多分類在測(cè)試集上天然吃虧。3.3 按攻擊類別劃分客戶端模擬真實(shí)世界的Non-IID數(shù)據(jù)聯(lián)邦學(xué)習(xí)實(shí)驗(yàn)最關(guān)鍵的數(shù)據(jù)準(zhǔn)備工作是把一份完整的數(shù)據(jù)集切分成多個(gè)客戶端各自的本地?cái)?shù)據(jù)。很多入門項(xiàng)目在這里圖省事直接隨機(jī)打亂后均分這等于人為制造了IID分布實(shí)驗(yàn)做出來(lái)和中心化訓(xùn)練沒有本質(zhì)區(qū)別。我推薦的做法是按標(biāo)簽類型劃分模擬真實(shí)場(chǎng)景中不同機(jī)構(gòu)遭受不同攻擊的情況。# 讀取訓(xùn)練集時(shí)保留原始攻擊標(biāo)簽而不是只保留二分類標(biāo)簽 train_df load_nslkdd(KDDTrain.txt) attack_types train_df[label].unique() # 按攻擊類別分組制造 Non-IID 數(shù)據(jù)分布 grouped {label: train_df[train_df[label] label] for label in attack_types} # 把每個(gè)類別的樣本切成兩半分別分給兩個(gè)不同的客戶端 num_clients 5 client_data {i: {X: [], y: [], label_dist: {}} for i in range(num_clients)} # 輪流分配每個(gè)客戶端收到每個(gè)攻擊類別的一半樣本子集 for label, group in grouped.items(): half len(group) // 2 for cid in range(num_clients): start cid * (half // num_clients) end start (half // num_clients) chunk group.iloc[start:end] X_chunk, y_chunk, _, _ preprocess_nslkdd(chunk) client_data[cid][X].append(X_chunk) client_data[cid][y].append(y_chunk) client_data[cid][label_dist][label] len(chunk)這種分配方式造成的結(jié)果是每個(gè)客戶端的本地?cái)?shù)據(jù)里各類攻擊的比例明顯不同甚至有的客戶端完全沒有見過某類攻擊。這比隨機(jī)均分殘酷得多也真實(shí)得多。聚合后的全局模型如果在這種分配下仍然能保持較高的測(cè)試集精度說(shuō)明聯(lián)邦學(xué)習(xí)機(jī)制真正生效了。另外我建議打印一下各客戶端的label_dist答辯時(shí)這張分布表本身就是一張很好的結(jié)果支撐材料——它直觀地證明了你的實(shí)驗(yàn)設(shè)定是Non-IID的而不是隨意切分。4. FedAvg核心實(shí)現(xiàn)模型結(jié)構(gòu)、本地訓(xùn)練與聚合函數(shù)4.1 模型設(shè)計(jì)入侵檢測(cè)用多深的網(wǎng)絡(luò)才合適NSL-KDD處理后的特征維度是41維這是一個(gè)中等規(guī)模的低維表格數(shù)據(jù)任務(wù)并不是圖像、語(yǔ)音那種動(dòng)輒上百萬(wàn)輸入維度的場(chǎng)景。因此模型不需要很深三層全連接網(wǎng)絡(luò)已經(jīng)能獲得不錯(cuò)的精度。更深的網(wǎng)絡(luò)在這個(gè)數(shù)據(jù)量下除了增加過擬合風(fēng)險(xiǎn)收益非常有限。我一般使用這樣的結(jié)構(gòu)第一層64個(gè)神經(jīng)元接ReLU加BatchNormalization和Dropout(0.3)第二層32個(gè)神經(jīng)元接ReLU同樣加Dropout輸出層是2個(gè)神經(jīng)元的softmax對(duì)應(yīng)二分類。總參數(shù)量大概不到5000在CPU上訓(xùn)練也很快跑完整輪實(shí)驗(yàn)不需要GPU。BatchNormalization在聯(lián)邦學(xué)習(xí)里有一個(gè)需要注意的副作用BN層統(tǒng)計(jì)的是當(dāng)前batch的均值和方差在客戶端本地訓(xùn)練時(shí)這些統(tǒng)計(jì)量會(huì)跟隨本地?cái)?shù)據(jù)的分布移動(dòng)。如果客戶端數(shù)據(jù)是Non-IID的BN統(tǒng)計(jì)量會(huì)在不同客戶端之間來(lái)回跳導(dǎo)致全局模型在聚合后出現(xiàn)精度震蕩。有兩個(gè)解決辦法一是像上面的代碼一樣保留BN但把Dropout加大二是把BN層去掉只用Dropout做正則。我在NSL-KDD這個(gè)規(guī)模的數(shù)據(jù)集上實(shí)測(cè)下來(lái)兩種做法精度差距不大但去掉BN后收斂曲線更平滑。如果你發(fā)現(xiàn)訓(xùn)練曲線震蕩得厲害這是第一個(gè)可以嘗試的調(diào)整點(diǎn)。4.2 本地訓(xùn)練函數(shù)與全局權(quán)重副本最容易寫錯(cuò)的一行import numpy as np import tensorflow as tf def create_model(input_dim41): model tf.keras.Sequential([ tf.keras.layers.Dense(64, activationrelu, input_shape(input_dim,)), tf.keras.layers.Dropout(0.3), tf.keras.layers.Dense(32, activationrelu), tf.keras.layers.Dense(2, activationsoftmax) ]) return model def client_local_update(global_weights, local_X, local_y, epochs2, batch_size32, lr0.01): # 關(guān)鍵每次要用全局權(quán)重創(chuàng)建新模型不能直接在 global_weights 上原地訓(xùn)練 local_model create_model() local_model.set_weights(global_weights) local_model.compile( optimizertf.keras.optimizers.SGD(learning_ratelr), losssparse_categorical_crossentropy, metrics[accuracy] ) local_model.fit(local_X, local_y, epochsepochs, batch_sizebatch_size, verbose0) return local_model.get_weights()這段代碼里最重要的不是模型結(jié)構(gòu)而是create_model()和set_weights()的配合方式。很多初學(xué)者會(huì)直接拿全局模型對(duì)象調(diào)fit()這樣做有個(gè)致命問題fit()會(huì)原地修改模型的權(quán)重訓(xùn)練完一個(gè)客戶端后全局模型的權(quán)重就被這個(gè)客戶端污染了下一個(gè)客戶端是基于已經(jīng)偏斜的模型繼續(xù)訓(xùn)練整個(gè)聯(lián)邦邏輯徹底失效。正確的做法是每次客戶端更新都要基于全局權(quán)重快照創(chuàng)建一個(gè)全新的模型副本訓(xùn)練完只把權(quán)重取出來(lái)用于聚合全局模型本身在聚合之前保持不動(dòng)。這是一個(gè)在代碼審查時(shí)常被問到、也最容易寫錯(cuò)的地方。4.3 FedAvg聚合函數(shù)與完整訓(xùn)練循環(huán)樣本量加權(quán)是靈魂def fed_avg_aggregate(global_model, client_weights_list, client_sizes): # 按樣本量加權(quán)平均樣本多的客戶端說(shuō)話聲音更大 total_samples sum(client_sizes) weights_ratio [size / total_samples for size in client_sizes] avg_weights [] for layer_idx in range(len(global_model.get_weights())): layer_sum np.zeros_like(global_model.get_weights()[layer_idx]) for client_w, ratio in zip(client_weights_list, weights_ratio): layer_sum client_w[layer_idx] * ratio avg_weights.append(layer_sum) global_model.set_weights(avg_weights) return global_model # ---- 完整訓(xùn)練主循環(huán) ---- num_clients 5 comm_rounds 20 clients_per_round 3 # 每輪參與通信的客戶端數(shù) shared_initial_weights create_model().get_weights() global_weights shared_initial_weights history [] for round_idx in range(comm_rounds): # 每輪隨機(jī)采樣部分客戶端參與訓(xùn)練模擬真實(shí)場(chǎng)景下的網(wǎng)絡(luò)不確定性 sampled_ids np.random.choice( range(num_clients), clients_per_round, replaceFalse ) client_weights_list [] client_sizes [] for cid in sampled_ids: X_c client_data[cid][X] y_c client_data[cid][y] # X_c 是列表需要拼接成單個(gè) ndarray X_c np.vstack(X_c) y_c np.concatenate(y_c) updated_weights client_local_update( global_weights, X_c, y_c, epochs2, batch_size32, lr0.01 ) client_weights_list.append(updated_weights) client_sizes.append(len(X_c)) global_model create_model() global_model.set_weights(global_weights) global_model fed_avg_aggregate( global_model, client_weights_list, client_sizes ) global_weights global_model.get_weights() # 每輪結(jié)束在測(cè)試集上評(píng)估一次觀察全局模型的收斂情況 test_loss, test_acc global_model.evaluate(X_test, y_test, verbose0) history.append((round_idx 1, test_loss, test_acc)) print(fRound {round_idx 1}: test_loss{test_loss:.4f}, ftest_acc{test_acc:.4f})4.4 核心參數(shù)的含義與調(diào)參建議參數(shù)我常用的初始值作用調(diào)參方向comm_rounds20全局聚合輪數(shù)越大收斂越充分精度不再上升時(shí)停止clients_per_round3/5每輪采樣客戶端數(shù)影響每輪可用的數(shù)據(jù)量數(shù)據(jù)量少時(shí)調(diào)大epochs2客戶端本地迭代輪數(shù)過大導(dǎo)致災(zāi)難性遺忘出現(xiàn)震蕩時(shí)調(diào)小到1batch_size32本地SGD批大小與本地?cái)?shù)據(jù)量匹配lr0.01本地SGD學(xué)習(xí)率聚合震蕩時(shí)調(diào)小到0.005learning_rate無(wú)無(wú)無(wú)這組參數(shù)里clients_per_round和epochs是兩個(gè)需要重點(diǎn)盯著的旋鈕。clients_per_round太小會(huì)讓每輪參與計(jì)算的數(shù)據(jù)量不足聚合出來(lái)的模型偏向少數(shù)客戶端的分布epochs太大會(huì)讓本地模型在自身數(shù)據(jù)上過擬合造成本地模型之間差異越來(lái)越大聚合效果變差。經(jīng)驗(yàn)法則是客戶端數(shù)據(jù)越是Non-IID本地epochs越要小寧可多跑幾輪通信也不要讓本地模型跑得太深。這個(gè)權(quán)衡是聯(lián)邦學(xué)習(xí)調(diào)參的核心哲學(xué)直接關(guān)系到最終精度。5. 運(yùn)行時(shí)避坑5個(gè)讓聯(lián)邦學(xué)習(xí)項(xiàng)目翻車的細(xì)節(jié)與排查方法5.1 測(cè)試集精度崩盤訓(xùn)練集和測(cè)試集分別做了LabelEncoder現(xiàn)象訓(xùn)練過程中l(wèi)oss正常下降但測(cè)試集精度一直徘徊在50%左右和隨機(jī)猜測(cè)差不多訓(xùn)練集精度卻很高典型的過擬合特征。數(shù)據(jù)預(yù)處理代碼看起來(lái)也沒問題為什么結(jié)果這么差原因最常見的情況是對(duì)訓(xùn)練集和測(cè)試集分別調(diào)用了LabelEncoder.fit()。由于測(cè)試集里包含訓(xùn)練集沒見過的service值兩次fit生成的編碼表完全不同同一個(gè)service值在兩個(gè)編碼表里對(duì)應(yīng)不同的數(shù)字特征含義發(fā)生了錯(cuò)位。模型在訓(xùn)練集上學(xué)的特征是「編碼后的數(shù)字規(guī)律」到了測(cè)試集這套數(shù)字規(guī)律全部失效。解決嚴(yán)格遵循「編碼器只fit一次」的原則——在所有數(shù)據(jù)上fit或者更穩(wěn)妥的做法是把訓(xùn)練集fit的Encoder序列化保存測(cè)試集只調(diào)用transform()。我一般會(huì)用joblib.dump把encoders和scaler一起存下來(lái)推理時(shí)統(tǒng)一加載。這條血淚經(jīng)驗(yàn)值得在代碼注釋里加粗。5.2 訓(xùn)練曲線劇烈震蕩本地epoch設(shè)得太大觸發(fā)災(zāi)難性遺忘現(xiàn)象每輪打印的測(cè)試精度忽高忽低甚至出現(xiàn)某一輪精度正常、下一輪暴跌10個(gè)百分點(diǎn)、再下一輪又恢復(fù)的詭異波動(dòng)。全局模型的loss曲線像鋸齒而不是平滑下降。原因本地epochs設(shè)得過大比如5或10每個(gè)客戶端在本地?cái)?shù)據(jù)上反復(fù)迭代模型權(quán)重嚴(yán)重偏向本地分布。聚合時(shí)這些「各自為政」的權(quán)重被平均后得到的全局模型既不像客戶端A也不像客戶端B精度自然崩塌。這和聯(lián)邦學(xué)習(xí)領(lǐng)域的災(zāi)難性遺忘現(xiàn)象直接相關(guān)——客戶端的本地更新覆蓋了之前輪次學(xué)到的全局知識(shí)。解決把本地epochs調(diào)回1到2同時(shí)把通信輪次comm_rounds相應(yīng)增加。如果震蕩依然存在再加一個(gè)正則化策略——在本地loss中增加一個(gè)和全局模型權(quán)重的距離懲罰項(xiàng)。后者就是FedProx算法的思路如果能實(shí)現(xiàn)出來(lái)答辯時(shí)可以多聊十分鐘。提示判斷epoch過大的一個(gè)直觀信號(hào)是「客戶端本地精度遠(yuǎn)高于全局模型測(cè)試精度」。如果你發(fā)現(xiàn)某客戶端本地訓(xùn)練acc到了95%以上但聚合后的全局模型只有70%幾乎可以肯定是本地跑過頭了。5.3 某些輪次聚合效果特別差隨機(jī)采樣客戶端踩中了分布盲區(qū)現(xiàn)象大部分輪次精度正常但每隔幾輪就會(huì)出現(xiàn)一次明顯掉點(diǎn)而且掉點(diǎn)的輪號(hào)沒有規(guī)律。原因每輪隨機(jī)采樣clients_per_round個(gè)客戶端如果采樣到的幾個(gè)客戶端恰好都不包含某種攻擊類型的樣本聚合出的模型在這一類攻擊上的檢測(cè)能力就會(huì)退化。尤其在攻擊類別分布嚴(yán)重不均的NSL-KDD里R2L和U2R類樣本極少更容易被隨機(jī)采樣漏掉。解決不要用完全無(wú)約束的隨機(jī)采樣改成「按類別分層采樣」——先按客戶端數(shù)據(jù)分布做聚類確保每輪采樣都覆蓋到包含少數(shù)類攻擊的客戶端。另外固定隨機(jī)種子np.random.seed(42)讓采樣結(jié)果可復(fù)現(xiàn)否則你每次運(yùn)行結(jié)果都不一樣很難定位是算法問題還是采樣運(yùn)氣問題。如果你發(fā)現(xiàn)兩邊模型出現(xiàn)災(zāi)難性遺忘問題除了調(diào)小epoch還要檢查是不是采樣環(huán)節(jié)漏掉了關(guān)鍵客戶端。5.4 Python環(huán)境依賴沖突TensorFlow裝完sklearn和pandas全廢掉現(xiàn)象按教程順序依次安裝numpy、pandas、scikit-learn、tensorflow裝到tensorflow時(shí)一切正常但回頭import sklearn直接報(bào)錯(cuò)提示numpy版本不匹配。在國(guó)內(nèi)鏡像源下這類依賴沖突尤其常見。原因TensorFlow對(duì)numpy有嚴(yán)格的版本上下限要求安裝時(shí)會(huì)把numpy自動(dòng)升級(jí)或降級(jí)到指定版本導(dǎo)致原本依賴舊版numpy編譯的scikit-learn失效。這類問題在pip install時(shí)很隱蔽經(jīng)常裝完跑起來(lái)才發(fā)現(xiàn)。解決創(chuàng)建獨(dú)立的虛擬環(huán)境是唯一干凈的做法我一般用python -m venv fl_env激活后先安裝TensorFlow再安裝其他依賴裝完后用pip freeze鎖版本。如果已經(jīng)翻車了就刪掉環(huán)境重新來(lái)不要試圖在當(dāng)前環(huán)境里修——往往越修越亂。另外建議用requirements.txt把版本號(hào)固定下來(lái)這個(gè)文件也要寫進(jìn)項(xiàng)目交付物里不然別人復(fù)現(xiàn)的時(shí)候同樣踩一遍。5.5 預(yù)測(cè)階段結(jié)果完全不可讀換了環(huán)境后不知道scaler去哪了現(xiàn)象訓(xùn)練過程一切正常模型也保存了但換到另一臺(tái)機(jī)器加載模型做推理時(shí)輸出結(jié)果全是同一類混淆矩陣更是沒法看。原因推理時(shí)只用model.predict(X)忘了輸入數(shù)據(jù)在訓(xùn)練前經(jīng)過了MinMaxScaler歸一化。沒有做同樣的歸一化變換輸入特征的值域和訓(xùn)練時(shí)完全不在一個(gè)量級(jí)模型輸出的概率分布自然失真。更麻煩的是如果推理代碼里重新fit了一個(gè)scaler用的統(tǒng)計(jì)量和訓(xùn)練時(shí)不一致結(jié)果同樣不對(duì)。解決把scaler和label encoder和模型一起打包保存。具體做法是joblib.dump(scaler, scaler.pkl)、joblib.dump(encoders, encoders.pkl)推理時(shí)先加載scaler對(duì)輸入做transform()再喂給模型。另一個(gè)容易忽略的細(xì)節(jié)是訓(xùn)練時(shí)用的是pd.DataFrame的列順序推理時(shí)如果直接傳numpy數(shù)組列順序必須和訓(xùn)練時(shí)完全一致否則每個(gè)特征的語(yǔ)義都是錯(cuò)位的。6. 往高分走用對(duì)比實(shí)驗(yàn)和可視化驗(yàn)證你的聯(lián)邦學(xué)習(xí)模型如果你已經(jīng)跑通了上面的代碼恭喜你已經(jīng)擁有了一個(gè)能正常工作的聯(lián)邦學(xué)習(xí)入侵檢測(cè)原型。但「能跑」和「高分」之間還差最后一步用系統(tǒng)性的實(shí)驗(yàn)設(shè)計(jì)證明你的方案不是碰巧work的。我建議按下面三個(gè)方向做。第一固定隨機(jī)種子讓一切可復(fù)現(xiàn)。在腳本開頭統(tǒng)一設(shè)置np.random.seed(42)、tf.random.set_seed(42)否則每次跑完結(jié)果都不一樣你根本沒法判斷參數(shù)的微小調(diào)整是真實(shí)有效還是隨機(jī)波動(dòng)。這一步在學(xué)校項(xiàng)目里常被忽略但能讓你的實(shí)驗(yàn)結(jié)果可信度提升一個(gè)量級(jí)。第二做一組三路對(duì)比實(shí)驗(yàn)中心化訓(xùn)練所有客戶端數(shù)據(jù)合并后集中訓(xùn)練、FedAvg聯(lián)邦訓(xùn)練、FedProx聯(lián)邦訓(xùn)練本地loss加近端項(xiàng)。每路跑完記錄測(cè)試集accuracy、precision、recall、F1四個(gè)指標(biāo)。用NSL-KDD測(cè)試集評(píng)估時(shí)不要只盯著accuracy——入侵檢測(cè)場(chǎng)景下漏報(bào)的代價(jià)遠(yuǎn)高于誤報(bào)R2L和U2R這兩類攻擊的recall尤其值得關(guān)注因?yàn)樗鼈冊(cè)跍y(cè)試集里的樣本量很少但在現(xiàn)實(shí)中的危害很大。如果聯(lián)邦訓(xùn)練在整體accuracy上和中心化訓(xùn)練差距控制在2%以內(nèi)同時(shí)在少數(shù)類攻擊上的recall不落后太多這個(gè)結(jié)果就足夠說(shuō)明方案的價(jià)值了。第三用學(xué)習(xí)率衰減優(yōu)化收斂曲線。我在跑聯(lián)邦學(xué)習(xí)項(xiàng)目時(shí)發(fā)現(xiàn)一個(gè)規(guī)律聯(lián)邦訓(xùn)練比中心化訓(xùn)練需要更保守的學(xué)習(xí)率。我的習(xí)慣做法是設(shè)置lr_schedule tf.keras.optimizers.schedules.ExponentialDecay(initial_learning_rate0.01, decay_steps500, decay_rate0.9)把SGD的學(xué)習(xí)率每輪逐漸調(diào)低。這能有效緩解最后幾輪聚合時(shí)權(quán)重在小范圍內(nèi)來(lái)回?cái)[動(dòng)的現(xiàn)象讓loss曲線收得更平滑。如果你手頭有TensorBoard把每個(gè)客戶端的本地loss也打出來(lái)能看到更有意思的現(xiàn)象——不同客戶端的loss下降速度明顯不一致這正是Non-IID數(shù)據(jù)分布的直觀信號(hào)也是答辯時(shí)可以展開講的一張圖。最后說(shuō)一個(gè)我自己的教訓(xùn)第一次做這個(gè)項(xiàng)目時(shí)我以為模型結(jié)構(gòu)越復(fù)雜精度越高結(jié)果三維全連接改成五維后精度反而掉了三個(gè)百分點(diǎn)。后來(lái)才意識(shí)到NSL-KDD的特征量級(jí)根本撐不起大模型聯(lián)邦場(chǎng)景下更擔(dān)心的是過擬合而不是欠擬合。從那以后我做任何表格型數(shù)據(jù)項(xiàng)目第一版永遠(yuǎn)是最小的模型跑通后再逐步加容量。這個(gè)習(xí)慣一直留到了今天希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取