簡介面向深度學習安全入門與對抗攻防復現(xiàn)需求這套材料圍繞Fashion_MNIST圖像分類任務提供從對抗樣本生成到對抗訓練防御的完整實驗內容適合已掌握基礎神經網絡、希望理解模型魯棒性評估的學生與算法愛好者也可用于課程設計或安全方向的前期驗證。壓縮包共121個文件約15.12MB其中9個Python腳本承載模型訓練、攻擊實現(xiàn)與評估流程8個pkl與2個h5文件保存訓練中間結果及模型權重100張jpg直觀呈現(xiàn)對抗樣本與原始圖像的對照另附md說明與gitignore便于環(huán)境整理。已有117人學習下載。讀者可據(jù)此復現(xiàn)FGSM、PGD等攻擊方法觀察細微擾動對分類結果的影響并對比對抗訓練前后模型在干凈樣本與對抗樣本上的準確率變化進而理解魯棒性、泛化能力與安全部署之間的權衡形成從攻擊生成、防御訓練到指標評估的可運行閉環(huán)。1. 一個 93% 掉到 12% 的分類器對抗攻擊與對抗訓練解決的是什么問題一個做課程設計的同學給我看他的模型Fashion-MNIST 測試集 93.1%我讓他把輸入疊一層 eps0.1 的擾動再喂進去準確率掉到 11%比十類瞎猜還低。這就是對抗攻擊最反直覺的地方——擾動小到人眼看不出模型卻徹底失明。這份 Attack_Fashion_MNIST 代碼包做的事就是把整條線完整展開先干凈訓練一個卷積基線再用 FGSM、I-FGSM、PGD 三種方式把它打穿然后把對抗樣本塞回訓練循環(huán)做對抗訓練最后拿干凈準確率和魯棒準確率兩條曲線對照。它適合兩類人剛接觸對抗樣本、想要一個能完整跑通的最小閉環(huán)的以及要拿它當實驗底座換成自己的數(shù)據(jù)集或攻擊算法的。2. 目錄結構與數(shù)據(jù)管線Fashion-MNIST 怎么讀、怎么切、怎么喂進去拿到壓縮包先別急著執(zhí)行 train把目錄看一遍能省掉后面一半的調試時間。這個項目的模塊邊界切得比較克制沒有一上來就上 Lightning 或者 Hydra純 PyTorch 加一個 yaml好處是可以把每一行發(fā)生的事都看清楚。2.1 從目錄樹看模塊職責的切分Attack_Fashion_MNIST/ ├── configs/base.yaml # eps / alpha / steps / lr 等全部外置 ├── data/ # 首次運行自動下載的 idx 文件落在這里 ├── models/ │ └── small_cnn.py # 4 層卷積 BN 全連接的分類器 ├── attacks/ │ ├── fgsm.py # 單步攻擊 │ ├── ifgsm.py # 迭代攻擊固定步長 │ └── pgd.py # 迭代攻擊 隨機起點 投影 ├── train_clean.py # 干凈基線訓練 ├── train_adv.py # 對抗訓練 ├── evaluate.py # eps 掃描輸出 csv 和曲線 ├── visualize.py # 對抗樣本網格圖 擾動放大圖 ├── utils.py # 種子、ckpt 保存、指標統(tǒng)計 └── requirements.txt關鍵點是attacks/單獨成包。攻擊函數(shù)既被evaluate.py調用又被train_adv.py在訓練循環(huán)里調用如果寫在評估腳本里訓練腳本就得反向 import很容易寫出循環(huán)依賴。把它們抽出來之后所有攻擊必須滿足同一個簽名def attack_fn(model, x, y, eps, **kwargs) - torch.Tensor: 輸入干凈樣本與標簽返回對抗樣本形狀與 x 一致取值仍在 [0,1]簽名的第 4 個位置參數(shù)留給 eps 是有意為之——evaluate.py要在一組 eps 上掃出魯棒性曲線把 eps 當可變參數(shù)傳掃描循環(huán)才寫得干凈。2.2 DataLoader這份代碼沒做 Normalize數(shù)據(jù)這塊是第一個容易分歧的地方。絕大多數(shù)圖像分類工程會在transforms里加Normalize(mean, std)但對抗攻擊項目里我一般不加原因后面代碼里會顯出來。import torch from torch.utils.data import DataLoader, random_split from torchvision import datasets, transforms DATA_ROOT ./data # 只做 ToTensor像素被縮放到 [0, 1]不做 Normalize base_tf transforms.Compose([transforms.ToTensor()]) def build_loaders(batch_size128, val_ratio0.1, seed42, num_workers2): full_train datasets.FashionMNIST(DATA_ROOT, trainTrue, downloadTrue, transformbase_tf) test_set datasets.FashionMNIST(DATA_ROOT, trainFalse, downloadTrue, transformbase_tf) n_val int(len(full_train) * val_ratio) # 60000 * 0.1 6000 train_set, val_set random_split( full_train, [len(full_train) - n_val, n_val], generatortorch.Generator().manual_seed(seed), # 切分可復現(xiàn) ) train_loader DataLoader(train_set, batch_sizebatch_size, shuffleTrue, num_workersnum_workers, pin_memoryTrue, drop_lastTrue) val_loader DataLoader(val_set, batch_size512, shuffleFalse, num_workersnum_workers) test_loader DataLoader(test_set, batch_size512, shuffleFalse, num_workersnum_workers) return train_loader, val_loader, test_loader參數(shù)上batch_size在干凈訓練階段用 128 就夠了對抗訓練階段同樣 128但顯存占用大約是干凈訓練的兩到三倍因為攻擊那幾步還要保留計算圖val_ratio0.1是給「選超參」留的位置測試集從頭到尾只看一次否則 eps 和步數(shù)會在測試集上過擬合報出來的魯棒準確率就是假的drop_lastTrue是為了讓 BN 在訓練時每個 batch 都有穩(wěn)定的統(tǒng)計量最后不滿 128 的那個 batch 直接丟掉。不做 Normalize 的理由很實在攻擊函數(shù)要把擾動投影回「合法像素空間」如果輸入已經被歸一化到[-1, 1]附近那clamp(0, 1)就是個錯誤的約束投影會把樣本拉到一個根本不存在的像素分布上攻擊強度會被莫名削弱。常見做法有兩種——要么把每張圖的合法區(qū)間存下來在歸一化空間里算 clamp 邊界要么干脆不歸一化讓模型第一層的 BatchNorm 去吸收尺度差異。我選后者代碼短出錯概率低。2.3 種子與確定性別讓兩次實驗對不上對抗實驗的結果波動比普通分類大得多同一個 eps 跑兩遍差三四個點很常見所以種子的設置必須比平時更狠import os, random import numpy as np import torch def set_seed(seed42, deterministicTrue): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) os.environ[PYTHONHASHSEED] str(seed) if deterministic: torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsecudnn.benchmarkFalse會犧牲一點吞吐來換取卷積算法固定在對比兩種訓練策略時這點吞吐值得讓出去。PYTHONHASHSEED主要是防 DataLoader 在多 worker 下的順序抖動。另外 PGD 里的隨機起點也是用全局種子驅動的如果只設了 torch 的種子沒設 numpy 的np.random.uniform那條分支就會每輪都不一樣實驗日志根本對不齊。提示Windows 下num_workers 0必須把入口代碼放進if __name__ __main__:否則 DataLoader 會反復重啟進程表現(xiàn)是顯存一點點漲上去然后卡死。3. 干凈的分類基線SmallCNN 的結構和訓練循環(huán)對抗實驗有個前提干凈樣本上得先訓出個像樣的模型?；€太弱攻擊再強也沒意義基線太強又會把大部分時間耗在調參上。這個項目用的結構是折中方案在單卡上十幾分鐘能訓完一輪。3.1 模型結構四層卷積加一個全連接頭import torch import torch.nn as nn class SmallCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 28 - 14 nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.Conv2d(64, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 14 - 7 ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 7 * 7, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.3), nn.Linear(128, num_classes), ) def forward(self, x): return self.classifier(self.features(x))結構沒什么稀奇但每個選擇都對應一個理由。輸入是單通道 28×28所以第一層in_channels1換成 CIFAR-10 就是 3這是二次開發(fā)時第一個要動的地方。兩次MaxPool2d把 28 降到 7全連接輸入是64*7*73136整個模型參數(shù)量在五十萬上下不算大正好適合在單張消費級卡上反復跑對抗訓練。BatchNorm 放在每個卷積后面是必須的——沒有它對抗訓練階段 loss 會抖得非常厲害幾乎沒法收斂。Dropout 只放在全連接頭卷積部分不加加了會讓攻擊的梯度變得稀疏FGSM 打不動。3.2 訓練循環(huán)里幾個必須寫對的位置import torch import torch.nn as nn from models.small_cnn import SmallCNN def train_clean(model, train_loader, val_loader, epochs15, lr1e-3, devicecuda): criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lrlr, weight_decay5e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) best_acc 0.0 for epoch in range(epochs): model.train() for x, y in train_loader: x, y x.to(device, non_blockingTrue), y.to(device, non_blockingTrue) optimizer.zero_grad(set_to_noneTrue) loss criterion(model(x), y) loss.backward() optimizer.step() scheduler.step() acc evaluate_acc(model, val_loader, device) # 驗證集上只看干凈準確率 if acc best_acc: best_acc acc torch.save(model.state_dict(), ckpt/clean_best.pt) return best_acc幾個位置值得單獨說。zero_grad(set_to_noneTrue)比默認的zero_grad()省一點顯存也快一點在大規(guī)模對抗訓練里能積少成多。調度器用余弦退火最后幾個 epoch 學習率壓得很低驗證準確率能再穩(wěn)零點幾個點。evaluate_acc內部必須切model.eval()和torch.no_grad()這個函數(shù)后面會被反復復用訓練循環(huán)里一旦漏掉 evalBN 的 running stats 會被驗證集數(shù)據(jù)污染下一輪訓練的起點就不對了。3.3 基線結果怎么讀先看混淆矩陣再看總準確率干凈訓練跑完驗證集準確率落在 92% 到 93% 之間是這份代碼的正常水平。如果只有 88% 上下八成是學習率或者 epoch 數(shù)不對如果到了 94% 以上先懷疑是不是驗證集和訓練集有重疊——random_split用了獨立的 generator正常情況下不會重疊但如果手動切分時索引寫錯結果會好得很可疑。Fashion-MNIST 有個很典型的現(xiàn)象總的準確率看著不錯但 T-shirt/top、Shirt、Pullover 這三類的混淆率一直偏高原因是它們在 28×28 灰度圖里本來就長得很像。這個細節(jié)在對抗實驗里會放大——攻擊最容易把 Shirt 推到 Pullover 或者反過來做可視化的時候你看到的第一批「成功攻擊樣本」大概率就是這三類互相串。心里有數(shù)就不會誤以為是代碼寫錯了。4. 攻擊與對抗訓練的核心實現(xiàn)FGSM、I-FGSM、PGD 三段代碼這一章是整個項目的重心。三種攻擊的代碼量都不大但每一行都有講究寫錯一處結果就差一個數(shù)量級。4.1 FGSM單步梯度上升十行代碼但有三處會寫錯import torch def fgsm_attack(model, x, y, eps, criterionNone, clamp(0.0, 1.0)): Fast Gradient Sign Method沿損失對輸入的梯度符號方向走一步 if criterion is None: criterion torch.nn.CrossEntropyLoss() model.eval() # 1. 凍結 BN x_adv x.detach().clone().requires_grad_(True) # 2. 只有輸入需要梯度 loss criterion(model(x_adv), y) grad, torch.autograd.grad(loss, x_adv) # 3. 只求 dL/dx不求參數(shù)梯度 x_adv x_adv.detach() eps * grad.sign() # 沿符號方向走 eps return x_adv.clamp(*clamp).detach() # 投影回合法像素范圍三個容易翻車的位置都用注釋標出來了。第一model.eval()必須在前面哪怕調用方已經切過——攻擊函數(shù)被訓練循環(huán)調用時上一行往往剛把模型切回 train。第二用x.detach().clone().requires_grad_(True)而不是直接對x開梯度原因是 DataLoader 吐出來的張量可能是只讀視圖原地改會污染原始數(shù)據(jù)。第三用torch.autograd.grad而不是loss.backward()這樣不會在模型參數(shù)的.grad上堆積梯度攻擊完模型還是干凈的。如果用 backward下一個 batch 的優(yōu)化器 step 會帶著攻擊殘留的梯度一起更新訓練直接崩。eps的量級是另一個坑。Fashion-MNIST 像素在[0,1]常見的有效區(qū)間是 0.05 到 0.15對應 12/255 到 38/255。如果從 ImageNet 的代碼里抄了8/255在 Fashion-MNIST 上偏弱攻擊后準確率可能只掉十來個點容易誤判成「模型很魯棒」。4.2 I-FGSM 與 PGD差別只在一行隨機起點I-FGSM 就是小步多走的 FGSMPGD 在它基礎上加了隨機起點。兩者共用一套骨架import torch def pgd_attack(model, x, y, eps0.1, alpha0.01, steps10, criterionNone, random_startTrue, clamp(0.0, 1.0)): if criterion is None: criterion torch.nn.CrossEntropyLoss() model.eval() x_adv x.detach().clone() if random_start: # PGD 與 I-FGSM 的唯一差別 x_adv x_adv torch.empty_like(x_adv).uniform_(-eps, eps) x_adv x_adv.clamp(*clamp) for _ in range(steps): x_adv.requires_grad_(True) loss criterion(model(x_adv), y) grad, torch.autograd.grad(loss, x_adv) x_adv x_adv.detach() alpha * grad.sign() # 單步步長 alpha delta (x_adv - x).clamp(-eps, eps) # 投影回 eps 球 x_adv (x delta).clamp(*clamp) # 再投影回像素范圍 return x_adv.detach()參數(shù)關系上alpha一般取eps/10到eps/4之間steps * alpha略大于eps是合理的因為投影會把超出部分拉回來。steps10是評估的常規(guī)配置steps7常用于訓練內循環(huán)以省時間。random_startTrue是 PGD 強于 I-FGSM 的關鍵——每次從 eps 球內的隨機點出發(fā)多次重啟可以摸到不同的局部最優(yōu)評估時把restarts設成 5 到 10 再取最差準確率報出來的數(shù)才經得起追問。requires_grad_(True)放在循環(huán)里而不是循環(huán)外是因為每次detach()之后圖就斷了必須重新掛上。4.3 對抗訓練把攻擊塞進訓練循環(huán)的順序問題對抗訓練PGD-AT的核心思路很樸素每個 batch 先用當前模型生成對抗樣本再用這些樣本來算 loss 和反傳。import torch import torch.nn as nn from attacks.pgd import pgd_attack def train_adv(model, train_loader, val_loader, epochs25, eps0.1, alpha0.01, steps7, lr0.01, devicecuda): criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lrlr, momentum0.9, weight_decay5e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) for epoch in range(epochs): model.train() for x, y in train_loader: x, y x.to(device), y.to(device) # 1) 生成對抗樣本內部會切 eval結束后手動切回 train x_adv pgd_attack(model, x, y, epseps, alphaalpha, stepssteps, criterioncriterion) model.train() # 2) 用對抗樣本前向、反傳、更新 optimizer.zero_grad(set_to_noneTrue) loss criterion(model(x_adv), y) loss.backward() optimizer.step() scheduler.step() print(fepoch {epoch}: val_acc{evaluate_acc(model, val_loader, device):.4f})順序上有兩個點必須對。第一x_adv必須在optimizer.step()之前生成用舊參數(shù)生成攻擊、用新參數(shù)學習這是標準做法如果反過來先更新參數(shù)再生成就變成了對舊模型的攻擊魯棒性提升會打折扣。第二攻擊生成階段切eval()、反傳階段切回train()目的是不讓對抗樣本去更新 BN 的 running stats——對抗樣本的分布和干凈樣本有偏移混進統(tǒng)計量之后干凈準確率會莫名其妙掉兩三個點而且很難查出來。評估這步也別省。掃一遍 eps 畫出曲線是把「魯棒」這個詞說清楚的最低要求def eval_under_attack(model, loader, eps_list, devicecuda): model.eval() rows [] for eps in eps_list: correct total 0 for x, y in loader: x, y x.to(device), y.to(device) x_adv pgd_attack(model, x, y, epseps, alphaeps/8, steps20, random_startTrue) # 評估用強攻擊 correct (model(x_adv).argmax(1) y).sum().item() total y.size(0) rows.append({eps: eps, acc: correct / total}) return rows評估時steps20起步訓練時 7 步就夠這個不對稱是有意的——訓練內循環(huán)追求速度評估必須追求可信。用弱攻擊評估強模型很容易得出「魯棒性很好」的結論實際上只是梯度被掩蔽了。我這份代碼跑下來的數(shù)量級參考干凈模型在eps0.1、PGD-20 下準確率掉到個位數(shù)做完 PGD-AT 之后干凈準確率大概 87% 到 88%同一個攻擊下能守在 75% 上下。這個交換比就是對抗訓練的本質——用幾個點的干凈精度換幾十個點的魯棒精度。5. 避坑與排查五個讓實驗結果不可信的現(xiàn)場對抗實驗最麻煩的地方不是跑不起來是跑起來了但結果是錯的而錯的結果看上去還挺合理。下面五條是我在這類項目里反復遇到的。5.1 攻擊側的三個坑坑一攻擊之后準確率還在 80% 以上以為模型很魯棒?，F(xiàn)象是 FGSM 打完幾乎沒掉點甚至個別輪次還漲了。原因通常是 eps 量級用錯從別的項目抄了8/255≈0.031在 Fashion-MNIST 上太弱也可能是像素被 Normalize 過而攻擊的clamp(0,1)把擾動削掉了一大半。解決方式是先打印(x_adv - x).abs().max()正常應該接近 eps如果遠小于 eps說明投影把它壓掉了?？佣诙€ batch 報 Trying to backward through the graph a second time?，F(xiàn)象是第一個 batch 正常第二個直接拋異常。原因是攻擊函數(shù)里用了loss.backward()而不是torch.autograd.grad或者在循環(huán)外requires_grad_(True)之后沒有detach()就進入下一輪。計算圖被復用了。解決方式是統(tǒng)一改成torch.autograd.grad(loss, x_adv)并且在每輪迭代末尾顯式detach()?？尤瑯拥?eps攻擊結果每次跑都不一樣波動能到十個點。現(xiàn)象是重跑三次拿到三個差距很大的數(shù)。原因之一是攻擊生成時模型還處在 train 模式BN 用的是當前 batch 的統(tǒng)計量batch 組成一變梯度方向就變攻擊強度跟著漂。解決方式是在攻擊函數(shù)第一行強制model.eval()不要指望調用方記得切。另一個原因是 PGD 的random_start沒設種子多 worker 下每個進程的隨機流不同這個只能靠固定種子加單 worker 調試來定位。5.2 訓練與評估側的兩個坑坑四對抗訓練 loss 不降干凈準確率從 92% 掉到 70% 以下?，F(xiàn)象是前幾個 epoch loss 一直在 2.0 附近橫盤。原因往往是超參直接沿用了干凈訓練的配置——Adam 加lr1e-3再加 20 步攻擊等價于每一步都在最難的樣本上學模型根本跟不上。解決方式是對抗訓練換 SGDlr0.01配余弦退火訓練內循環(huán)的steps降到 7前兩個 epoch 先用干凈樣本預熱再切到對抗樣本。這幾個改動做完曲線通常會正常下來?？游逵?5 步 PGD 評估就宣布魯棒換個攻擊就現(xiàn)原形?，F(xiàn)象是自己報的魯棒準確率 80%換成 20 步加 5 次重啟之后掉到 45%。這是典型的梯度掩蔽——模型學到的不是真魯棒而是讓梯度變得不可用。解決方式是評估統(tǒng)一用steps20、random_startTrue、多次重啟取最差值另外至少再交叉驗證一種攻擊比如 FGSM 和 PGD 都跑兩種攻擊的排名如果反過來說明魯棒性是假的?？恿梢暬鰜淼膱D全黑或者全白。現(xiàn)象是visualize.py存出來的對抗樣本看不出原圖。原因是前面某處做了 Normalize畫圖時直接imshow就會越界。解決方式是畫圖前統(tǒng)一反歸一化或者像這份代碼一樣全程不 Normalize只在[0,1]區(qū)間里做畫圖直接乘 255 就行。注意這五條里有三條的共同根源是「訓練/評估模式沒切對」。寫完攻擊函數(shù)之后養(yǎng)成立刻在里面補一行model.eval()的習慣能省掉大量排查時間。6. 二次開發(fā)換數(shù)據(jù)集、換攻擊組合把 demo 變成實驗底座這份代碼要往上長最先動的是數(shù)據(jù)入口。把build_loaders里的FashionMNIST換成CIFAR10同時改三處transforms加RandomCrop(32, padding4)和RandomHorizontalFlip模型第一層in_channels從 1 改成 3全連接的輸入維度從64*7*7改成64*8*832 輸入兩次池化后是 8。eps 也要跟著換CIFAR-10 上常用8/255正好是 Fashion-MNIST 那套數(shù)值的三分之一直接照搬會攻擊過強。第二個改造點是把攻擊做成可注冊的字典這樣evaluate.py掃描的時候可以一次跑多種攻擊不用改代碼# attacks/__init__.py from .fgsm import fgsm_attack from .ifgsm import ifgsm_attack from .pgd import pgd_attack ATTACKS { fgsm: fgsm_attack, ifgsm: ifgsm_attack, pgd: pgd_attack, } def build_attack(name, **kwargs): if name not in ATTACKS: raise KeyError(funknown attack: {name}, available: {list(ATTACKS)}) return lambda model, x, y, eps: ATTACKS[name](model, x, y, epseps, **kwargs)新加一個攻擊只需要在目錄里放一個同簽名的文件注冊進去即可訓練腳本和評估腳本都不用碰。這是我覺得這份代碼結構上最值得保留的一點。幾個常見的改造方向可以直接對著改改造目標改動文件關鍵動作換數(shù)據(jù)集models/small_cnn.py、utils.py改輸入通道、全連接維度、eps 量級加新攻擊attacks/新增文件保持(model, x, y, eps)簽名并注冊加集成攻擊attacks/ensemble.py多個模型梯度取平均或取最大評估更可信參數(shù)外置configs/base.yamleps / alpha / steps / lr 全提出來方便網格搜索結果歸檔evaluate.py每個 eps 打一行 csv附上 commit 和種子驗證改造有沒有改對方法很土但有效先拿干凈模型跑一遍新數(shù)據(jù)集的干凈準確率確認落在合理區(qū)間再跑eps0的攻擊結果必須和干凈準確率完全一致如果對不上說明攻擊函數(shù)在 eps 為 0 時仍然改了輸入投影或者隨機起點那步有 bug。這個自檢我每次都做比看曲線管用。從那以后我每次動 eps 或者換數(shù)據(jù)集都強制先把「eps0 的攻擊 干凈準確率」這條斷言跑一遍。對抗實驗的坑大多不在算法本身而在那些看起來無害的默認值上。希望幫到你。本文還有配套的精品資源點擊獲取