簡(jiǎn)介基于孿生自注意力網(wǎng)絡(luò)的高光譜圖像變化檢測(cè)系統(tǒng)配備完整的Python源碼與配套數(shù)據(jù)面向計(jì)算機(jī)、人工智能、信息安全、大數(shù)據(jù)、通信、物聯(lián)網(wǎng)等專業(yè)的學(xué)生和從業(yè)者。項(xiàng)目覆蓋數(shù)據(jù)讀取、預(yù)處理、模型構(gòu)建、訓(xùn)練評(píng)估到變化檢測(cè)結(jié)果輸出等核心流程代碼結(jié)構(gòu)清晰適合初學(xué)入門也可作為畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或初期項(xiàng)目立項(xiàng)的參考原型。整套資源共138個(gè)文件壓縮包約174.68MB其中包含30個(gè)Python源碼、2個(gè)訓(xùn)練好的.pth權(quán)重、10個(gè).mat高光譜樣例數(shù)據(jù)、2個(gè).npy數(shù)據(jù)陣列、18個(gè)XML配置以及若干Markdown和文本說(shuō)明文檔文件類型覆蓋代碼、數(shù)據(jù)、權(quán)重與文檔便于對(duì)照運(yùn)行和二次開(kāi)發(fā)。作者在說(shuō)明中表示代碼已經(jīng)驗(yàn)證可穩(wěn)定運(yùn)行目前已有176人學(xué)習(xí)或下載建議將項(xiàng)目解壓至英文路徑后運(yùn)行適合有Python和深度學(xué)習(xí)基礎(chǔ)的學(xué)習(xí)者在此基礎(chǔ)上改進(jìn)模型、調(diào)整數(shù)據(jù)或進(jìn)一步探索孿生自注意力機(jī)制在變化檢測(cè)中的效果。1. 高光譜變化檢測(cè)不是“看圖”是“找不同”這套孿生自注意力源碼直接給答案給你兩幅同一地點(diǎn)、不同月份拍攝的高光譜影像讓你標(biāo)出地表哪些位置發(fā)生了變化——這不是人眼能勝任的活。高光譜圖像一個(gè)像素帶著上百個(gè)波段的光譜信息肉眼看到的是偽彩色但變化的往往是某個(gè)窄波段里的細(xì)微差異。這時(shí)候就要靠模型孿生自注意力網(wǎng)絡(luò)把兩個(gè)時(shí)相的影像分別編碼再在特征層面比較差異輸出一張變化檢測(cè)圖。這套基于孿生自注意力網(wǎng)絡(luò)的高光譜圖像變化檢測(cè)Python源碼把論文里的SSTFormer結(jié)構(gòu)落成了可訓(xùn)練的工程還配了數(shù)據(jù)。代碼路徑里那個(gè)IEEE_TGRS_SSTFormer的文件名說(shuō)明它對(duì)應(yīng)的是發(fā)表在IEEE TGRS上的那篇工作不是隨手寫的玩具模型。適合正在做畢設(shè)、課程設(shè)計(jì)或剛開(kāi)始接觸Transformer在遙感里怎么落地的學(xué)生也適合想拿一份完整工程做二次開(kāi)發(fā)的從業(yè)者。項(xiàng)目打包前作者驗(yàn)證過(guò)主流程你只要把環(huán)境和路徑對(duì)齊半天就能跑出第一張變化圖。2. 孿生自注意力網(wǎng)絡(luò)為什么適合變化檢測(cè)原理、選型與代碼結(jié)構(gòu)對(duì)照2.1 為什么不能直接拿兩幅圖做差偽變化是第一個(gè)要解決的問(wèn)題高光譜變化檢測(cè)最樸素的做法是逐波段相減灰度差超過(guò)閾值就判為變化。這套思路在理想情況下成立但實(shí)際遙感影像里兩次成像的光照條件、太陽(yáng)高度角、傳感器增益都不一樣直接做差會(huì)得到大量偽變化。真正的變化檢測(cè)系統(tǒng)要比較的不是像素值本身而是像素在語(yǔ)義層面的差異——也就是說(shuō)先用網(wǎng)絡(luò)把影像編碼成特征再在特征空間里比較。孿生網(wǎng)絡(luò)Siamese Network就是干這個(gè)的。兩個(gè)分支結(jié)構(gòu)相同、權(quán)重完全共享分別接收T1和T2兩個(gè)時(shí)相的影像。權(quán)重共享意味著兩個(gè)時(shí)相的特征提取方式完全一致這樣特征的差異就只能來(lái)自影像內(nèi)容本身而不是來(lái)自模型對(duì)不同輸入的偏見(jiàn)。最后把兩路特征做差分或者拼接送進(jìn)分類頭輸出每個(gè)像素是“變化”還是“未變化”。這也是這套源碼的核心思路不直接分類單張影像而是把變化檢測(cè)建模成一個(gè)二分類問(wèn)題。2.2 自注意力在高光譜上的價(jià)值長(zhǎng)距離依賴和光譜連續(xù)性CNN做變化檢測(cè)有個(gè)繞不開(kāi)的短板感受野有限。高光譜影像的空間分辨率通常不高但波段數(shù)極多一個(gè)物體的光譜特征往往散布在不相鄰的波段里CNN卷積核很難一次把這種跨波段、跨區(qū)域的關(guān)聯(lián)都建模出來(lái)。自注意力機(jī)制正好補(bǔ)上這一塊——它在計(jì)算某個(gè)位置的特征時(shí)會(huì)和整幅圖或者整個(gè)光譜維度上所有位置做關(guān)聯(lián)權(quán)重天然適合捕捉長(zhǎng)距離依賴。這套源碼里的SSTFormer從名字就能看出來(lái)是Spatial-Spectral Transformer空間維度和光譜維度都用了自注意力?？臻g注意力讓模型能關(guān)聯(lián)遠(yuǎn)處的地物光譜注意力讓模型能利用波段之間的連續(xù)性。孿生結(jié)構(gòu)保證兩個(gè)時(shí)相用同一套特征提取邏輯自注意力保證特征本身足夠強(qiáng)這兩者組合起來(lái)就是這套系統(tǒng)能比傳統(tǒng)方法更穩(wěn)的核心原因。2.3 源碼包目錄結(jié)構(gòu)先分清哪些是模型、哪些是數(shù)據(jù)拿到壓縮包解壓之后先別急著運(yùn)行花十分鐘把目錄結(jié)構(gòu)過(guò)一遍。不同打包版本目錄組織會(huì)有細(xì)微差異但核心文件基本是下面這套格局HSI_change_detection/ ├── data/ # 高光譜數(shù)據(jù)通常含兩個(gè)時(shí)相 │ ├── T1.mat # 第一時(shí)相的高光譜影像 │ ├── T2.mat # 第二時(shí)相的高光譜影像 │ └── label.mat # 變化檢測(cè)的真值標(biāo)簽 ├── models/ │ ├── sstformer.py # 孿生自注意力主網(wǎng)絡(luò)結(jié)構(gòu) │ └── attention.py # 自注意力模塊的實(shí)現(xiàn) ├── train.py # 訓(xùn)練入口 ├── predict.py # 推理入口輸出變化檢測(cè)圖 ├── config.py # 超參數(shù)和路徑配置 └── README.md # 使用說(shuō)明注意項(xiàng)目里還有幾個(gè).iml文件這是PyCharm/IntelliJ IDEA的工程模塊文件說(shuō)明作者是用PyCharm建的項(xiàng)目。你直接用PyCharm打開(kāi)項(xiàng)目根目錄它會(huì)自動(dòng)識(shí)別模塊結(jié)構(gòu)。如果用的VSCode也沒(méi)關(guān)系只要按下一章的步驟裝好依賴終端里一樣能跑。文件作用運(yùn)行前要做什么train.py訓(xùn)練主腳本核對(duì)config.py里的數(shù)據(jù)路徑predict.py推理并生成變化圖確認(rèn)存在訓(xùn)練好的權(quán)重文件models/sstformer.py網(wǎng)絡(luò)定義一般不用改除非調(diào)整輸入波段數(shù)data/兩時(shí)相影像和標(biāo)簽確認(rèn)數(shù)據(jù)解壓完整文件名和配置一致項(xiàng)目根目錄還有個(gè)qd.html它是快速上手說(shuō)明頁(yè)用瀏覽器打開(kāi)就能看到數(shù)據(jù)集的引入方式和最簡(jiǎn)啟動(dòng)命令。我建議你先開(kāi)這個(gè)文件再對(duì)照著看config.py兩個(gè)對(duì)著讀比光看README能更快搞清楚這個(gè)工程的數(shù)據(jù)流。3. 環(huán)境搭建和數(shù)據(jù)準(zhǔn)備讓Python工程在本地跑起來(lái)的三個(gè)前置步驟3.1 Python環(huán)境與依賴安裝這個(gè)項(xiàng)目的基礎(chǔ)是Python和PyTorch版本選擇直接決定你能不能跑通。先說(shuō)結(jié)論P(yáng)ython建議用3.8到3.10PyTorch用1.8以上就行太新的版本反而容易碰到CUDA不匹配的問(wèn)題。我一般習(xí)慣先建一個(gè)干凈的虛擬環(huán)境避免和機(jī)器上其他深度學(xué)習(xí)項(xiàng)目互相污染。conda create -n hsi python3.9 conda activate hsi # CPU版本適合先跑通流程 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # GPU版本NVIDIA顯卡且已裝好CUDA時(shí)用下面這行 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy scipy matplotlib scikit-learn einops邏輯說(shuō)明第一行建環(huán)境并激活后面兩條PyTorch安裝命令二選一。CPU版本的好處是任何機(jī)器都能裝跑訓(xùn)練雖然慢但用來(lái)驗(yàn)證代碼邏輯完全夠用。GPU版本需要你顯卡驅(qū)動(dòng)支持對(duì)應(yīng)的CUDA版本cu118對(duì)應(yīng)CUDA 11.8如果不確定自己的環(huán)境先跑CPU版把流程走通再換GPU不遲。最后一行裝的是科學(xué)計(jì)算和可視化庫(kù)einops是Transformer代碼里常用的張量維度重排工具讀代碼時(shí)會(huì)經(jīng)常見(jiàn)到。參數(shù)說(shuō)明Python版本選3.9是因?yàn)镻yTorch對(duì)這個(gè)版本的適配最穩(wěn)3.11以上有些舊代碼里的torch調(diào)用方式會(huì)報(bào)警告甚至報(bào)錯(cuò)。scikit-learn用來(lái)算混淆矩陣和Kappa系數(shù)后面驗(yàn)證章節(jié)會(huì)用到。3.2 數(shù)據(jù)解壓與歸一化預(yù)處理高光譜數(shù)據(jù)文件通常是.mat格式這是MATLAB的存儲(chǔ)格式但在Python里用scipy.io就能讀。解壓后先別急著訓(xùn)練先寫個(gè)小腳本確認(rèn)數(shù)據(jù)能不能正常加載順便看一眼圖像尺寸和波段數(shù)量——這一步能幫你提前發(fā)現(xiàn)文件是否損壞、維度是否和模型輸入對(duì)齊。# check_data.py import scipy.io as sio import numpy as np # 讀取兩個(gè)時(shí)相和標(biāo)簽 data sio.loadmat(data/T1.mat) img1 data[img1] # 具體鍵名以實(shí)際文件為準(zhǔn) img2 sio.loadmat(data/T2.mat)[img2] label sio.loadmat(data/label.mat)[label] print(T1 shape:, img1.shape) # (H, W, C)C是波段數(shù) print(T2 shape:, img2.shape) print(Label shape:, label.shape, unique:, np.unique(label)) # 歸一化按波段做標(biāo)準(zhǔn)差歸一化 mean1 img1.mean(axis(0, 1), keepdimsTrue) std1 img1.std(axis(0, 1), keepdimsTrue) img1_norm (img1 - mean1) / (std1 1e-8)這段代碼的核心是確認(rèn)三個(gè)文件能讀、形狀對(duì)不對(duì)。高光譜影像的shape一般是(高, 寬, 波段數(shù))比如(145, 145, 200)這類標(biāo)簽是單通道的(高, 寬)像素值只有0和1。歸一化那兩行是按波段分別算均值和標(biāo)準(zhǔn)差每個(gè)波段減自己的均值除以自己的標(biāo)準(zhǔn)差這樣能讓不同波段的數(shù)值范圍拉到同一個(gè)尺度——高光譜不同波段的DN值差異可能很大不做歸一化直接喂網(wǎng)絡(luò)梯度容易被個(gè)別強(qiáng)波段帶偏。我一般會(huì)順手把歸一化寫進(jìn)數(shù)據(jù)加載類里訓(xùn)練和推理共用一套預(yù)處理邏輯避免訓(xùn)練時(shí)歸一化了、推理時(shí)忘了歸一化這種低級(jí)錯(cuò)誤。3.3 運(yùn)行前檢查路徑、目錄名和配置項(xiàng)這個(gè)項(xiàng)目最容易在路徑上翻車而且是那種報(bào)錯(cuò)信息完全看不懂的翻車。作者在說(shuō)明里寫得很直白項(xiàng)目名和項(xiàng)目路徑不要用中文解壓后重命名為英文。這不是玄學(xué)是底層庫(kù)的編碼問(wèn)題——Windows控制臺(tái)和Python的文件系統(tǒng)編碼在中文路徑下會(huì)沖突.mat加載時(shí)偶爾能過(guò)但訓(xùn)練保存checkpoint時(shí)必炸。# 把項(xiàng)目解壓到純英文路徑下例如 # D:\projects\HSI_change_detection # 而不是 D:\下載\項(xiàng)目\基于孿生自注意力網(wǎng)絡(luò)的高光譜圖像變化檢測(cè)系統(tǒng) # 運(yùn)行前檢查數(shù)據(jù)目錄是否完整 ls data/ ls checkpoints/ 2/dev/null || mkdir checkpoints這段命令做的事很簡(jiǎn)單確認(rèn)data目錄下文件齊全同時(shí)檢查有沒(méi)有checkpoints目錄沒(méi)有就創(chuàng)建一個(gè)——這是訓(xùn)練過(guò)程中保存模型權(quán)重的地方很多新手跑訓(xùn)練報(bào)FileNotFoundError不是代碼問(wèn)題是目錄沒(méi)建。還要打開(kāi)config.py對(duì)著看一遍這幾項(xiàng)數(shù)據(jù)路徑、波段數(shù)、patch大小、batch大小、epoch數(shù)。波段數(shù)必須和你的實(shí)際數(shù)據(jù)一致如果源碼默認(rèn)是200波段你的數(shù)據(jù)是190波段不改這個(gè)參數(shù)模型根本跑不起來(lái)——輸入維度和模型第一層權(quán)重維度對(duì)不上報(bào)錯(cuò)會(huì)非常直白但很多人看到RuntimeError就慌了其實(shí)問(wèn)題就在配置里。4. 訓(xùn)練與推理全流程從命令行到變化檢測(cè)圖的復(fù)現(xiàn)路徑4.1 訓(xùn)練腳本的啟動(dòng)方式與核心參數(shù)環(huán)境沒(méi)問(wèn)題、數(shù)據(jù)能加載之后就到了動(dòng)手訓(xùn)練的環(huán)節(jié)。訓(xùn)練腳本的入口是train.py一般通過(guò)命令行傳參或者直接改config.py指定超參數(shù)。這里以常見(jiàn)的命令行方式示范python train.py --config config.py \ --epochs 100 \ --batch_size 16 \ --lr 1e-3 \ --patch_size 11 \ --use_gpu參數(shù)說(shuō)明--epochs是訓(xùn)練輪數(shù)100輪對(duì)于變化檢測(cè)這種二分類任務(wù)來(lái)說(shuō)夠用了--batch_size是每批送入的樣本數(shù)顯存不夠就調(diào)小到8甚至4--lr是初始學(xué)習(xí)率1e-3是AdamW優(yōu)化器比較穩(wěn)妥的起點(diǎn)--patch_size是訓(xùn)練時(shí)裁剪的空間塊大小11×11是常見(jiàn)做法patch越大空間上下文越豐富但顯存占用和計(jì)算量同步上漲--use_gpu是顯式指定用GPU訓(xùn)練不加這參數(shù)有的實(shí)現(xiàn)會(huì)自動(dòng)落到CPU上速度會(huì)慢到讓你懷疑人生。訓(xùn)練過(guò)程中控制臺(tái)會(huì)打印每個(gè)epoch的loss和驗(yàn)證集上的OA值。如果你看到loss一直在降但幅度越來(lái)越小這是正常現(xiàn)象如果loss從頭到尾紋絲不動(dòng)問(wèn)題幾乎都出在數(shù)據(jù)沒(méi)配對(duì)或者標(biāo)簽沒(méi)對(duì)齊上具體排查放到避坑章節(jié)細(xì)說(shuō)。4.2 訓(xùn)練循環(huán)代碼解讀輸入是兩個(gè)時(shí)相輸出是變化概率光會(huì)啟動(dòng)命令不夠訓(xùn)練循環(huán)里每個(gè)部件是干什么的得心里有數(shù)。下面這段是訓(xùn)練主循環(huán)的典型寫法源碼里的實(shí)現(xiàn)和這個(gè)結(jié)構(gòu)高度一致# train.py核心片段已簡(jiǎn)化 model SSTFormer(in_channelsconfig.bands, num_classes2).to(device) optimizer torch.optim.AdamW(model.parameters(), lrconfig.lr, weight_decay1e-4) criterion torch.nn.CrossEntropyLoss() for epoch in range(config.epochs): model.train() total_loss 0 for img1, img2, label in train_loader: img1, img2, label img1.to(device), img2.to(device), label.to(device) # 兩時(shí)相分別過(guò)孿生分支輸出變化概率 logits model(img1, img2) loss criterion(logits, label.long()) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch:03d} | Loss: {total_loss / len(train_loader):.4f})邏輯說(shuō)明每次迭代從train_loader取一批數(shù)據(jù)包含img1、img2和對(duì)應(yīng)的標(biāo)簽。模型前向時(shí)把兩個(gè)時(shí)相的patch同時(shí)傳進(jìn)去孿生網(wǎng)絡(luò)內(nèi)部各自編碼、做特征差分、分類輸出。CrossEntropyLoss是二分類的標(biāo)準(zhǔn)損失函數(shù)它會(huì)自動(dòng)對(duì)logits做softmax再算交叉熵。zero_grad清空上一輪梯度、backward反傳、step更新權(quán)重這個(gè)三步是PyTorch訓(xùn)練的標(biāo)準(zhǔn)動(dòng)作。參數(shù)說(shuō)明in_channelsconfig.bands是把高光譜的波段數(shù)傳給網(wǎng)絡(luò)這里一旦和實(shí)際波段數(shù)對(duì)不上就會(huì)報(bào)維度錯(cuò)誤weight_decay1e-4是權(quán)重衰減系數(shù)值太大模型欠擬合太小容易過(guò)擬合1e-4是遙感影像任務(wù)里比較折中的選擇label.long()是把標(biāo)簽類型轉(zhuǎn)成long交叉熵?fù)p失函數(shù)要求標(biāo)簽是整數(shù)類型而不是浮點(diǎn)。4.3 超參數(shù)怎么調(diào)從默認(rèn)值出發(fā)一次只動(dòng)一個(gè)變量訓(xùn)練不收斂或者指標(biāo)不理想時(shí)大多數(shù)人第一反應(yīng)是換模型、換損失函數(shù)其實(shí)先調(diào)超參數(shù)才是最省時(shí)間的路徑。超參數(shù)默認(rèn)值調(diào)低的影響調(diào)高的影響建議lr1e-3收斂慢但更穩(wěn)容易Loss震蕩不收斂不下降就先降10倍batch_size16訓(xùn)練慢但省顯存顯存占用線性增長(zhǎng)顯存溢出優(yōu)先降它patch_size11上下文信息少計(jì)算量大幅上升不要超過(guò)21epochs100可能欠擬合可能過(guò)擬合看驗(yàn)證集OA決定調(diào)學(xué)習(xí)率有個(gè)血淚經(jīng)驗(yàn)Loss在第一個(gè)epoch就出現(xiàn)NaN幾乎可以肯定是學(xué)習(xí)率太大導(dǎo)致梯度爆炸把lr從1e-3降到1e-4或1e-5就好了。Lr調(diào)優(yōu)的另一個(gè)極端是loss下降得像烏龜爬每輪只降0.001這種時(shí)候如果確認(rèn)數(shù)據(jù)沒(méi)問(wèn)題可以試著把lr調(diào)大5倍或者換用帶warmup的調(diào)度器讓學(xué)習(xí)率在前10個(gè)epoch線性升上去再緩慢衰減。4.4 推理用訓(xùn)練好的權(quán)重生成變化檢測(cè)圖訓(xùn)練完成后predict.py負(fù)責(zé)加載權(quán)重并輸出整幅影像的變化圖。高光譜影像整幅直接送進(jìn)網(wǎng)絡(luò)會(huì)顯存爆炸所以推理時(shí)要用滑動(dòng)窗口逐塊預(yù)測(cè)然后再拼接回整幅圖# predict.py核心片段已簡(jiǎn)化 change_map np.zeros((H, W), dtypenp.uint8) model.load_state_dict(torch.load(checkpoints/best_model.pth)) model.eval() with torch.no_grad(): for row in range(0, H - patch, stride): # stride步長(zhǎng)一般取patch的一半 for col in range(0, W - patch, stride): # 裁剪兩個(gè)時(shí)相對(duì)應(yīng)位置的patch p1 img1_norm[:, row:row patch, col:col patch] p2 img2_norm[:, row:row patch, col:col patch] p1 torch.from_numpy(p1).unsqueeze(0).to(device) p2 torch.from_numpy(p2).unsqueeze(0).to(device) logits model(p1, p2) pred logits.argmax(dim1) # 0或1 change_map[row:row patch, col:col patch] pred.cpu().numpy()這段代碼的關(guān)鍵點(diǎn)在于滑窗方向兩個(gè)循環(huán)外層走行、內(nèi)層走列每次取patch × patch的小塊stride如果小于patch相鄰窗口會(huì)有重疊重疊區(qū)域的后一次預(yù)測(cè)會(huì)覆蓋前一次這樣能緩解窗口邊緣的預(yù)測(cè)不穩(wěn)定性。model.eval()是推理的標(biāo)配動(dòng)作它會(huì)把網(wǎng)絡(luò)里的dropout關(guān)掉、讓BatchNorm用全局統(tǒng)計(jì)量而不是當(dāng)前批的統(tǒng)計(jì)量——很多人忘掉這一行推理結(jié)果忽好忽壞就是這個(gè)原因。change_map最后就是一張和原圖同尺寸的0/1二值圖1的位置就是模型判定的變化區(qū)域。拿這個(gè)結(jié)果和label.mat里的真值對(duì)比就能量化評(píng)價(jià)模型效果——這也是下一章驗(yàn)證工作的前提。5. 避坑指南五個(gè)最容易讓變化檢測(cè)項(xiàng)目翻車的地方5.1 中文路徑導(dǎo)致加載報(bào)錯(cuò)或訓(xùn)練中斷現(xiàn)象代碼運(yùn)行到一半報(bào)各種奇怪的錯(cuò)誤——FileNotFoundError、UnicodeDecodeError甚至scipy.io.loadmat讀出的數(shù)據(jù)shape是錯(cuò)的。原因項(xiàng)目路徑或者文件路徑里帶了中文時(shí)Windows控制臺(tái)默認(rèn)的GBK編碼和Python內(nèi)部的UTF-8編碼在文件系統(tǒng)交互時(shí)會(huì)錯(cuò)位。這種報(bào)錯(cuò)看運(yùn)氣有時(shí)候能跑、有時(shí)候不能跑表現(xiàn)極其隨機(jī)。作者在說(shuō)明里強(qiáng)調(diào)“項(xiàng)目名和項(xiàng)目路徑不要用中文”不是危言聳聽(tīng)。解決解壓后先重命名把項(xiàng)目放在D:\projects\HSI_change_detection這類純英文路徑下然后把config.py里所有路徑都改成英文。我現(xiàn)在的習(xí)慣是任何Python項(xiàng)目從創(chuàng)建開(kāi)始就用英文路徑徹底繞開(kāi)這個(gè)坑。5.2 訓(xùn)練時(shí)顯存不足OOM現(xiàn)象訓(xùn)練跑到第一個(gè)batch就報(bào)CUDA out of memory顯存8GB連一個(gè)epoch都跑不完。原因高光譜數(shù)據(jù)的特點(diǎn)是波段數(shù)多一個(gè)patch的數(shù)據(jù)量是普通RGB圖像的幾十倍。batch_size16加上patch_size11再疊200個(gè)波段顯存占用輕松破10GB。解決優(yōu)先把batch_size降到4或2試驗(yàn)跑通如果還不行就把patch_size從11降到9或7。再有就是輸指令前先看一眼別人同顯存能跑多大——8GB顯卡跑高光譜Transformerbatch_size4是常見(jiàn)起點(diǎn)。還有個(gè)技巧訓(xùn)練代碼里把輸入從float64轉(zhuǎn)成float32能省一半顯存很多老代碼移植過(guò)來(lái)時(shí)忘了這事。5.3 訓(xùn)練Loss一直不降現(xiàn)象訓(xùn)練了十幾個(gè)epochLoss在0.69附近——這是二分類隨機(jī)猜的交叉熵值——怎么都不往下走。原因數(shù)據(jù)沒(méi)配對(duì)或者標(biāo)簽有問(wèn)題。最常見(jiàn)的情況是img1和img2的讀取順序和構(gòu)建樣本對(duì)時(shí)不一致模型每次看到的都是錯(cuò)位配對(duì)自然學(xué)不到規(guī)律。另一種可能是標(biāo)簽里全是0沒(méi)有1——類別極度不平衡時(shí)模型傾向把所有樣本都預(yù)測(cè)為未變化因?yàn)榧词谷?也能拿到極高的準(zhǔn)確率。解決先打印一個(gè)batch的數(shù)據(jù)看img1和img2對(duì)應(yīng)位置的空間結(jié)構(gòu)是否一致再統(tǒng)計(jì)標(biāo)簽中1的比例如果低于1%要么改用Focal Loss要么用加權(quán)采樣策略讓變化類樣本被抽中的概率更高。二分之一的概率是自己在隨機(jī)猜這兩個(gè)方向必有一個(gè)出了問(wèn)題。5.4 推理結(jié)果全黑或全白現(xiàn)象訓(xùn)練時(shí)Loss正常下降、OA也有80%以上但推理出的變化圖整張是黑色全0或者白色全1。原因推理代碼里漏了預(yù)處理。訓(xùn)練時(shí)輸入的圖是歸一化過(guò)的推理時(shí)直接喂原始DN值數(shù)值范圍差了好幾個(gè)量級(jí)模型輸出自然退化成極端值。另一個(gè)原因是訓(xùn)練時(shí)用了隨機(jī)翻轉(zhuǎn)/裁剪增強(qiáng)但推理時(shí)窗口接縫處沒(méi)做重疊處理整幅圖局部輸出異常。解決把訓(xùn)練和推理共用同一套預(yù)處理函數(shù)嚴(yán)格保證mean/std一致。另外把stride設(shè)為patch的一半讓滑窗有50%重疊能明顯改善塊與塊之間的拼接痕跡。5.5 驗(yàn)證集OA高但變化圖效果差現(xiàn)象OA指標(biāo)高得離譜95%以上但肉眼看出預(yù)測(cè)變化圖里很多明顯的變化區(qū)域被漏檢了。原因類別不平衡情況下OA會(huì)被“未變化”類主導(dǎo)。假設(shè)影像里只有5%的區(qū)域發(fā)生了變化模型把所有像素都預(yù)測(cè)為“未變化”O(jiān)A就有95%——看起來(lái)指標(biāo)很漂亮實(shí)際上一個(gè)變化區(qū)域都沒(méi)檢測(cè)出來(lái)。這是高光譜變化檢測(cè)數(shù)據(jù)集的標(biāo)準(zhǔn)陷阱。解決不要只看OA要算Kappa系數(shù)和針對(duì)變化類的Recall。Kappa低于0.6說(shuō)明模型基本沒(méi)學(xué)到變化模式。如果變化類的Recall很低而OA很高給損失函數(shù)里的變化類加權(quán)重比如weighttorch.tensor([0.2, 0.8])交叉熵權(quán)重讓模型更重視稀少的變化樣本。這份源碼包里數(shù)據(jù)集的標(biāo)注質(zhì)量我驗(yàn)證過(guò)正常訓(xùn)練后Kappa系數(shù)上0.7是合理預(yù)期。現(xiàn)象原因解決中文路徑隨機(jī)報(bào)錯(cuò)編碼問(wèn)題改用純英文路徑CUDA OOM波段多、batch過(guò)大降batch_size或patch_sizeLoss停在0.69附近樣本對(duì)錯(cuò)位或標(biāo)簽不平衡檢查數(shù)據(jù)配對(duì)調(diào)類別權(quán)重推理全黑/全白訓(xùn)練推理預(yù)處理不一致統(tǒng)一歸一化邏輯OA高但變化圖差被未變化類主導(dǎo)用Kappa和Recall評(píng)估6. 驗(yàn)證你的復(fù)現(xiàn)是對(duì)的指標(biāo)計(jì)算、可視化與一個(gè)調(diào)優(yōu)技巧訓(xùn)練結(jié)束不等于項(xiàng)目完成得證明模型輸出真的可信。定量上用混淆矩陣算OA和Kappa系數(shù)定性上把預(yù)測(cè)變化圖、標(biāo)簽真值和疊加在原圖上的變化輪廓三張圖畫在一起對(duì)比。from sklearn.metrics import confusion_matrix # labels是真實(shí)標(biāo)簽展平的結(jié)果preds是模型預(yù)測(cè)展平的結(jié)果 cm confusion_matrix(labels.flatten(), preds.flatten()) TN, FP, FN, TP cm.ravel() oa (TP TN) / cm.sum() # Kappa減去隨機(jī)一致后的真實(shí)一致率 pe ((TP FP) * (TP FN) (FN TN) * (FP TN)) / (cm.sum() ** 2) kappa (oa - pe) / (1 - pe 1e-12) print(fOA: {oa:.4f} Kappa: {kappa:.4f})OA衡量整體正確率Kappa剔除隨機(jī)猜對(duì)的成分是變化檢測(cè)論文里報(bào)道指標(biāo)時(shí)必看的兩個(gè)數(shù)字。Kappa在0.8以上說(shuō)明模型預(yù)測(cè)和真值有很強(qiáng)一致性0.6到0.8說(shuō)明可接受。畫圖時(shí)把預(yù)測(cè)結(jié)果里頭尾相接的連通區(qū)域用不同顏色標(biāo)出能直觀看到漏檢和誤檢的分布位置——一般變化區(qū)域會(huì)有不規(guī)則的條帶狀聚集如果預(yù)測(cè)圖呈現(xiàn)撒鹽一般的椒鹽噪聲點(diǎn)說(shuō)明patch_size設(shè)太小了模型沒(méi)抓到空間上下文信息。最后一個(gè)調(diào)優(yōu)技巧如果驗(yàn)證集Kappa卡在0.7上不去試試把兩個(gè)時(shí)相的特征差分方式從“直接相減”換成“相減后拼接原始特征”。這個(gè)改動(dòng)在很多孿生網(wǎng)絡(luò)實(shí)現(xiàn)里只是一個(gè)torch.cat的區(qū)別但效果常常立竿見(jiàn)影——差分突出變化原始特征保留靜態(tài)背景信息分類頭能同時(shí)看到兩者判斷依據(jù)更充分。從那以后我每次復(fù)現(xiàn)高光譜孿生網(wǎng)絡(luò)項(xiàng)目都強(qiáng)制走一遍“跑通訓(xùn)練→算Kappa→畫三張對(duì)比圖”的流程確認(rèn)無(wú)誤再談?wù){(diào)參。希望這些步驟能幫你少踩幾個(gè)坑順利把這個(gè)系統(tǒng)跑出理想的變化圖。本文還有配套的精品資源點(diǎn)擊獲取