簡介本資源是一份面向遙感圖像處理研究者、深度學習初學者及地理信息工程實踐者的PyTorch語義分割實戰(zhàn)教程聚焦高分二號GF-2等高分辨率遙感影像的地物精細分割任務解決環(huán)境監(jiān)測、城市規(guī)劃中像素級地物識別難、數(shù)據(jù)標注缺、模型復現(xiàn)弱等實際問題。壓縮包共1029個文件含819張遙感影像與真值標簽PNG圖、35個核心Python訓練/推理腳本含數(shù)據(jù)加載、U-Net結(jié)構(gòu)實現(xiàn)、IoU評估等、1個CSV元數(shù)據(jù)文件、1份README.md說明文檔及可視化結(jié)果樣例圖整體577.48MB結(jié)構(gòu)清晰開箱即用。已有94人學習下載覆蓋從遙感圖像預處理、多波段數(shù)據(jù)讀取、標簽制作到模型訓練與結(jié)果融合的完整鏈路附帶真實場景預測效果圖predict.png、blend.png、img_gt_pre.png及典型樣本classes_sample.jpg顯著降低遙感語義分割項目落地門檻。1. 高分遙感圖像語義分割實現(xiàn)不是調(diào)個UNet就能跑通的“端到端流程”而是從GF2原始影像到像素級地物標簽的完整閉環(huán)你手頭有一張高分二號GF2PMS2傳感器拍攝的遙感圖波段數(shù)4、空間分辨率1米、幅寬約10km——但直接扔進PyTorch訓練大概率在DataLoader卡死、loss不降反升、predict.png里全是噪點斑塊。這不是模型不行而是遙感圖像語義分割根本不是CV通用任務的簡單平移它要求你同時處理多光譜對齊誤差、大尺寸內(nèi)存溢出、地物類別長尾分布、標注掩膜與原始影像坐標系錯位這四大硬傷。本項目提供的不是“PyTorch語義分割Demo”而是一套經(jīng)過GF2_PMS2_E116.0_N39.1_20170302_L1A0002214760-MSS2實測驗證的落地鏈路含真實采集的4波段影像含.csv元數(shù)據(jù)、人工精標8類地物掩膜classes_sample.jpg定義、預處理腳本、輕量UNet主干ASPP增強結(jié)構(gòu)、以及可復現(xiàn)的img_gt_pre.png可視化對比結(jié)果。適合遙感方向研究生做畢設基線、地信工程師快速部署小范圍解譯模塊、或算法崗面試前突擊遙感實戰(zhàn)細節(jié)——尤其當你發(fā)現(xiàn)Cityscapes預訓練權重在農(nóng)田邊緣完全失效時這份資源能讓你少踩3周坑。2. 數(shù)據(jù)結(jié)構(gòu)解析與預處理為什么GF2影像必須重采樣歸一化切塊而不是直接resize2.1 GF2_PMS2原始數(shù)據(jù)的物理特性與格式陷阱項目中提供的GF2_PMS2_E116.0_N39.1_20170302_L1A0002214760-MSS2_*.png是經(jīng)L1A級輻射定標后的4波段影像B1-B4對應藍、綠、紅、近紅外但注意非標準RGB排列文件名末尾MSS2表示多光譜傳感器2號其波段順序為[B, G, R, NIR]而非OpenCV默認的[B, G, R]DN值范圍非0-255原始DN值區(qū)間為0~102310bit量化直接轉(zhuǎn)uint8會丟失近紅外波段動態(tài)范圍地理坐標未嵌入.csv元數(shù)據(jù)包含成像時間、太陽高度角、衛(wèi)星姿態(tài)角但無GeoTIFF地理參考信息因此不能用rasterio直接讀取空間坐標需依賴img_gt_pre.png中人工標注的像素級對應關系。提示classes_sample.jpg不是類別列表而是8類地物的彩色編碼圖如建筑紅色、道路黃色、水體藍色其RGB值即為訓練時的label映射表。務必用cv2.IMREAD_UNCHANGED讀取避免PNG alpha通道被丟棄導致顏色失真。2.2 四步預處理流水線從原始影像到PyTorch DataLoader可接受張量以下腳本需在data_preprocess.py中實現(xiàn)項目已提供完整代碼此處拆解關鍵邏輯import numpy as np import cv2 from pathlib import Path def preprocess_gf2_image(img_path: str, label_path: str, target_size(512, 512), norm_methodminmax) - tuple[np.ndarray, np.ndarray]: # Step 1: 讀取4波段影像并校驗通道順序 img cv2.imread(img_path, cv2.IMREAD_UNCHANGED) # shape: (H, W, 4) if img.shape[-1] ! 4: raise ValueError(fExpected 4 bands, got {img.shape[-1]} in {img_path}) # Step 2: DN值歸一化關鍵避免NIR波段主導梯度 if norm_method minmax: # 對每個波段獨立歸一化保留光譜特征差異 img_norm np.zeros_like(img, dtypenp.float32) for i in range(4): band img[:, :, i] band_min, band_max band.min(), band.max() img_norm[:, :, i] (band - band_min) / (band_max - band_min 1e-6) else: # z-score適用于多時相聯(lián)合訓練 img_norm (img - img.mean(axis(0,1))) / (img.std(axis(0,1)) 1e-6) # Step 3: 切塊非簡單resize避免地物形變 h, w img_norm.shape[:2] patches [] for i in range(0, h, target_size[0]): for j in range(0, w, target_size[1]): patch img_norm[i:itarget_size[0], j:jtarget_size[1]] if patch.shape[0] target_size[0] and patch.shape[1] target_size[1]: patches.append(patch) # Step 4: 讀取并同步label掩膜需嚴格像素對齊 label cv2.imread(label_path, cv2.IMREAD_UNCHANGED) # shape: (H, W, 3) label_patches [] for i in range(0, h, target_size[0]): for j in range(0, w, target_size[1]): patch label[i:itarget_size[0], j:jtarget_size[1]] if patch.shape[0] target_size[0] and patch.shape[1] target_size[1]: # 將RGB label轉(zhuǎn)為單通道class_id查classes_sample.jpg映射表 label_id rgb_to_class_id(patch) # 實現(xiàn)見下文 label_patches.append(label_id) return np.stack(patches), np.stack(label_patches) def rgb_to_class_id(rgb_label: np.ndarray) - np.ndarray: 根據(jù)classes_sample.jpg定義的RGB→class_id映射生成單通道label # classes_sample.jpg中各色塊中心RGB值實測提取 class_map { (255, 0, 0): 0, # 建筑紅 (255, 255, 0): 1, # 道路黃 (0, 0, 255): 2, # 水體藍 (0, 255, 0): 3, # 植被綠 (255, 165, 0): 4, # 裸土橙 (128, 0, 128): 5, # 農(nóng)田紫 (0, 255, 255): 6, # 濕地青 (128, 128, 128): 7 # 其他灰 } h, w, _ rgb_label.shape label_id np.zeros((h, w), dtypenp.uint8) for r in range(h): for c in range(w): key tuple(rgb_label[r, c]) label_id[r, c] class_map.get(key, 0) # 默認建筑類避免未定義色塊報錯 return label_id參數(shù)說明target_size(512, 512)遙感影像切塊尺寸需滿足GPU顯存限制RTX3090可支持512×512×4波段輸入norm_methodminmax推薦初學者使用避免z-score在單景影像上因統(tǒng)計量偏差導致歸一化失真rgb_to_class_id函數(shù)中class_map鍵值對必須與classes_sample.jpg實際像素值嚴格一致——建議用cv2.imshow逐像素校驗這是后續(xù)訓練label錯位的首要排查點。2.3 預處理后數(shù)據(jù)集結(jié)構(gòu)與加載器配置執(zhí)行預處理后生成的目錄結(jié)構(gòu)如下data/ ├── train/ │ ├── images/ # 512×512×4的npy文件float32 │ └── labels/ # 512×512的npy文件uint80-7 ├── val/ │ ├── images/ │ └── labels/ └── classes_sample.jpg # 類別定義源文件torch.utils.data.Dataset需重寫__getitem__以適配4波段輸入class GF2Dataset(Dataset): def __init__(self, img_dir: Path, label_dir: Path, transformNone): self.img_paths sorted(img_dir.glob(*.npy)) self.label_paths sorted(label_dir.glob(*.npy)) assert len(self.img_paths) len(self.label_paths) self.transform transform def __getitem__(self, idx): img np.load(self.img_paths[idx]) # shape: (512, 512, 4) label np.load(self.label_paths[idx]) # shape: (512, 512) # PyTorch要求CHW格式且4波段需保持通道維度 img torch.from_numpy(img.transpose(2, 0, 1)) # → (4, 512, 512) label torch.from_numpy(label).long() # → (512, 512) if self.transform: img self.transform(img) return img, label關鍵配置項batch_size84波段×512×512輸入在RTX3090上顯存占用約12GBbatch_size8為安全上限num_workers4預處理已轉(zhuǎn)為npy無需CPU實時解碼num_workers0可加速數(shù)據(jù)搬運禁止使用transforms.Normalize因4波段歸一化已在預處理階段完成此處再標準化會導致NIR波段數(shù)值坍縮。3. 模型架構(gòu)與訓練策略為什么UNet比DeepLabV3更適合GF2小樣本場景3.1 針對遙感圖像的網(wǎng)絡結(jié)構(gòu)選型依據(jù)通用語義分割模型如DeepLabV3在遙感任務中常表現(xiàn)不佳核心矛盾在于感受野過大DeepLabV3空洞卷積設計針對城市街景物體尺度集中而GF2影像中農(nóng)田斑塊可達1000×1000像素建筑僅20×20像素單一感受野無法兼顧多尺度特征融合不足遙感地物存在顯著尺度差異如水庫vs電線桿UNet的嵌套跳躍連接能更精細地傳遞局部紋理與全局上下文參數(shù)量敏感本項目僅提供約200張切片≈1000樣本大模型易過擬合UNet約12M參數(shù)比HRNet≈28M更適配小數(shù)據(jù)集。項目采用UNet with ASPP backbone非標準UNet主干替換為ResNet18ASPP結(jié)構(gòu)如下Input (4,512,512) ├─ Encoder: ResNet18 (modified for 4-channel input) │ ├─ Stage0: Conv7x7 BN ReLU → (64,256,256) │ ├─ Stage1: 2×ResBlock → (64,128,128) │ ├─ Stage2: 2×ResBlock → (128,64,64) │ ├─ Stage3: 2×ResBlock → (256,32,32) │ └─ Stage4: ASPP module (rates[1,6,12,18]) → (256,32,32) ├─ Decoder: UNet nested skip connections │ ├─ Level1: 4×concat(Stage4, Stage3_up) → (512,64,64) │ ├─ Level2: 3×concat(Stage2_up, Level1_up) → (256,128,128) │ └─ Level3: 2×concat(Stage1_up, Level2_up) → (128,256,256) └─ Output: Conv1x1 → (8,512,512) Softmax3.2 4波段輸入適配與損失函數(shù)定制ResNet18默認接收3通道輸入需修改第一層卷積import torchvision.models as models def build_unetpp_aspp(num_classes8, pretrainedTrue): # 加載預訓練ResNet18僅用ImageNet權重初始化前幾層 backbone models.resnet18(pretrainedpretrained) # 替換第一層卷積以支持4通道輸入 backbone.conv1 nn.Conv2d(4, 64, kernel_size7, stride2, padding3, biasFalse) # 初始化新卷積層權重保持ImageNet預訓練特征遷移能力 if pretrained: # 復制原3通道權重第4通道用均值初始化 with torch.no_grad(): backbone.conv1.weight[:, :3] backbone.conv1.weight[:, :3].clone() backbone.conv1.weight[:, 3] backbone.conv1.weight[:, :1].mean(dim1) # 構(gòu)建ASPP模塊簡化版避免引入過多參數(shù) aspp ASPP(in_channels512, out_channels256, rates[1,6,12,18]) # UNet decoder部分項目已提供完整實現(xiàn)此處略 decoder UNetPPDecoder(backbone, aspp, num_classesnum_classes) return nn.Sequential(backbone, aspp, decoder)損失函數(shù)選擇主損失Dice Loss CrossEntropy Loss加權組合α0.5緩解農(nóng)田/植被等大類對loss的主導輔助損失Boundary-aware Loss在label邊緣1像素內(nèi)加權提升道路、水體等線狀地物邊界精度禁用Focal Loss因GF2數(shù)據(jù)集各類別樣本量相對均衡classes_sample.jpg顯示8類覆蓋均勻Focal Loss反而降低小類召回。3.3 訓練超參與收斂監(jiān)控要點# 推薦訓練命令基于項目提供的train.py python train.py \ --data_dir ./data \ --model unetpp_aspp \ --batch_size 8 \ --lr 1e-3 \ --epochs 120 \ --scheduler cosine \ --warmup_epochs 5 \ --weight_decay 1e-4 \ --save_dir ./checkpoints/gf2_unetpp_v1關鍵參數(shù)解釋--lr 1e-34波段輸入使梯度方差增大初始學習率需比RGB任務低10倍--scheduler cosine配合--warmup_epochs 5避免早期loss震蕩遙感影像噪聲導致初始梯度不穩(wěn)定--weight_decay 1e-4防止ASPP模塊中大卷積核過擬合監(jiān)控指標必須包含Boundary F1在val階段額外計算label邊緣1像素內(nèi)的F1-scoreGF2任務中該指標比mIoU更能反映工程可用性。4. 預測與后處理如何讓predict.png真正可用而非僅滿足可視化4.1 滑動窗口預測與重疊區(qū)域融合單張GF2原始影像尺寸通常為8000×8000遠超GPU顯存承載能力。項目采用滑動窗口重疊融合策略def sliding_window_predict(model, img_tensor: torch.Tensor, window_size512, overlap128, devicecuda): img_tensor: (4, H, W) 歸一化后的4波段張量 返回: (C, H, W) 概率圖 model.eval() h, w img_tensor.shape[1:] prob_map torch.zeros((8, h, w), devicedevice) # 8類概率圖 count_map torch.zeros((h, w), devicedevice) # 每像素被預測次數(shù) # 生成滑動窗口坐標 for i in range(0, h - window_size 1, overlap): for j in range(0, w - window_size 1, overlap): window img_tensor[:, i:iwindow_size, j:jwindow_size] window window.unsqueeze(0).to(device) # (1,4,512,512) with torch.no_grad(): pred_prob torch.softmax(model(window), dim1)[0] # (8,512,512) # 融合到全局prob_map加權平均邊緣區(qū)域權重衰減 weight generate_gaussian_weight(window_size, overlap) prob_map[:, i:iwindow_size, j:jwindow_size] \ pred_prob * weight.unsqueeze(0) count_map[i:iwindow_size, j:jwindow_size] weight # 歸一化 prob_map prob_map / count_map.unsqueeze(0) return prob_map def generate_gaussian_weight(win_size, overlap): 生成高斯衰減權重中心區(qū)域權重1邊緣線性衰減至0.5 x torch.arange(win_size) y torch.arange(win_size) xx, yy torch.meshgrid(x, y, indexingij) center win_size // 2 dist torch.sqrt((xx - center)**2 (yy - center)**2) weight torch.exp(-dist**2 / (2 * (overlap/2)**2)) weight torch.clamp(weight, min0.5, max1.0) # 限制最小權重 return weight參數(shù)說明overlap128保證相鄰窗口重疊25%避免切塊邊界出現(xiàn)偽影generate_gaussian_weight比簡單平均更魯棒抑制窗口邊緣因感受野截斷導致的預測偏差必須在GPU上執(zhí)行count_map和prob_map需全程駐留顯存CPU-GPU頻繁拷貝會導致預測速度下降5倍以上。4.2 后處理形態(tài)學優(yōu)化與矢量化導出predict.png直接輸出的是概率圖argmax結(jié)果需經(jīng)三步后處理才具備GIS系統(tǒng)導入條件步驟操作OpenCV函數(shù)參數(shù)說明1. 連通域過濾剔除小于50像素的噪聲斑點cv2.connectedComponentsWithStatsmin_area50保留STAT_AREA≥50的連通域2. 邊界平滑消除鋸齒狀邊緣尤其道路/水體cv2.morphologyExcv2.GaussianBlurkernel_size5,sigma1.0先高斯模糊再二值化3. 矢量化導出生成GeoJSON需坐標系信息rasterio.features.shapes使用img_gt_pre.png中已知的像素-地理坐標映射關系注意項目未提供地理坐標轉(zhuǎn)換模塊因GF2_PMS2_*.csv中缺少RPC參數(shù)。實際工程中需聯(lián)系數(shù)據(jù)提供商獲取RPC文件或用gdal_translate -a_srs EPSG:4326手動指定WGS84坐標系。4.3blend.png與img_gt_pre.png的生成邏輯項目中的blend.png是原始影像與預測結(jié)果的疊加圖img_gt_pre.png則并排顯示Ground Truth與Prediction。生成代碼需確保色彩映射嚴格一致def create_blend_visualization(img_path, pred_label, save_path): # 讀取原始影像4波段→RGB假彩色RNIR, GR, BG img cv2.imread(img_path, cv2.IMREAD_UNCHANGED) rgb_img np.stack([img[:,:,3], img[:,:,2], img[:,:,1]], axis2) # NIR-R-G # 將pred_label轉(zhuǎn)為彩色圖復用classes_sample.jpg的RGB映射 color_map np.array([ [255, 0, 0], # 建筑 [255, 255, 0], # 道路 [0, 0, 255], # 水體 [0, 255, 0], # 植被 [255, 165, 0], # 裸土 [128, 0, 128], # 農(nóng)田 [0, 255, 255], # 濕地 [128, 128, 128] # 其他 ], dtypenp.uint8) color_pred color_map[pred_label] # (H,W,3) # 疊加原始影像透明度0.6 預測掩膜透明度0.4 blend cv2.addWeighted(rgb_img, 0.6, color_pred, 0.4, 0) cv2.imwrite(save_path, blend) def create_comparison_plot(gt_label, pred_label, save_path): 生成GT與Pred并排對比圖 color_map ... # 同上 gt_color color_map[gt_label] pred_color color_map[pred_label] fig, axes plt.subplots(1, 2, figsize(12, 6)) axes[0].imshow(gt_color); axes[0].set_title(Ground Truth) axes[1].imshow(pred_color); axes[1].set_title(Prediction) plt.savefig(save_path, bbox_inchestight)避坑重點rgb_img構(gòu)造必須用[NIR,R,G]而非[R,G,B]否則植被在假彩色中不顯綠色color_map索引必須與classes_sample.jpg中實際RGB值完全一致任何1像素偏差都會導致整類地物著色錯誤。5. 避坑指南GF2語義分割中80%失敗源于這5個隱蔽問題5.1 現(xiàn)象訓練loss震蕩劇烈10個epoch內(nèi)從2.5跳到0.8又回到2.1原因GF2影像DN值范圍0~1023未歸一化導致NIR波段B4梯度爆炸反向傳播時權重更新失穩(wěn)。解決強制在data_preprocess.py中添加波段級min-max歸一化禁止使用全局歸一化img / 1023會壓縮NIR動態(tài)范圍。驗證方法打印img[:, :, 3].std()歸一化后應≈0.28非0.001或1.0。5.2 現(xiàn)象predict.png中所有像素均為類別0建筑其他類全為0原因rgb_to_class_id函數(shù)中classes_sample.jpg讀取時被cv2.IMREAD_COLOR自動轉(zhuǎn)為BGR導致RGB元組匹配失敗如(255,0,0)讀成(0,0,255)。解決改用cv2.IMREAD_UNCHANGED讀取并用print(np.unique(label_rgb, axis0))校驗前10個像素RGB值。血淚經(jīng)驗每次更換classes_sample.jpg必須重新校驗。5.3 現(xiàn)象驗證集mIoU穩(wěn)定在65%但blend.png中道路邊緣嚴重鋸齒原因未啟用Boundary-aware Loss且滑動窗口預測時未加高斯權重導致窗口拼接處邊緣不連續(xù)。解決在損失函數(shù)中加入boundary_loss dice_loss(pred_boundary, gt_boundary)其中gt_boundary用cv2.Canny(gt_label, 100, 200)生成同時sliding_window_predict中必須啟用generate_gaussian_weight。5.4 現(xiàn)象DataLoader報錯OSError: Too many open files原因Linux系統(tǒng)默認ulimit -n為1024而GF2切片數(shù)量超2000num_workers0時子進程打開文件句柄超限。解決終端執(zhí)行ulimit -n 65536并在Python中設置torch.multiprocessing.set_sharing_strategy(file_system)。玄學操作重啟Python kernel后首次運行必成功第二次必失敗——這是Linux文件句柄泄漏的典型表現(xiàn)。5.5 現(xiàn)象predict.png與img_gt_pre.png尺寸不一致無法并排比較原因原始影像GF2_*.png存在1-2像素的JPEG壓縮偽影cv2.imread讀取后尺寸微變?nèi)?000×8000讀成7999×7999導致切塊數(shù)不匹配。解決預處理前強制cv2.resize(img, (8000,8000))或用PIL.Image.open().convert(RGB)替代cv2.imreadPIL對JPEG偽影魯棒性更強。后悔藥在README.md中增加# 數(shù)據(jù)校驗章節(jié)要求用戶運行verify_dimensions.py腳本確認所有影像尺寸一致。6. 工程級驗證技巧用img_gt_pre.png反推模型缺陷而非只看mIoU6.1 三步定位法從可視化圖直擊模型弱點img_gt_pre.png不是裝飾品而是診斷報告。我習慣按此順序排查聚焦錯誤高發(fā)區(qū)域用cv2.threshold二值化GT與Pred的差異圖diff cv2.absdiff(gt, pred)觀察錯誤像素是否集中在特定地物交界處如農(nóng)田-道路、水體-裸土檢查類別混淆矩陣對diff圖按GT類別統(tǒng)計錯誤像素數(shù)若“裸土”被誤判為“農(nóng)田”占比超40%說明模型未學好土壤光譜特征回溯原始影像在GF2_*.png中定位錯誤區(qū)域查看該處NIR波段B4DN值是否異常如云陰影導致NIR值驟降確認是否為數(shù)據(jù)質(zhì)量問題而非模型缺陷。6.2 動態(tài)閾值評估為什么固定0.5閾值會誤判濕地遙感影像中濕地class6在NIR波段反射率極低其預測概率圖常呈“彌散狀低置信度”若用pred_prob.argmax(dim0)硬分類會將大量濕地像素判為鄰近的水體class2。解決方案# 對濕地類單獨設置動態(tài)閾值 wetland_prob pred_prob[6] # (H,W) wetland_mask (wetland_prob 0.3) (pred_prob[2] 0.2) # NIR低水體概率低 final_pred torch.where(wetland_mask, torch.full_like(final_pred, 6), final_pred)參數(shù)依據(jù)在val集上統(tǒng)計濕地像素的pred_prob[6].mean()≈0.28故閾值設為0.3同時要求水體概率0.2排除混疊。6.3 長尾類別增強農(nóng)田class5的過采樣策略classes_sample.jpg顯示農(nóng)田占比約25%但訓練時仍易被忽略。我采用在線過采樣而非離線復制class BalancedSampler(Sampler): def __init__(self, dataset, class_weights): self.dataset dataset self.class_weights class_weights # [1.0,1.0,1.0,1.0,1.0,1.5,1.0,1.0] self.weights [] for idx in range(len(dataset)): _, label dataset[idx] cls_id label.flatten().mode()[0].item() self.weights.append(self.class_weights[cls_id]) def __iter__(self): return iter(torch.multinomial(torch.tensor(self.weights), len(self.dataset), replacementTrue))關鍵點class_weights[5]1.5農(nóng)田而非2.0因過度增強會導致模型在農(nóng)田內(nèi)部產(chǎn)生虛假邊界——這是我在3個GF2項目中驗證過的平衡點。6.4 部署前必做的三件事顯存壓力測試用nvidia-smi -l 1監(jiān)控sliding_window_predict全程顯存占用確保峰值≤90%顯存容量跨設備驗證在Jetson AGX Orin上用TensorRT推理predict.png檢查blend.png色彩是否偏移NVIDIA驅(qū)動版本差異導致YUV轉(zhuǎn)RGB異常坐標系校驗將img_gt_pre.png中某棟建筑角點坐標在QGIS中疊加GF2原始影像確認像素偏移≤2像素否則需重做地理配準。從那以后我每次交付遙感分割模型都強制走一遍這三步——哪怕客戶只要一張predict.png。因為真正的工程價值不在mIoU數(shù)字而在blend.png里那條光滑的道路邊緣是否能直接導入GIS系統(tǒng)做面積統(tǒng)計。希望幫到你。本文還有配套的精品資源點擊獲取