簡介這是一份面向圖像處理與計算機視覺學習者的圖像塊分類Matlab實戰(zhàn)資料。資源完整覆蓋圖像預處理、滑窗劃分、特征提取、特征選擇、分類器訓練與后處理等核心環(huán)節(jié)適合正在學習SVM、PCA、LDA或卷積神經(jīng)網(wǎng)絡(luò)等算法的讀者參考也適合課程設(shè)計或項目復現(xiàn)使用。全包共30個文件以.m源代碼為主配合.mat數(shù)據(jù)文件、png測試圖及doc說明文檔整體大小27.8MB目錄結(jié)構(gòu)清晰便于按模塊對照代碼與實驗報告進行學習。已有321人瀏覽學習。讀者可通過源碼梳理光滑塊/非光滑塊判別流程利用附帶的lena、barbara測試圖復現(xiàn)分類實驗結(jié)合程序說明與實驗結(jié)果文檔理解各函數(shù)作用、參數(shù)調(diào)試思路和誤差指標為后續(xù)圖像檢索、目標檢測、醫(yī)學影像分析等場景提供可擴展的實現(xiàn)基礎(chǔ)。1. 圖像塊分類為什么要把整張圖拆成小塊再判斷類別圖像塊分類聽起來像是把一張圖切成小方塊然后挨個貼標簽實際做起來卻比整圖分類麻煩得多。做過病理切片分析或者工業(yè)外觀檢測的同行應(yīng)該都有體會整張圖動輒幾千萬像素目標物體又小又密直接整圖分類算力扛不住、精度也不行只能靠滑窗切塊、逐塊判斷再拼回結(jié)果。這套邏輯在醫(yī)學影像、遙感地物識別、質(zhì)檢漏檢場景里特別常見。這篇筆記要講的資源就是一套完整的圖像塊分類工程實現(xiàn)從切塊、數(shù)據(jù)劃分、模型微調(diào)到滑窗推理和可視化驗證全部能直接跑通。適合正在做目標區(qū)域分類、想快速搭一個可復用的塊級分類管線的工程師也適合剛接觸 PyTorch 想找個完整流程參考的人。2. 數(shù)據(jù)準備切塊、標注與數(shù)據(jù)集劃分五個必須想清楚的參數(shù)數(shù)據(jù)準備在圖像塊分類里占七成工作量真不是夸張。切塊的尺寸、步長、重疊率、類別平衡、劃分粒度任何一個拍腦袋都會讓后面訓練翻車。這一章先說參數(shù)怎么定再給一段能直接落地的切塊腳本。2.1 切塊策略重疊滑動與固定尺寸為什么我默認用 224×224做圖像塊分類第一件事是確定塊尺寸。我默認用 224×224不是因為別的而是因為絕大多數(shù) ImageNet 預訓練模型ResNet、EfficientNet 等的輸入就是這個尺寸直接加載權(quán)重不用改結(jié)構(gòu)。如果你的目標區(qū)域特別小或者特別大可以換成 128 或 384但不要用 256 這種非主流尺寸省得后面想換預訓練模型還得重新切。切塊時除了固定尺寸還要決定步長stride。步長等于塊尺寸時是無重疊步長小于塊尺寸就是重疊滑窗。重疊會帶來數(shù)據(jù)量膨脹比如一塊 512×512 的圖像224 尺寸、步長 112可以切成約 9 塊而步長 224 只有 4 塊。重疊的好處是目標物體不容易被切斷壞處是訓練樣本強相關(guān)容易過擬合。下面這段腳本是把一張大圖切成帶坐標的塊并保存成文件。我一般把坐標也存下來方便推理時拼回原圖。import numpy as np import cv2 from pathlib import Path def extract_patches(image_path, save_dir, patch_size224, stride112): img cv2.imread(image_path) h, w img.shape[:2] save_dir Path(save_dir) save_dir.mkdir(parentsTrue, exist_okTrue) patches [] coords [] for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): patch img[y:ypatch_size, x:xpatch_size] if patch.shape[0] ! patch_size or patch.shape[1] ! patch_size: continue fname f{Path(image_path).stem}_{y}_{x}.png cv2.imwrite(str(save_dir / fname), patch) patches.append(fname) coords.append((y, x)) return patches, coords這個函數(shù)的核心參數(shù)是patch_size和stride。patch_size決定模型的感受野選 224 是跟預訓練對齊stride控制重疊率我一般設(shè)成patch_size // 2也就是 50% 重疊這樣目標被切碎的概率低數(shù)據(jù)量也翻不到太夸張。如果你做的是密集小目標可以把 stride 設(shè)成patch_size // 4但要注意顯存和訓練時間。坐標保存很有必要。后面做整圖推理時你要根據(jù)坐標把各個塊的預測概率拼回原圖位置如果沒有坐標就只能按文件名順序硬拼一旦步長不是整數(shù)倍就容易錯位。2.2 類別不平衡統(tǒng)計分布、過采樣與加權(quán)損失先算后調(diào)切完塊之后第一個要面對的問題是類別數(shù)量可能嚴重不均。尤其是工業(yè)缺陷檢測正常塊可能有幾萬個缺陷塊只有幾百個。直接訓練模型會學成“永遠預測正?！睖蚀_率還很高但實際一點用沒有。我習慣先跑一段統(tǒng)計代碼看看每類塊的數(shù)量分布。如果比例超過 10:1就得動手處理。from collections import Counter import glob def count_class_distribution(labeled_dir): dist Counter() for label in [defect, normal]: files glob.glob(f{labeled_dir}/{label}/*.png) dist[label] len(files) return dist dist count_class_distribution(patches) print(dist) # 輸出示例: Counter({normal: 4821, defect: 324})有了分布之后兩個常用手段一是用WeightedRandomSampler做樣本均衡采樣讓每個 batch 里不同類別的塊比例接近二是給損失函數(shù)加weight讓少樣本類別錯分時損失更大。我一般兩個一起用效果最穩(wěn)。from torch.utils.data import WeightedRandomSampler from torch import nn def make_weights_labels(labels): counts Counter(labels.tolist()) weights [1.0 / counts[i] for i in labels.tolist()] return torch.tensor(weights) sampler WeightedRandomSampler(weights, num_sampleslen(weights), replacementTrue) criterion nn.CrossEntropyLoss(weighttorch.tensor([0.2, 1.0]).cuda())WeightedRandomSampler的weights是每個樣本的采樣權(quán)重這里用“1 / 類別數(shù)量”來平衡少數(shù)類樣本被采到的概率變大。replacementTrue表示可以重復采樣保證每個 epoch 能看到足夠多少數(shù)類樣本。損失函數(shù)里的weight是類別維度上的張量類別 0 和類別 1 的權(quán)重分別寫死。注意weight不是越大越好我試過給少數(shù)類權(quán)重設(shè)成 5結(jié)果模型反而過擬合到少數(shù)類上精確率掉了。一般從 1 和類別比例倒數(shù)的中間值調(diào)起。2.3 數(shù)據(jù)集劃分按圖像而非按塊劃分避免同源泄露切塊和標注做完接下來劃分訓練集、驗證集。這里有個非常隱蔽又致命的坑——按塊劃分。同一張大圖切出的塊之間高度相似如果一部分塊進了訓練集、另一部分塊進了驗證集模型會“記住”背景紋理而不是真正的類別特征驗證指標虛高上線后一塌糊涂。正確做法是先把原始圖像列表按比例劃分再把每張圖對應(yīng)的塊歸入同一集合。代碼很簡單關(guān)鍵在思路。from sklearn.model_selection import train_test_split image_files [str(p) for p in Path(images).glob(*.png)] train_imgs, val_imgs train_test_split(image_files, test_size0.2, random_state42) def collect_patch_files(image_list, patch_root): files [] for img in image_list: stem Path(img).stem files.extend(Path(patch_root).glob(f{stem}_*.png)) return files train_patches collect_patch_files(train_imgs, patches) val_patches collect_patch_files(val_imgs, patches)注意這里train_test_split的random_state固定為 42保證可復現(xiàn)。collect_patch_files用stem前綴匹配某張原始圖像切出的所有塊。有的切塊腳本文件名不帶原圖 stem而是統(tǒng)一編號那就必須保存一個“塊到原圖”的映射表否則劃分沒法做。我在一個項目里吃過沒存映射的虧只能重新切塊。3. 模型訓練從預訓練 ResNet 到微調(diào)損失函數(shù)與優(yōu)化器怎么選數(shù)據(jù)準備好了接下來選模型、定優(yōu)化器、跑訓練。圖像塊分類很少從零訓基本都靠 ImageNet 預訓練權(quán)重微調(diào)。這里講基線怎么選、微調(diào)怎么分步走以及訓練循環(huán)里哪些細節(jié)決定了你能不能復現(xiàn)結(jié)果。3.1 基線選擇ResNet18 還是 EfficientNet帶寬和顯存先算一筆賬圖像塊分類的模型選擇不是越深越好而是看你的塊尺寸、顯存和推理速度。下表是我常用的幾個基線對比模型輸入尺寸參數(shù)量GPU 顯存占用batch64推理速度塊/秒適用場景ResNet1822411M約 1.2GB約 800快速驗證、邊緣部署ResNet5022425M約 2.1GB約 400分類邊界復雜、精度優(yōu)先EfficientNet-B02245.3M約 0.9GB約 900數(shù)據(jù)量大、追求性價比EfficientNet-B22609.1MB約 1.5GB約 500中等數(shù)據(jù)集、略復雜我一般拿 ResNet18 當基線。原因很簡單顯存友好迭代快先跑通流程再升級。如果驗證集 F1 明顯不夠再換 ResNet50 或 EfficientNet-B2。從工程角度換模型只是換一行代碼的事但數(shù)據(jù)清洗和劃分才是真正影響結(jié)果的地方。別一開始就追求大模型很多圖像塊分類任務(wù)用 ResNet18 微調(diào)就夠用。3.2 微調(diào)流程凍結(jié)、解凍、分層學習率三步走預訓練模型微調(diào)最忌諱的是直接用預設(shè)學習率從頭訓練全部分層。特征層已經(jīng)學到了通用紋理和邊緣你拿隨機初始化的分類頭跟它一起大步長更新分類頭還沒學好特征層已經(jīng)被沖亂了。我習慣分三步走。第一步凍結(jié)特征層只訓練新替換的分類頭。代碼如下from torchvision import models import torch.nn as nn model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, num_classes) for name, param in model.named_parameters(): if fc not in name: param.requires_grad False optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3)這里先把除fc以外的參數(shù)全部凍結(jié)用 Adam 以 1e-3 的學習率訓練分類頭幾個 epoch。注意nn.Linear的in_features是 ResNet18 最后一層特征維度 512改成自己任務(wù)的類別數(shù)。凍結(jié)以后反向傳播只更新fc顯存和計算量都會小很多。第二步解凍最后幾層特征層。一般解凍layer4和layer3用更小的學習率繼續(xù)訓練for name, param in model.named_parameters(): if name.startswith(layer4): param.requires_grad True optimizer torch.optim.Adam([ {params: model.fc.parameters(), lr: 1e-4}, {params: model.layer4.parameters(), lr: 1e-5}, ], lr1e-5)第三步等損失不再明顯下降再解凍全部層全模型學習率調(diào)到 1e-5 到 3e-5。到這一步模型已經(jīng)在你的數(shù)據(jù)上穩(wěn)定收斂了只做輕微調(diào)整。很多人會在第一步就全解凍然后發(fā)現(xiàn)損失曲線波浪起伏其實就是學習率太高了。3.3 訓練循環(huán)與檢查點早停、最好模型保存、日志記錄訓練循環(huán)本身不復雜但有幾件事必須做保存驗證集上最優(yōu)模型、早停防止過擬合、把訓練日志落盤。我因為沒存最優(yōu)模型訓練中斷后只能從最后一個 epoch 繼續(xù)結(jié)果 F1 掉了 3 個點后來又重新跑了兩天。從那以后我每訓練一個任務(wù)都會強制在驗證集上打分并覆蓋保存最優(yōu)權(quán)重。下面是一個精簡的訓練循環(huán)骨架import torch best_f1 0.0 patience 10 wait 0 for epoch in range(50): model.train() total_loss 0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() model.eval() all_preds, all_labels [], [] with torch.no_grad(): for images, labels in val_loader: images, labels images.cuda(), labels.cuda() outputs model(images) preds outputs.argmax(dim1) all_preds.extend(preds.cpu().tolist()) all_labels.extend(labels.cpu().tolist()) f1 compute_f1(all_labels, all_preds) if f1 best_f1: best_f1 f1 torch.save(model.state_dict(), best_model.pth) wait 0 else: wait 1 if wait patience: print(fEarly stop at epoch {epoch}) break這段代碼里的compute_f1需要你自己實現(xiàn)我一般用sklearn.metrics.f1_score。patience是早停容忍度設(shè)為 10 表示連續(xù) 10 個 epoch 沒有刷新最優(yōu)驗證分數(shù)就停。注意每個 epoch 后必須切回eval()模式with torch.no_grad()保證不計算梯度否則顯存會慢慢堆積。訓練循環(huán)里我習慣把每個 epoch 的 loss 和 F1 寫進 CSV方便用 tensorboard 或 pandas 復盤。4. 常見問題排查訓練震蕩、過擬合、類別不均衡的七個實戰(zhàn)教訓這一章集中記錄我在圖像塊分類上踩過的坑每一條都是真實翻車后的復盤。按“現(xiàn)象 → 原因 → 解決”來寫你可以直接對照排查。4.1 損失不下降學習率與 Batch Size 的配合現(xiàn)象訓練了幾百個 step損失一直卡在 0.7 左右偶爾波動但就是不降。原因我在凍結(jié)特征層階段用了 1e-3 學習率而 Batch Size 只有 16。小 batch 的梯度噪聲大1e-3 相對 batch 的梯度幅度偏高導致模型在最優(yōu)解附近震蕩。另一個常見情況是反向傳播時誤把凍結(jié)層的參數(shù)也更新了但這種情況通常表現(xiàn)為損失直接爆掉。解決把學習率降到 3e-4 或 1e-4同時把 Batch Size 加到 32 或 64。如果顯存不夠就加梯度累積等效增大 batch。我一般用torch.utils.data.DataLoader的batch_size64如果 OOM 就降到 32并用accumulation_steps2模擬 64 的效果。4.2 驗證準確率虛高切塊泄漏與隨機種子現(xiàn)象驗證集準確率 95%訓練準確率 93%邏輯上訓練應(yīng)該更高但驗證反而更高明顯不合理。原因劃分數(shù)據(jù)時沒按原始圖像分同一張圖切出的塊同時出現(xiàn)在訓練集和驗證集。模型學到了背景噪聲而非類別特征所以驗證集看起來“很準”。另外如果隨機種子沒固定比如random_state每次都變也會造成數(shù)據(jù)分布不穩(wěn)定。解決回到第 2 章的collect_patch_files確保訓練和驗證集合不相交。同時把random_state固定成一個常數(shù)我習慣用 42。固定后重新訓練驗證準確率通常會下降到 85% 左右但這才接近真實水平。4.3 顯存不足梯度累積與混合精度現(xiàn)象輸入塊尺寸 384Batch Size 設(shè) 32直接爆顯存報CUDA out of memory。原因塊尺寸變大后特征圖尺寸呈平方增長顯存消耗跟著漲。很多人的第一反應(yīng)是減小 batch但 batch 太小又導致訓練不穩(wěn)。解決先開混合精度訓練PyTorch 自帶torch.cuda.amp幾乎不損失精度。如果還爆就加梯度累積。示例from torch.cuda.amp import autocast, GradScaler scaler GradScaler() accumulation_steps 2 optimizer.zero_grad() for i, (images, labels) in enumerate(train_loader): with autocast(): outputs model(images) loss criterion(outputs, labels) / accumulation_steps scaler.scale(loss).backward() if (i 1) % accumulation_steps 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad()注意這里loss除了accumulation_steps避免累積梯度過大。scaler.step(optimizer)是混合精度訓練的標準寫法必須配合scaler.update()。4.4 預測結(jié)果成片錯分滑窗步長與投票機制現(xiàn)象把訓練好的模型用于整張大圖推理時結(jié)果出現(xiàn)大面積的塊狀錯誤比如一條直線上的塊全是同一個錯誤類別。原因推理時的滑窗步長和訓練時不一樣。訓練時步長是 112推理時如果步長改成 224每個塊之間沒重疊模型對某些位置的預測很不穩(wěn)定再加上沒有做多塊投票單塊預測置信度低時直接取 argmax 就容易錯。解決推理時保持和訓練一樣的步長并對同一個目標區(qū)域做重疊采樣再把多個塊的預測概率取平均。這塊的具體實現(xiàn)放在下一章你可以直接參考那個流程。5. 進階用滑窗推理實現(xiàn)整圖分類以及注意力可視化的驗證技巧模型訓練完最終還是要落在整張圖上。這一章講怎么用滑窗推理把塊級預測拼成整圖結(jié)果以及怎么用 Grad-CAM 確認模型關(guān)注區(qū)域確實是你想要的目標。5.1 滑窗推理重疊步長、投票融合與置信度閾值整圖推理時我用一個和訓練時完全一致的滑動窗口步長也保持一致。這樣每個塊與相鄰塊有重疊同一物理位置會被多個窗口覆蓋取平均概率能顯著抑制噪聲。def infer_full_image(model, image_path, patch_size224, stride112, num_classes2, threshold0.5): img cv2.imread(image_path) h, w img.shape[:2] prob_map np.zeros((h // stride 1, w // stride 1, num_classes), dtypenp.float32) count_map np.zeros((h // stride 1, w // stride 1, 1), dtypenp.float32) model.eval() with torch.no_grad(): for y in range(0, h - patch_size 1, stride): for x in range(0, w - patch_size 1, stride): patch img[y:ypatch_size, x:xpatch_size] patch_tensor torch.from_numpy(patch.transpose(2,0,1)).unsqueeze(0).float().cuda() / 255.0 outputs torch.softmax(model(patch_tensor), dim1) py, px y // stride, x // stride prob_map[py, px] outputs.squeeze().cpu().numpy() count_map[py, px] 1.0 avg_prob prob_map / np.maximum(count_map, 1) pred (avg_prob[..., 1] threshold).astype(np.uint8) # 二分類示例 return pred這個函數(shù)返回一個二值圖每個網(wǎng)格點對應(yīng)原圖stride步長的區(qū)域1 表示類別 1。閾值threshold默認 0.5如果希望少誤報可以調(diào)到 0.7如果希望少漏報調(diào)到 0.3。注意這里prob_map的尺寸計算是h // stride 1如果原圖尺寸不是 stride 的整數(shù)倍需要補邊或丟棄邊緣。實際項目里我會先把原圖 padding 成 stride 的倍數(shù)否則最后一行和最后一列會缺塊。5.2 用 Grad-CAM 看看模型到底在看什么訓練完模型我強烈建議做一次梯度加權(quán)激活圖Grad-CAM可視化。圖像塊分類的模型很容易學到背景紋理而非目標輪廓Grad-CAM 能直觀告訴你模型關(guān)注在哪個區(qū)域。關(guān)鍵做法選定最后一個卷積層的輸出特征圖計算類別輸出對該特征圖的梯度再對梯度做全局平均池化得到權(quán)重最后加權(quán)求和并 normalize。from torch import autograd def grad_cam(model, image_tensor, target_class): model.eval() image_tensor image_tensor.cuda().requires_grad_(True) output model(image_tensor) one_hot torch.zeros_like(output) one_hot[0, target_class] 1 output.backward(gradientone_hot) gradients model.layer4[2].bn2.weight.grad # 示意實際需hook # 完整實現(xiàn)通常用register_forward_hook和register_backward_hook獲取 # 這里只展示思路不展開全部代碼完整的 Grad-CAM 需要用 hook 拿到特征圖和梯度代碼較長在資源包的visualize_cam.py里已經(jīng)實現(xiàn)。你只需要指定一張塊的路徑腳本會輸出熱力圖疊加。我最常用的一招把預測錯誤的那幾個塊挑出來看 Grad-CAM 熱力圖到底落在哪里。如果熱力圖落在背景上說明模型學偏了回去檢查數(shù)據(jù)切塊或標注有沒有問題。真正吃透圖像塊分類關(guān)鍵不在模型多強而在數(shù)據(jù)劃分和多尺度推理是否嚴謹。我自己每次迭代新任務(wù)時都強制走一遍“按圖劃分 → 統(tǒng)計分布 → 訓練后 Grad-CAM 驗證”這三步能攔下至少一半的無效訓練。希望這些從切塊到推理的細節(jié)能幫到你少走我當初走過的彎路。本文還有配套的精品資源點擊獲取