簡介面向高校深度學習課程設計與期末大作業(yè)場景這份資源提供了一套基于卷積神經網絡的垃圾識別分類系統(tǒng)完整Python實現(xiàn)。項目已獲導師指導并獲得97分高分涵蓋數(shù)據(jù)集、模型與全部源碼下載后可直接運行適合需要在較短時間內搭建可演示圖像分類項目的學習者。壓縮包內含2000個文件其中近2000張jpg/jpeg圖片構成訓練與驗證數(shù)據(jù)集包含電池、塑料瓶等常見生活垃圾的圖像樣本13個py腳本負責數(shù)據(jù)加載、模型構建、訓練與預測流程另附json配置與md說明文檔整體包體約564.69MB目錄結構清晰。已有264人學習使用。通過該資源可系統(tǒng)了解CNN圖像分類項目的完整組織方式包括數(shù)據(jù)預處理、網絡結構設計、訓練調參與結果評估等關鍵環(huán)節(jié)源碼注釋完整便于在此基礎上二次開發(fā)也可直接用于課程設計答辯演示或期末大作業(yè)提交。1. 課程設計級的垃圾識別系統(tǒng)到底在做什么拿到“基于深度學習卷積神經網絡的垃圾識別分類系統(tǒng)”這份源碼包先別急著解壓找里面的模型文件。課程設計級別的項目核心不是“識別”這個動作本身而是你有沒有把一條完整的深度學習鏈路講清楚數(shù)據(jù)怎么整理、卷積神經網絡怎么從圖里提特征、訓練時哪些參數(shù)要調、最后怎么讓模型跑一個可演示的界面。這套系統(tǒng)的本質是一個圖像多分類任務——卷積神經網絡把一張垃圾照片區(qū)分成紙板、玻璃、金屬、紙張、塑料、廚余這幾個固定類別同時輸出每個類別的置信度。它能幫你應付答辯中最常見的追問“網絡結構為什么這么定”“訓練集有多少張圖”“l(fā)oss降到多少算正?！?。適合誰適合正在做課設或畢設的學生以及想快速跑通一個完整CNN項目的Python開發(fā)者。2. 卷積神經網絡為什么能區(qū)分垃圾特征提取邏輯與選型理由2.1 卷積核在干什么從邊緣、紋理到局部形狀一張垃圾照片進入卷積神經網絡并不是像人眼那樣先“看到”一個瓶子、一團紙巾而是先被切成一塊塊小窗口每個窗口與一組卷積核做乘法累加。淺層卷積核對的是邊緣和顏色突變比如瓶蓋的圓弧輪廓、玻璃碎片的高光邊界中層的卷積核把這些邊緣組合成紋理比如紙張的褶皺、金屬的反光條紋深層則組合出局部形狀“這里有一個帶弧度的瓶身”“這里有一團柔軟材料的質感”。每一層之間還夾著激活函數(shù)和池化。ReLU把卷積結果里的負響應清零相當于篩選出“對這個特征有反應”的區(qū)域池化把分辨率縮小讓網絡對垃圾在畫面里的位置偏移不那么敏感。這個“卷積-ReLU-池化”的疊加過程就是CNN在垃圾識別場景下最有價值的特性它不需要人為設計顏色直方圖或紋理算子而是讓數(shù)據(jù)自己決定用哪些特征去區(qū)分紙殼和塑料瓶。用Python驗證網絡到底學到了什么最直接的辦法是把第一層卷積核畫出來。以下是可視化第一個卷積層權重的小腳本import torch import matplotlib.pyplot as plt def visualize_first_layer(model): conv1 model.conv1.weight.data # 形狀 [64, 3, 7, 7] kernel_grid conv1[:16] # 只看前16個卷積核 fig, axes plt.subplots(4, 4, figsize(8, 8)) for i, ax in enumerate(axes.flat): kernel kernel_grid[i].permute(1, 2, 0).numpy() # 歸一化到 0~255 區(qū)間不然圖像太暗看不清 kernel (kernel - kernel.min()) / (kernel.max() - kernel.min()) ax.imshow(kernel) ax.axis(off) plt.savefig(conv1_filters.png, dpi120)這段代碼的邏輯不復雜model.conv1.weight.data拿到的是第一個卷積層的權重張量形狀是[輸出通道數(shù), 輸入通道數(shù), 核高, 核寬]對RGB圖片來說輸入通道數(shù)是3所以每個卷積核本身是一張三通道小圖。permute(1, 2, 0)把維度從[C, H, W]整成[H, W, C]才能被matplotlib正常顯示。參數(shù)上只取了前16個卷積核目的是拼成4x4網格時每張圖還能看清紋路。如果畫出來全是均勻噪點說明網絡還沒訓練或者訓練崩了如果能看到清晰的邊緣、顏色條紋說明底層的特征提取器已經成立。2.2 垃圾識別這類任務為什么最終都會落到CNN做課程設計時最常見的替代方案有兩個一是傳統(tǒng)的HOG特征加SVM分類器二是直接用Transformer結構。前者的問題是特征完全靠人工調瓶子的高光、紙張的褶皺這些外觀在垃圾場景里變化太大HOG描述子很難穩(wěn)定描述“透明玻璃瓶”和“碎玻璃片”的共性后者在幾千張圖片的課設數(shù)據(jù)集上容易欠擬合Transformer沒有卷積那種先天的局部歸納偏置訓練樣本不夠時注意力機制學到的往往是噪聲。CNN的平移等變性是垃圾識別最需要的性質。一個易拉罐出現(xiàn)在畫面左上角還是右下角卷積網絡都能給出類似響應因為卷積核在整張圖上滑動不依賴物體位置而塑料瓶和紙杯在自然場景里往往就是隨手扔在地上的姿態(tài)和位置千差萬別這個特性直接決定了識別能不能穩(wěn)定。另外CNN在小數(shù)據(jù)集上的梯度回傳更平穩(wěn)ResNet這類結構還帶了短路連接訓練時不容易出現(xiàn)梯度消失對課設這種“機器配置一般、數(shù)據(jù)量不大”的邊界條件非常寬容。當然CNN也有限制。它本質上是在學習紋理和形狀的統(tǒng)計關聯(lián)所以當玻璃和透明塑料放在一起、光線又很雜時模型會把“高光區(qū)域”當作決策依據(jù)這就容易出現(xiàn)誤分類。這個短板不是網絡結構能單獨解決的要放到數(shù)據(jù)增強和類別平衡那一層去處理。2.3 用forward hook查看中間特征圖判斷模型有沒有走偏訓練中途想確認網絡到底在關注垃圾的哪些部位可以給某一層掛一個前向鉤子把特征圖抽出來feature_map {} def hook_fn(name): def fn(module, input, output): feature_map[name] output.detach() return fn model.layer1[0].conv1.register_forward_hook(hook_fn(layer1)) model.layer4[2].conv2.register_forward_hook(hook_fn(layer4)) with torch.no_grad(): output model(torch.randn(1, 3, 224, 224)) print(feature_map[layer1].shape) # 期望 [1, 64, 112, 112] print(feature_map[layer4].shape) # 期望 [1, 256, 14, 14]register_forward_hook是PyTorch提供的內置接口鉤子函數(shù)會在前向傳播經過該模塊時被調用input是輸入張量output是輸出張量。這里layer1[0].conv1是ResNet第一個殘差塊里的第一個卷積層輸出分辨率還是112x112適合觀察淺層特征layer4[2].conv2靠近輸出特征圖縮小到14x14語義更抽象。打印shape時注意淺層特征圖上單個像素對應原圖很小的一個感受野所以看到一片白色或黑色區(qū)域不要慌用熱力圖疊加到原圖上更直觀。把第2章的這些手段串起來你就能說清楚“模型為什么把這張塑料瓶圖片分到了玻璃那一類”這在答辯中非常加分。3. 數(shù)據(jù)集整理與預處理從解壓目錄到可訓練狀態(tài)3.1 數(shù)據(jù)目錄約定與訓練/驗證劃分腳本課程設計的垃圾數(shù)據(jù)集通常有兩種組織方式一種是按類別建子目錄比如dataset/glass/xxx.jpg、dataset/plastic/yyy.jpg另一種是給一個CSV表格每行記錄圖片路徑和類別標簽。前一種直接用torchvision.datasets.ImageFolder就能讀取后一種需要自己寫Dataset類。無論哪種第一步都要把原始數(shù)據(jù)拆成訓練集和驗證集保證模型在沒見過的照片上評估。下面這段腳本把“原始圖片目錄”按8:2比例劃分到train和val兩個目錄下import os import random import shutil random.seed(42) # 固定隨機種子讓結果可復現(xiàn) src_dir dataset_raw # 原始數(shù)據(jù)內部按類別分子目錄 out_dir dataset_split for class_name in os.listdir(src_dir): class_path os.path.join(src_dir, class_name) if not os.path.isdir(class_path): continue images [f for f in os.listdir(class_path) if f.lower().endswith((.jpg, .jpeg, .png))] random.shuffle(images) val_count int(len(images) * 0.2) for split, subset in ((train, images[val_count:]), (val, images[:val_count])): dest os.path.join(out_dir, split, class_name) os.makedirs(dest, exist_okTrue) for img in subset: shutil.copy(os.path.join(class_path, img), os.path.join(dest, img)) print(f{class_name}: 總數(shù){len(images)}驗證集{val_count}張)關鍵參數(shù)說明random.seed(42)不只是為了“可復現(xiàn)”這個說法而是讓你在多次對比實驗時驗證集始終是同一批圖片否則你很難判斷精度提升來自模型改動還是數(shù)據(jù)劃分差異。劃分比例用8:2是因為課設數(shù)據(jù)集通常只有幾百到幾千張驗證集太小的話精度指標抖動會非常明顯。注意這里用的是shutil.copy而不是move原始數(shù)據(jù)盡量保留備份后面要重新劃分比例或做增強對比時還能再用。如果你拿到的是CSV標注的數(shù)據(jù)集就在這一步把CSV按行索引shuffle后再寫回兩個新CSV邏輯一樣。3.2 transform組合與歸一化參數(shù)小數(shù)據(jù)集怎么調數(shù)據(jù)增強是垃圾識別課設里最影響最終精度的環(huán)節(jié)。一個常用但合理的訓練集transform是這樣from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.6, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(15), # 隨機轉15度模擬隨手扔在地上的姿態(tài) transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])訓練集和驗證集transform必須分開寫這是新手最容易忽略的坑。訓練時RandomResizedCrop會隨機裁剪一塊區(qū)域再縮放成224x224scale(0.6, 1.0)的意思是裁剪區(qū)域占原圖面積的60%到100%低于0.6會導致垃圾主體被裁掉一半網絡學到的全是殘片特征。ColorJitter的三個參數(shù)用來模擬不同光照下的垃圾但brightness不宜超過0.3因為垃圾識別里顏色是有效特征——綠色玻璃瓶和棕色玻璃瓶本身就是兩個視覺類別把顏色抖動調太大反而制造噪聲。驗證集不加入任何隨機變換只用Resize(256)加CenterCrop(224)這是為了保證評估時每次輸入同一位置的圖像內容精度指標才可比較。均值標準差用的是ImageNet的標準值如果你的模型是加載ImageNet預訓練權重這里保持一致能讓特征分布直接對接。3.3 自定義Dataset加載CSV標注并做類別映射遇到CSV格式的數(shù)據(jù)集時寫一個自定義Dataset是標準做法。以下代碼把CSV里的相對路徑和標簽轉換成模型輸入所需的張量對import pandas as pd import torch from torch.utils.data import Dataset from PIL import Image class GarbageCSVDataset(Dataset): def __init__(self, csv_path, root_dir, transformNone): self.data pd.read_csv(csv_path) # 列img_path, label self.root_dir root_dir self.transform transform self.classes sorted(self.data[label].unique()) def __len__(self): return len(self.data) def __getitem__(self, idx): row self.data.iloc[idx] img Image.open(f{self.root_dir}/{row[img_path]}).convert(RGB) if self.transform: img self.transform(img) label torch.tensor(self.classes.index(row[label])) return img, label__getitem__返回兩個東西一個是經過transform的圖片張量一個是整型標簽。這里self.classes用sorted排序讓類別索引在多次運行中保持一致避免訓練完保存模型、下次推理時發(fā)現(xiàn)“玻璃”的索引變了。convert(RGB)這行很容易漏但很重要——數(shù)據(jù)集里的圖片如果本身就是灰度圖PIL會返回L模式單通道圖直接進卷積網絡通道數(shù)對不上.convert()強制統(tǒng)一成三通道。標簽這里直接返回Tensor而不是整數(shù)是為了方便后續(xù)直接喂給CrossEntropyLoss少一次類型轉換。數(shù)據(jù)量很小的時候pd.read_csv是瓶頸但課設規(guī)模無所謂不需要上LMDB或TFRecord那套工業(yè)方案。4. 模型搭建與訓練從遷移學習到完整訓練循環(huán)4.1 為什么用ResNet18遷移而不是從零訓練自定義CNN垃圾識別數(shù)據(jù)集的規(guī)模決定了模型選擇。課設數(shù)據(jù)通常幾百到兩三千張從零訓練一個七層自定義CNN參數(shù)數(shù)量輕松超過百萬這點數(shù)據(jù)根本不夠學出穩(wěn)定的卷積核。更穩(wěn)的做法是加載在ImageNet上預訓練過的ResNet18把最后一層全連接替換成垃圾類別數(shù)。預訓練權重里的淺層卷積核已經能識別通用邊緣紋理你只需要讓網絡在垃圾數(shù)據(jù)上微調高層語義。ResNet18相比ResNet50參數(shù)量小四倍左右在課設數(shù)據(jù)集上過擬合的風險低很多。單卡訓練時ResNet18用224x224輸入、batch size 32顯存占用大約2.5GB集成顯卡也能跑。如果用的是自建CNN效果往往比遷移差是因為自建結構沒有預訓練先驗這是結構設計彌補不了的不是網絡深度問題。4.2 訓練循環(huán)代碼與超參數(shù)配置搭建模型和訓練主循環(huán)的代碼本身不算長難點在超參數(shù)配合。以下代碼是課設場景下驗證過比較穩(wěn)的配置import torch import torch.nn as nn from torch.optim import lr_scheduler from torchvision import models model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) num_classes 6 model.fc nn.Linear(model.fc.in_features, num_classes) model model.cuda() criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.001, momentum0.9, weight_decay1e-4) scheduler lr_scheduler.CosineAnnealingLR(optimizer, T_max30, eta_min1e-6) batch_size 32 epochs 30 for epoch in range(epochs): model.train() running_loss 0.0 correct 0 for images, labels in train_loader: images, labels images.cuda(), labels.cuda() outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() running_loss loss.item() * images.size(0) _, preds torch.max(outputs, 1) correct (preds labels).sum().item() scheduler.step() print(fEpoch {epoch1}: loss{running_loss/len(train_loader.dataset):.4f}, facc{correct/len(train_loader.dataset):.4f})三個核心參數(shù)值得展開說。第一優(yōu)化器用的是SGD加momentum0.9而不是直接在遷移任務上默認用AdamAdam收斂快但泛化性能通常略遜SGD在課設這種小數(shù)據(jù)上差距更明顯。weight_decay1e-4是L2正則能壓住過擬合別加到1e-2那會把權重約束得過死loss下不去。第二學習率從0.001開始配合CosineAnnealingLR每輪把lr往下降訓練后期用一個更細的步長在局部最小值附近精調。T_max30要和epochs一致如果epochs改成50而T_max不跟著改余弦周期就對不上。第三全連接層替換成num_classes維度后模型其余部分的參數(shù)仍然沿用ImageNet預訓練值整個模型一起參與訓練不需要手動凍結淺層。loss.item() * images.size(0)這里乘的是batch張數(shù)后面除以len(train_loader.dataset)時才是每個樣本的平均loss不是batch維度的平均。4.3 checkpoint保存策略不只存模型還要存優(yōu)化器訓練到二十輪左右loss會變得平滑這時候要做的是保存“可能繼續(xù)訓練的狀態(tài)”而不僅僅是推理用的權重。以下是保存和恢復的兩種寫法# 推理時夠了只存模型權重 torch.save({model_state: model.state_dict(), num_classes: num_classes}, garbage_model.pt) # 中斷恢復時夠了把優(yōu)化器和epoch也存下來 torch.save({model_state: model.state_dict(), optimizer_state: optimizer.state_dict(), epoch: epoch, loss: running_loss}, garbage_model_checkpoint.pt)只保存state_dict而不保存整個model對象是因為model對象包含網絡結構定義反序列化時對PyTorch版本和代碼結構敏感只存權重推理時先用代碼重建ResNet18再load_state_dict兼容性最好。把num_classes一并存進字典是為了防止你換了數(shù)據(jù)集類別數(shù)后加載舊權重時報尺寸不匹配。第一行代碼保存的權重用于最終演示和答辯第二行專門用于訓練中途斷電或調參后回退load時用optimizer.load_state_dict(checkpoint[optimizer_state])恢復學習率調度器也會跟著回到正確位置。5. 避坑記錄垃圾識別訓練與部署中的典型翻車現(xiàn)場5.1 loss一直在降但驗證集精度卡在30%現(xiàn)象訓練loss從0.8降到0.2曲線很正常但每輪驗證精度始終在30%左右跟隨機猜差不多。原因數(shù)據(jù)增強里的RandomResizedCrop在裁剪時把垃圾主體切沒了網絡一直在學垃圾周圍的背景地板也可能是驗證集圖片和訓練集來自同一場景模型學到的是場景而不是垃圾本身。解決先關掉RandomResizedCrop改用Resize(256)CenterCrop(224)做一輪基準實驗確認精度能上去后再逐步加增強如果關掉后精度就正常把scale下限從0.6提高到0.8限制裁剪范圍。5.2 訓練時正常推理單張圖片全預測成同一個類現(xiàn)象訓練和驗證精度都達到90%但拿手機拍一張塑料瓶模型輸出“玻璃”置信度99%換紙殼還是“玻璃”。原因推理時忘了做和訓練一樣的預處理。訓練時用了Normalize(mean/std)推理代碼里如果只做ToTensor()輸入分布完全偏離模型期望——訓練數(shù)據(jù)每個通道的像素均值接近0.5而你的輸入是0到1的原始像素值。解決把驗證集的val_transform原封不動用到推理管道前后保持一致不要手工再寫一遍。5.3 廚余垃圾樣本占一半其他類別只有幾十張現(xiàn)象總精度看起來有85%但看每個類別的召回率廚余垃圾接近100%金屬只有20%。原因類別不平衡模型只需把所有圖片都判成廚余就能拿到低loss。解決給CrossEntropyLoss傳一個weight參數(shù)類別樣本越少權重越大讓少數(shù)類別的錯誤得到更高的懲罰。計算方式是統(tǒng)計每類樣本數(shù)取倒數(shù)后再歸一化以下是具體代碼import torch import torch.nn as nn class_counts torch.tensor([800, 120, 90, 300, 200, 60], dtypetorch.float32) total class_counts.sum() weights total / (class_counts * len(class_counts)) weights weights / weights.sum() * len(class_counts) # 歸一化回均值1 criterion nn.CrossEntropyLoss(weightweights.cuda())這里total / (class_counts * len(class_counts))是給少數(shù)類更高權重的經典做法。設權重均值被歸一化回1是為了避免整體loss數(shù)值被放大后需要重新調學習率。注意class_counts的順序必須和你的類別索引順序一致而這個順序就是自定義Dataset里classes排序后的順序兩處千萬別錯位。5.4 加載保存的模型報尺寸不匹配現(xiàn)象load_state_dict報錯提示fc.weight的大小和預期不符或者某個block的參數(shù)缺失。原因模型保存時用的是num_classes6現(xiàn)在重建的模型類別數(shù)改成了8全連接層維度對不上另一種常見原因是讀權重時用了torch.load(path)直接加載整個文件而不是先建模型再load。解決檢查model.fc.out_features是否等于數(shù)據(jù)集實際類別數(shù)如果保存時還存了num_classes字段加載時先讀出來再做判斷。代碼寫法上統(tǒng)一用新建模型加load_state_dict的方式避免依賴pickle反序列化帶來的版本兼容問題。5.5 顯存不夠batch size只能設為8訓練慢還抖動現(xiàn)象batch size設32直接爆顯存改成8以后能跑但loss曲線震蕩很厲害。原因除模型本身外DataLoader的num_workers和pin_memory也會占額外顯存batch size過小時每個batch計算出的梯度方差大優(yōu)化器更新方向不穩(wěn)定。解決優(yōu)先檢查圖片分辨率是不是真需要224如果不是降到160×160能省約一半顯存其次用torch.cuda.amp混合精度訓練把autocast包住前向傳播和loss計算顯存占用能再降三分之一并且課設數(shù)據(jù)量小混合精度對精度幾乎沒有影響。6. 讓“黑匣子”開口說話用Grad-CAM和混淆矩陣驗證模型真的學會了課程設計答辯時最怕的問題是“你怎么證明模型是學到了垃圾特征而不是記性背下了訓練集”。兩個工具能直接回答這個問題Grad-CAM熱力圖展示模型決策時看了圖片的哪個區(qū)域混淆矩陣列出錯誤到底發(fā)生在哪些類別之間。Grad-CAM的思路并不復雜把最后一個卷積層的輸出特征圖按類別梯度做加權求和得到一張和輸入圖片同尺寸的熱力圖熱力高的區(qū)域就是模型做出判斷的主要依據(jù)。用PyTorch實現(xiàn)時需要在前向時記錄目標層輸出反向時記錄目標層的梯度from torch.autograd import Function # 記錄最后一層卷積的輸出和梯度 features {} def save_feature(module, input, output): features[output] output def save_grad(module, grad_input, grad_output): features[grad] grad_output[0] target_layer model.layer4[2].conv2 target_layer.register_forward_hook(save_feature) target_layer.register_backward_hook(save_grad)拿到特征圖和梯度后先對梯度做空間維度的平均得到每個通道的權重再對特征圖做加權求和最后套ReLU只保留正響應區(qū)域weights features[grad].mean(dim(2, 3), keepdimTrue) cam (weights * features[output]).sum(dim1, keepdimTrue) cam torch.relu(cam).squeeze().detach().cpu().numpy() # 插值回224x224并歸一化到0~255 from torch.nn.functional import interpolate cam interpolate(torch.tensor(cam).unsqueeze(0).unsqueeze(0), size(224, 224), modebilinear).squeeze().numpy()最后把熱力圖疊加到原圖上alpha設為0.4左右超過0.6會蓋住垃圾本身的細節(jié)看不清模型關注的是瓶蓋還是標簽。我自己的習慣是會同時跑一組“錯誤分類”的圖片把預測錯誤和預測正確的熱力圖并排貼到答辯PPT里——大概率你會發(fā)現(xiàn)模型對錯誤樣本的關注區(qū)域也和正確樣本大不相同這說明它并不是單純在猜?；煜仃嚨慕庾x重點不要放在“整體精度多少”而要看哪些類別互混。兩張紙類和紙板類如果經常被弄混說明兩者在紋理特征上接近解決方案是增加這兩個類別的樣本數(shù)量或者手動去除訓練集里標注錯誤的圖片——課設數(shù)據(jù)集里標注錯誤的情況其實比想象的常見。按上述操作做完答辯時說“我通過熱力圖發(fā)現(xiàn)模型主要依據(jù)瓶身紋理分類并通過混淆矩陣定位到紙類和紙板類的混淆針對性補充了100張訓練圖片”這句話比報一個95%的精度更有說服力。做這個課設項目的最后一段路我踩過最深的坑就是“訓練時改了一堆增強參數(shù)但沒有記錄每次改了什么”。從第3章開始每次實驗把transform配置、學習率、epoch數(shù)、驗證精度一行行記進一個TXT文件等你回頭調參或者寫論文時這套記錄就是最快的后悔藥。希望這篇筆記幫你在答辯前少走幾個彎路祝順利。本文還有配套的精品資源點擊獲取