簡介這份資源是面向計(jì)算機(jī)相關(guān)專業(yè)學(xué)生與項(xiàng)目實(shí)戰(zhàn)學(xué)習(xí)者的深度學(xué)習(xí)農(nóng)作物病蟲害識(shí)別完整項(xiàng)目包適用于畢業(yè)設(shè)計(jì)、課程大作業(yè)及算法練習(xí)場景難度適中已通過導(dǎo)師指導(dǎo)與評(píng)審認(rèn)可。壓縮包共281個(gè)文件約522.68MB包含14個(gè)Python源碼文件、8個(gè)Vue與7個(gè)JavaScript前端文件、6份PDF及3份Word論文文檔另有大量txt說明、jpg與png圖像樣本、html頁面及caj參考文獻(xiàn)覆蓋模型訓(xùn)練、前端展示與論文寫作全流程。源碼均經(jīng)本地編譯調(diào)試可穩(wěn)定運(yùn)行并配有論文資料與技術(shù)路線圖便于理解系統(tǒng)架構(gòu)與實(shí)現(xiàn)思路。目前已有187人學(xué)習(xí)下載適合需要完整方案、排錯(cuò)參考與目錄結(jié)構(gòu)借鑒的學(xué)習(xí)者直接使用。1. 從一份農(nóng)作物病蟲害識(shí)別源碼包說起它到底能跑出什么結(jié)果如果你手頭正壓著一個(gè)深度學(xué)習(xí)課程設(shè)計(jì)或者畢業(yè)設(shè)計(jì)選題是農(nóng)作物病蟲害識(shí)別大概率會(huì)遇到一個(gè)很現(xiàn)實(shí)的問題網(wǎng)上能找到的代碼要么只有模型定義沒有訓(xùn)練腳本要么數(shù)據(jù)集路徑寫死在自己電腦上clone 下來根本跑不通。這份 Python 人工智能基于深度學(xué)習(xí)的農(nóng)作物病蟲害識(shí)別項(xiàng)目源碼加論文資料解決的正是這個(gè)從零散代碼到可運(yùn)行工程之間的斷層。它面向的是需要完整交付物的場景——不只是跑通一個(gè) CNN而是要有訓(xùn)練流程、評(píng)估指標(biāo)、可視化結(jié)果以及配套的論文材料。技術(shù)棧是 Python 加主流深度學(xué)習(xí)框架核心任務(wù)是圖像分類給一張葉片照片判斷它屬于哪種病害或者健康狀態(tài)。適合誰正在做畢設(shè)的本科生、需要快速搭一個(gè) baseline 的算法工程師、以及想拿一個(gè)完整項(xiàng)目練手 Python 深度學(xué)習(xí)教程的入門者。下面我從代碼結(jié)構(gòu)、數(shù)據(jù)組織、訓(xùn)練調(diào)參到踩坑排查把這份資源拆開講清楚。2. 源碼結(jié)構(gòu)與數(shù)據(jù)組織先搞清楚每個(gè)目錄在干什么2.1 拿到源碼包后的第一件事目錄樹與依賴清單很多人下載完壓縮包直接找train.py就開跑結(jié)果報(bào)一堆ModuleNotFoundError。常見做法是先花五分鐘把目錄結(jié)構(gòu)過一遍確認(rèn)數(shù)據(jù)、代碼、權(quán)重、論文資料各自的位置。一個(gè)典型的農(nóng)作物病蟲害識(shí)別項(xiàng)目目錄大致長這樣crop_disease/ ├── data/ │ ├── train/ │ │ ├── Apple___Black_rot/ │ │ ├── Apple___healthy/ │ │ └── ... │ ├── val/ │ └── test/ ├── models/ │ ├── __init__.py │ ├── resnet.py │ └── custom_cnn.py ├── utils/ │ ├── dataset.py │ ├── transforms.py │ └── metrics.py ├── configs/ │ └── config.yaml ├── train.py ├── evaluate.py ├── predict.py ├── requirements.txt └── paper/ └── 論文資料.docx這個(gè)結(jié)構(gòu)不是隨便擺的。data下按類別分文件夾是ImageFolder這類接口能直接讀的格式models單獨(dú)抽出來是為了換骨干網(wǎng)絡(luò)時(shí)不動(dòng)訓(xùn)練邏輯configs放超參數(shù)避免改一個(gè)學(xué)習(xí)率要翻三個(gè)文件。requirements.txt里通常會(huì)鎖版本但這里有個(gè)坑——如果作者用的是torch1.13而你本地是 2.x某些 API 行為會(huì)變后面避坑章節(jié)會(huì)細(xì)說。依賴安裝建議用虛擬環(huán)境不要往系統(tǒng) Python 里灌python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple邏輯說明虛擬環(huán)境隔離掉系統(tǒng)包里可能存在的舊版 numpy、pillow 沖突。-i指定國內(nèi)鏡像源因?yàn)?torch 的 wheel 文件動(dòng)輒幾百 MB直連官方源在部分網(wǎng)絡(luò)環(huán)境下會(huì)超時(shí)。參數(shù)上如果你有 CUDA 顯卡注意requirements.txt里寫的 torch 版本是否帶cu后綴裝成 CPU 版訓(xùn)練會(huì)慢到懷疑人生。2.2 數(shù)據(jù)集劃分與類別不平衡別讓模型只學(xué)會(huì)猜多數(shù)類農(nóng)作物病蟲害數(shù)據(jù)集有個(gè)典型特征健康樣本多某些病害樣本少。如果直接按文件夾數(shù)量訓(xùn)練模型會(huì)傾向于預(yù)測多數(shù)類準(zhǔn)確率看著不低但召回率很難看。源碼里一般會(huì)在utils/dataset.py做處理常見做法有三種加權(quán)采樣、數(shù)據(jù)增強(qiáng)、以及分層劃分。先看數(shù)據(jù)劃分。如果你拿到的數(shù)據(jù)只有train一個(gè)文件夾需要自己切出驗(yàn)證集import os, shutil, random from pathlib import Path raw_dir Path(data/raw) train_dir Path(data/train) val_dir Path(data/val) split_ratio 0.2 random.seed(42) for cls_dir in raw_dir.iterdir(): if not cls_dir.is_dir(): continue imgs list(cls_dir.glob(*.jpg)) list(cls_dir.glob(*.png)) random.shuffle(imgs) n_val int(len(imgs) * split_ratio) val_imgs, train_imgs imgs[:n_val], imgs[n_val:] (train_dir / cls_dir.name).mkdir(parentsTrue, exist_okTrue) (val_dir / cls_dir.name).mkdir(parentsTrue, exist_okTrue) for img in train_imgs: shutil.copy(img, train_dir / cls_dir.name / img.name) for img in val_imgs: shutil.copy(img, val_dir / cls_dir.name / img.name)邏輯說明按類別分別切分保證每個(gè)類在訓(xùn)練集和驗(yàn)證集里的比例一致這就是分層劃分的樸素實(shí)現(xiàn)。random.seed(42)固定隨機(jī)種子方便復(fù)現(xiàn)。參數(shù)上split_ratio0.2是常見起點(diǎn)數(shù)據(jù)量少于五千張時(shí)可以降到 0.15否則驗(yàn)證集太小指標(biāo)波動(dòng)大。類別不平衡的應(yīng)對源碼里如果用了WeightedRandomSampler核心是給每個(gè)樣本算一個(gè)權(quán)重權(quán)重和類別頻次成反比from torch.utils.data import WeightedRandomSampler import numpy as np targets [dataset[i][1] for i in range(len(dataset))] class_count np.bincount(targets) class_weights 1.0 / class_count sample_weights [class_weights[t] for t in targets] sampler WeightedRandomSampler(sample_weights, num_sampleslen(sample_weights), replacementTrue)邏輯說明class_count統(tǒng)計(jì)每個(gè)類別的樣本數(shù)取倒數(shù)后少數(shù)類權(quán)重自然變大。replacementTrue表示有放回采樣讓少數(shù)類在同一個(gè) epoch 里被重復(fù)抽到。參數(shù)上num_samples一般設(shè)成訓(xùn)練集總大小設(shè)太大會(huì)拖慢單 epoch 時(shí)間。注意這個(gè) sampler 要傳給DataLoader的sampler參數(shù)同時(shí)shuffle必須設(shè)為False兩者互斥這是新手常翻車的地方。3. 模型選型與訓(xùn)練腳本從 ResNet 到自定義 CNN 的取舍3.1 骨干網(wǎng)絡(luò)怎么選遷移學(xué)習(xí)還是從頭訓(xùn)農(nóng)作物病蟲害識(shí)別本質(zhì)是細(xì)粒度圖像分類葉片紋理和病斑形態(tài)差異沒有 ImageNet 那么大但類別間的視覺差距也不算懸殊。源碼里如果提供了 ResNet50 和自定義 CNN 兩套選哪個(gè)取決于你的數(shù)據(jù)量和算力。數(shù)據(jù)量低于一萬張時(shí)遷移學(xué)習(xí)幾乎總是更優(yōu)。加載預(yù)訓(xùn)練權(quán)重凍結(jié)前面的卷積層只訓(xùn)最后的全連接import torch import torch.nn as nn from torchvision import models def build_model(num_classes, backboneresnet50, pretrainedTrue, freeze_backboneTrue): if backbone resnet50: model models.resnet50(weightsmodels.ResNet50_Weights.DEFAULT if pretrained else None) if freeze_backbone: for param in model.parameters(): param.requires_grad False in_features model.fc.in_features model.fc nn.Sequential( nn.Linear(in_features, 256), nn.ReLU(), nn.Dropout(0.5), nn.Linear(256, num_classes) ) return model邏輯說明weightsResNet50_Weights.DEFAULT拉取預(yù)訓(xùn)練參數(shù)freeze_backbone把卷積層梯度關(guān)掉只更新新加的分類頭。Dropout(0.5)是防過擬合的常規(guī)操作數(shù)據(jù)量小的時(shí)候可以提到 0.6。參數(shù)上num_classes必須和你的類別數(shù)嚴(yán)格一致多一個(gè)少一個(gè)都會(huì)在算 loss 時(shí)報(bào)維度錯(cuò)誤。如果顯存夠、數(shù)據(jù)量過萬可以把freeze_backbone設(shè)為False做全量微調(diào)但學(xué)習(xí)率要調(diào)小通常設(shè)成分類頭的十分之一。自定義 CNN 適合數(shù)據(jù)量極小、或者論文需要對比實(shí)驗(yàn)的場景。結(jié)構(gòu)一般是三四層卷積加池化參數(shù)量控制在百萬級(jí)以內(nèi)。但說實(shí)話除非你的論文明確要求從零搭建否則遷移學(xué)習(xí)的性價(jià)比高得多這也是我一般會(huì)建議優(yōu)先走的路。3.2 訓(xùn)練循環(huán)里的關(guān)鍵參數(shù)學(xué)習(xí)率、batch size 與早停訓(xùn)練腳本train.py里最值得盯的是三個(gè)東西優(yōu)化器配置、學(xué)習(xí)率調(diào)度、以及早停策略。源碼里常見的是 Adam 加 StepLR但 Adam 在細(xì)粒度分類上有時(shí)不如 SGD 加 momentum 穩(wěn)。import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR optimizer optim.SGD( filter(lambda p: p.requires_grad, model.parameters()), lr0.001, momentum0.9, weight_decay1e-4 ) scheduler CosineAnnealingLR(optimizer, T_max30, eta_min1e-6) best_acc 0.0 patience, counter 7, 0 for epoch in range(50): train_one_epoch(model, train_loader, optimizer, criterion, device) val_acc evaluate(model, val_loader, device) scheduler.step() if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best.pth) counter 0 else: counter 1 if counter patience: print(fEarly stop at epoch {epoch}) break邏輯說明filter(lambda p: p.requires_grad, ...)只把需要更新的參數(shù)交給優(yōu)化器凍結(jié)層不參與。weight_decay1e-4是 L2 正則抑制過擬合。CosineAnnealingLR讓學(xué)習(xí)率按余弦曲線下降比 StepLR 的階梯下降更平滑T_max一般設(shè)成總 epoch 數(shù)。早停的patience7表示驗(yàn)證集準(zhǔn)確率連續(xù)七輪不提升就停這是省時(shí)間的后悔藥——沒有它你可能在過擬合之后還在傻等。batch size 的選擇有個(gè)經(jīng)驗(yàn)值顯存允許的前提下盡量大但不要超過 64因?yàn)樘蠓炊档头夯?GB 顯存跑 ResNet50 加 224 輸入batch size 設(shè) 16 或 32 比較穩(wěn)。如果報(bào)CUDA out of memory先降 batch size再考慮降輸入分辨率別一上來就換小模型。4. 評(píng)估、可視化與論文資料讓結(jié)果能寫進(jìn)文檔4.1 混淆矩陣與分類報(bào)告準(zhǔn)確率之外必須看的指標(biāo)訓(xùn)練完只看一個(gè) accuracy 是不夠的尤其類別不平衡時(shí)。evaluate.py里通常會(huì)輸出混淆矩陣和 sklearn 的 classification_report。如果源碼沒帶自己補(bǔ)上from sklearn.metrics import classification_report, confusion_matrix import seaborn as sns import matplotlib.pyplot as plt def plot_confusion(y_true, y_pred, class_names, save_pathcm.png): cm confusion_matrix(y_true, y_pred) plt.figure(figsize(12, 10)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names) plt.xlabel(Predicted) plt.ylabel(True) plt.tight_layout() plt.savefig(save_path, dpi300) print(classification_report(y_true, y_pred, target_namesclass_names))邏輯說明confusion_matrix的行是真實(shí)標(biāo)簽列是預(yù)測標(biāo)簽對角線越深越好。classification_report給出每個(gè)類的 precision、recall、f1-score重點(diǎn)看少數(shù)類的 recall 是不是低得離譜。dpi300是為了論文插圖清晰度屏幕預(yù)覽用 100 就夠。參數(shù)上class_names的順序必須和標(biāo)簽編碼一致否則圖上的類別名會(huì)張冠李戴。4.2 論文資料怎么用結(jié)構(gòu)參考而非直接復(fù)制配套的論文資料一般包含摘要、緒論、相關(guān)技術(shù)、實(shí)驗(yàn)設(shè)計(jì)、結(jié)果分析這幾塊。它的價(jià)值在于給你一個(gè)章節(jié)框架和實(shí)驗(yàn)描述的寫法參考比如怎么描述數(shù)據(jù)集來源、怎么列超參數(shù)表、怎么分析消融實(shí)驗(yàn)。但直接復(fù)制文字風(fēng)險(xiǎn)很大查重過不了。我的用法是對照它的實(shí)驗(yàn)表格格式把自己的訓(xùn)練日志填進(jìn)去參考它的技術(shù)背景寫法但用自己的話重寫。論文里的圖表用你實(shí)際跑出來的混淆矩陣和 loss 曲線替換這樣才站得住腳。論文資料里如果有開題報(bào)告或任務(wù)書模板注意核對學(xué)校的具體格式要求不同學(xué)校對字體、行距、參考文獻(xiàn)格式的規(guī)定差異不小別照搬。5. 避坑與排查那些讓訓(xùn)練崩掉的細(xì)節(jié)5.1 現(xiàn)象loss 一直是 nan原因?qū)W習(xí)率過大或數(shù)據(jù)未歸一化解決降 lr 并檢查 transform訓(xùn)練頭幾個(gè) batch 就出 nan最常見的原因是學(xué)習(xí)率設(shè)成了 0.1 這種大值梯度爆炸。先把 lr 降到 1e-4 試。另一個(gè)原因是圖像沒有做歸一化像素值 0-255 直接喂進(jìn)去數(shù)值范圍太大。檢查transforms.py里有沒有Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225])這是 ImageNet 的統(tǒng)計(jì)值用預(yù)訓(xùn)練模型時(shí)必須加。5.2 現(xiàn)象驗(yàn)證集準(zhǔn)確率遠(yuǎn)高于訓(xùn)練集原因驗(yàn)證集太小或數(shù)據(jù)泄漏解決重新分層劃分正常情況驗(yàn)證準(zhǔn)確率應(yīng)該略低于訓(xùn)練集。如果反過來高很多大概率是驗(yàn)證集里混進(jìn)了訓(xùn)練集的圖片或者驗(yàn)證集只有幾十張波動(dòng)大。檢查切分腳本有沒有把同一張圖復(fù)制到兩個(gè)集合以及驗(yàn)證集每個(gè)類是否至少有 30 張。數(shù)據(jù)泄漏是玄學(xué)指標(biāo)的根源必須排查干凈。5.3 現(xiàn)象GPU 利用率低、訓(xùn)練慢原因DataLoader num_workers 設(shè)為 0解決調(diào)大 worker 數(shù)并開 pin_memoryDataLoader默認(rèn)num_workers0意思是數(shù)據(jù)加載在主進(jìn)程做GPU 算完一個(gè) batch 要等 CPU 讀下一批。設(shè)成 4 或 8 能明顯提速。同時(shí)pin_memoryTrue可以加速 CPU 到 GPU 的傳輸。但 Windows 上 worker 數(shù)設(shè)太大有時(shí)會(huì)報(bào)錯(cuò)先從 2 試起。5.4 現(xiàn)象換了 torch 版本后模型加載報(bào) key 不匹配原因預(yù)訓(xùn)練權(quán)重結(jié)構(gòu)變化解決用 strictFalse 或?qū)R版本torch.load時(shí)如果報(bào)Missing key(s) in state_dict說明保存權(quán)重時(shí)的模型結(jié)構(gòu)和當(dāng)前定義不一致。臨時(shí)辦法是model.load_state_dict(state_dict, strictFalse)但更穩(wěn)妥的是把 torch 版本對齊到requirements.txt里寫的版本。版本不對齊還會(huì)導(dǎo)致torchvision的 transform API 行為差異這類問題排查起來很費(fèi)時(shí)間。5.5 現(xiàn)象預(yù)測單張圖片結(jié)果離譜原因推理時(shí)忘了切 eval 模式解決model.eval() 加 torch.no_grad()訓(xùn)練時(shí) BatchNorm 和 Dropout 是開啟的推理時(shí)必須調(diào)model.eval()關(guān)掉否則同一張圖每次預(yù)測結(jié)果都不一樣。同時(shí)用with torch.no_grad():包住前向傳播省顯存也提速。這兩個(gè)是推理腳本的標(biāo)配漏一個(gè)結(jié)果就不對。6. 進(jìn)階技巧用 Grad-CAM 讓模型告訴你它在看哪里論文答辯時(shí)經(jīng)常被問一個(gè)問題你怎么知道模型學(xué)的是病斑而不是背景光有準(zhǔn)確率回答不了這個(gè)質(zhì)疑。Grad-CAM 能生成熱力圖高亮模型做決策時(shí)關(guān)注的區(qū)域這是讓結(jié)果可信度上一個(gè)臺(tái)階的技巧也是很多農(nóng)作物病蟲害識(shí)別論文里的加分項(xiàng)。原理不復(fù)雜取最后一個(gè)卷積層的特征圖對目標(biāo)類別的梯度做全局平均池化得到權(quán)重加權(quán)求和后 ReLU 激活再上采樣到原圖尺寸。代碼實(shí)現(xiàn)import torch import torch.nn.functional as F import cv2 import numpy as np class GradCAM: def __init__(self, model, target_layer): self.model model self.target_layer target_layer self.gradients None self.activations None target_layer.register_forward_hook(self._save_activation) target_layer.register_full_backward_hook(self._save_gradient) def _save_activation(self, module, input, output): self.activations output.detach() def _save_gradient(self, module, grad_input, grad_output): self.gradients grad_output[0].detach() def generate(self, input_tensor, class_idxNone): self.model.eval() output self.model(input_tensor) if class_idx is None: class_idx output.argmax(dim1).item() self.model.zero_grad() output[0, class_idx].backward() weights self.gradients.mean(dim(2, 3), keepdimTrue) cam (weights * self.activations).sum(dim1, keepdimTrue) cam F.relu(cam) cam F.interpolate(cam, sizeinput_tensor.shape[2:], modebilinear, align_cornersFalse) cam cam.squeeze().cpu().numpy() cam (cam - cam.min()) / (cam.max() - cam.min() 1e-8) return cam, class_idx邏輯說明register_forward_hook在前向傳播時(shí)存下特征圖register_full_backward_hook在反向傳播時(shí)存下梯度。weights是梯度在空間維度上的均值代表每個(gè)通道對目標(biāo)類別的重要性。F.relu過濾掉負(fù)值只保留對分類有正貢獻(xiàn)的區(qū)域。最后歸一化到 0-1 方便疊加顯示。參數(shù)上target_layer一般選model.layer4[-1]ResNet 系列選太淺的層熱力圖會(huì)很散。拿到 cam 之后疊加到原圖def overlay_cam(img_path, cam, save_pathcam_result.jpg): img cv2.imread(img_path) img cv2.resize(img, (cam.shape[1], cam.shape[0])) heatmap cv2.applyColorMap(np.uint8(255 * cam), cv2.COLORMAP_JET) result cv2.addWeighted(img, 0.6, heatmap, 0.4, 0) cv2.imwrite(save_path, result)邏輯說明addWeighted的 0.6 和 0.4 是原圖和熱力圖的混合比例原圖權(quán)重高一點(diǎn)看得更清楚。COLORMAP_JET是常用的紅藍(lán)配色紅色區(qū)域表示模型關(guān)注度高。如果熱力圖全圖都紅說明模型沒學(xué)到有區(qū)分度的特征得回頭檢查數(shù)據(jù)標(biāo)注質(zhì)量或者訓(xùn)練輪數(shù)夠不夠。我自己的習(xí)慣是每訓(xùn)完一個(gè)模型隨機(jī)抽十張驗(yàn)證集圖片跑一遍 Grad-CAM肉眼確認(rèn)高亮區(qū)域落在葉片病斑上而不是土壤或背景。這個(gè)步驟花不了幾分鐘但能提前發(fā)現(xiàn)很多指標(biāo)看不出來的問題。從那以后我每次交付模型前都強(qiáng)制走一遍可視化檢查希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取