項目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標檢測實驗項目 - AtomGit上一篇我已經把 YOLO 從圖片檢測擴展到了視頻檢測。當時視頻檢測已經可以完成Video Upload → YOLO Detection → Video Progress → Detection Video → Video Summary → JSON Export但做完以后有一個很明顯的問題。比如一輛車連續(xù)出現在幾十甚至幾百幀中普通 YOLO 會在每一幀都檢測到它。于是統(tǒng)計結果可能變成Car ×100但實際上它可能從頭到尾都是同一輛車。所以這一次我繼續(xù)使用碼道 Agent在原來的 YOLO 視頻檢測項目上加入了YOLO11n ByteTrack讓模型不只是知道這一幀有什么還能夠進一步判斷這一幀里的這輛車和上一幀的是不是同一個目標一、Detection 和 Tracking 到底差在哪普通目標檢測的邏輯是Frame 1 → Car Frame 2 → Car Frame 3 → Car Frame 4 → CarYOLO 并不知道這四個 Car 是不是同一輛。因此統(tǒng)計時可能得到Detection Events 4而目標跟蹤加入以后會給目標一個持續(xù)存在的 ID。例如Frame 1 → Car #7 Frame 2 → Car #7 Frame 3 → Car #7 Frame 4 → Car #7雖然產生了 4 次 Detection Event但真正的唯一目標只有Unique Objects 1這就是這一次加入 ByteTrack 最核心的原因。二、加入第四種模式Tracking現在項目頂部已經有四種模式Single Image Batch Images Video TrackingTracking 模式繼續(xù)復用之前的視頻上傳和 metadata 讀取能力。我這次測試的視頻參數為Resolution: 1920 × 1080 FPS: 29.97 Total Frames: 962 Duration: 32.10 sTracking Settings 中增加了Confidence ThresholdFrame IntervalShow Track TrailsTrail Length這次實際設置為Confidence 0.50 Frame Interval Every Frame Show Track Trails ON Trail Length 30三、ByteTrack 是怎么接進來的這次沒有再引入 DeepSORT 或其他新的 Tracking 框架。直接使用 Ultralytics 已經集成的ByteTrack核心思路類似model.track( frame, persistTrue, trackerbytetrack.yaml, confconfidence, devicedevice)其中比較關鍵的是persistTrue它讓 tracker 在連續(xù)視頻幀之間保留跟蹤狀態(tài)。這樣同一個目標在下一幀再次出現時就有機會繼續(xù)使用原來的track_id例如Car #4 Person #6 Bicycle #15而不是每一幀都當成新的目標。四、Track ID 才是 Unique Count 的基礎這次后端會從 ByteTrack 返回結果中讀取boxes.id再把它轉換成真實的track_id然后維護一個集合unique_track_ids set()每出現一個新的有效 IDunique_track_ids.add(track_id)最終Unique Objects len(unique_track_ids)所以如果Car #7連續(xù)出現 200 幀Detection Events 200 Unique Objects 1這就和之前的視頻檢測統(tǒng)計產生了本質區(qū)別。五、真實結果3989 次檢測最終只有 37 個唯一目標這次完整處理了962 / 962 Frames Progress: 100%頁面最終統(tǒng)計Detection Events: 3989 Unique Objects: 37也就是說YOLO 在視頻幀中一共產生了3989 次檢測事件但 ByteTrack 根據 Track ID 去重以后真正跟蹤到的唯一目標數量是37這就是 Detection 和 Tracking 最直觀的區(qū)別。六、37 個 Unique Objects 分別是什么Tracking Summary 會按照類別繼續(xù)統(tǒng)計唯一目標。這次真實結果為ClassUnique ObjectsCar18Person16Bicycle3剛好18 16 3 37這比上一篇單純看到大量 Detection Event 更容易解釋實際場景。以前只能說Car 被檢測了很多次?，F在可以進一步說ByteTrack 最終關聯出了 18 個不同的 Car Track。七、為什么還要保留 Detection Events既然已經有了 Unique Objects是不是 Detection Events 就沒用了其實不是。兩者代表不同的信息。Detection Events表示所有檢測幀中一共出現了多少次目標框它更能反映目標在視頻中的持續(xù)時間和檢測頻率。Unique Objects表示基于 ByteTrack Track ID 去重后的目標數量例如Car #7出現 150 幀。那么Detection Events 150 Unique Objects 1所以這次頁面同時保留Detection Event Summary Unique Object Summary兩種統(tǒng)計而不是用一個數字替代另一個。八、給每個目標畫上運動軌跡這次另外加入了一個比較直觀的功能Track Trails對于每個 Track ID會根據 Bounding Box 中心點計算cx (x1 x2) / 2 cy (y1 y2) / 2然后保存最近若干個位置。這次設置Trail Length 30也就是每個目標最多保留最近 30 個中心點。最后通過 OpenCV 把這些點連接起來。因此在結果視頻中除了Bounding Box Class Track ID Confidence還可以看到黃色的運動軌跡。這比普通 YOLO 的矩形框更容易觀察目標到底從哪里移動到哪里。九、Active Tracks 和 Unique Seen 不是一個概念Tracking Progress 中還有兩個容易混淆的值Active Tracks Unique Seen比如這次任務結束后頁面顯示Active Tracks: 0 Unique Seen: 37這并不代表跟蹤失敗。因為Active Tracks代表的是當前幀仍然活躍的目標數量。任務結束以后最后一幀如果沒有活躍目標它自然可能變成 0。而Unique Seen代表整個視頻處理過程中累計見過多少個不同 Track ID。所以這次真正要看的累計結果是Unique Seen 37十、Track List 能看到每個目標的生命周期Tracking 模式還增加了一個Track List每個唯一目標都會保存自己的生命周期信息Track ID Class First Frame Last Frame Frames Seen Avg Confidence Max Confidence例如#1 Car Frames: 0 → 79 Seen: 78 Avg Confidence: ... Max Confidence: ...這樣就不只是知道“有 18 輛車”還可以進一步查看某一輛車是什么時候第一次出現的持續(xù)了多少幀整個跟蹤過程中置信度怎么樣這已經開始有一點真正視頻分析系統(tǒng)的感覺了。十一、新任務必須重置 Tracker做 Tracking 時還有一個需要特別注意的問題Tracker 本身是有狀態(tài)的。因為 ByteTrack 要記住上一幀有哪些 Track ID所以如果Video A處理完以后直接開始Video B但沒有清空 tracker那么第二個任務可能繼承第一個視頻中的狀態(tài)。因此這次專門增加了reset_tracker()每一個新的 Tracking Job 開始以前都先把舊 tracker 狀態(tài)清掉。這樣Tracking Job 1和Tracking Job 2就是完全獨立的。同時也不會影響原來的普通 Video Detection。十二、導出 Tracking JSON 和 CSV跟蹤完成以后現在可以導出兩類結果。Export Tracking JSONJSON 會保存Detection Events Unique Objects Unique Class Summary Detection Class Summary Tracks每個 Track 里面還有track_id class_name first_frame last_frame frames_seen avg_confidence max_confidence結構類似{ detection_events: 3989, unique_objects: 37, unique_class_summary: { car: 18, person: 16, bicycle: 3 } }Export Tracks CSVCSV 則是一條 Track 一行。例如track_id,class_name,first_frame,last_frame,frames_seen,... 1,car,0,79,78,... 2,person,0,72,57,...相比把視頻每一幀全部導出來這種形式更適合分析一個獨立目標的完整生命周期。十三、測試也增加到了 126 個在加入 Tracking 之前整個項目已經有77 passed這次又增加了大量 ByteTrack 相關測試。最終126 passed前端邏輯測試72 assertions passed新增測試主要覆蓋tracker resetTrack ID 解析boxes.id is NoneUnique Track 去重同一 ID 多幀只統(tǒng)計一次Detection EventsUnique Class SummaryTrail LengthFirst / Last FrameFrames SeenAvg ConfidenceMax ConfidenceActive TracksTracking JSONTracks CSV新 Job 不繼承舊 tracker原 Video / Batch / Single Image 不回歸總結這一篇之后項目已經不只是YOLO Detection而是進一步進入了YOLO Detection ↓ ByteTrack ↓ Track ID ↓ Cross-frame Association ↓ Unique Object Count ↓ Trajectory Trail ↓ Track Lifecycle這次真實測試中962 Frames 3989 Detection Events 37 Unique Objects其中Car ×18 Person ×16 Bicycle ×3也就是說之前那些成百上千次重復檢測現在終于可以通過 Track ID 關聯成真正的獨立目標。從這一幀有一輛車變成這是之前那輛 Car #7它現在移動到了這里。這就是從Object Detection到Multi-Object Tracking最直觀的一步。項目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標檢測實驗項目 - AtomGit下一篇就可以繼續(xù)解決一個更實際的問題既然已經知道每輛車是誰那能不能統(tǒng)計到底有多少輛車真正經過某一條線下一步YOLO ByteTrack Line Crossing做真正的行人 / 車流過線計數。