YOLOv9加DeepSort目标跟踪实战：从跑通到调优避坑

简介：这份毕业设计资源围绕YOLOv9与DeepSORT的联合应用展开，面向计算机视觉方向的学生与开发者，解决多目标跟踪从检测到关联的完整落地问题。包内共8个文件，以py源码、ipynb笔记本、yml环境配置、names类别文件及md说明为主，另有gif效果演示，压缩包约16.85MB，结构覆盖数据读取、模型加载、跟踪流程与结果可视化等环节。YOLOv9负责逐帧检测并输出边界框，DeepSORT借助卡尔曼滤波与深度特征度量完成跨帧目标关联，源码中可看到特征提取网络配置、相似度度量与状态更新的实现细节。已有548人学习，适合希望理解检测与跟踪如何衔接、并动手复现多目标跟踪流程的读者参考。

1. YOLOv9 加 DeepSort 做目标跟踪：从毕业设计到能跑通的工程链路

目标跟踪这个方向，每年毕业设计季都会被翻出来做一遍。原因很直接：它既有视觉上的即时反馈——框跟着人走，ID 不乱跳，演示效果好；又有足够的算法深度——检测、特征提取、数据关联、卡尔曼滤波，每一层都能展开写论文。而 YOLOv9 加 DeepSort 这套组合，恰好卡在一个甜点位上：YOLOv9 负责每帧把目标框出来，DeepSort 负责把跨帧的同一个目标串成一条轨迹。你拿到一份标着「YOLOv9+DeepSort 目标跟踪算法 python 源码」的压缩包，真正要解决的问题不是「跑不跑得起来」，而是「跑起来之后 ID 为什么老切换、遮挡后为什么跟丢、换段视频为什么就崩」。这篇笔记就按这个顺序拆：先讲清这套链路里每个模块在干什么，再给一套能直接复现的最小实现，然后把调参和踩坑摊开说。适合正在做毕设、需要一套能演示又能写进论文的跟踪方案的人，也适合想把检测模型接上跟踪器做业务原型的工程师。

2. 拆开 YOLOv9 与 DeepSort：检测器和跟踪器各自负责什么

2.1 YOLOv9 在跟踪链路里的真实角色

很多人把 YOLOv9 当成「更准的 YOLOv8」来用，但在跟踪任务里，检测器的价值不只是 mAP 高。跟踪对检测的要求是「稳定」——同一目标在连续帧里的框要尽量一致，框的抖动会直接传给卡尔曼滤波，导致轨迹震荡。YOLOv9 相比前代引入的可编程梯度信息（PGI）和 GELAN 结构，本质上是在有限参数量下把特征提取效率拉高，这对跟踪场景的意义是：小目标召回更稳，遮挡边缘的框不容易突然消失。

实际用的时候，你不需要自己从头训 YOLOv9。常见做法是拿 COCO 或自定义数据集预训练权重，在跟踪视频对应的类别上做微调。如果毕设场景是行人跟踪，直接用 COCO 里 person 类的权重就能跑；如果是车辆或特定工业目标，就得自己标几百张图微调。这里有个容易被忽略的点：跟踪用的检测置信度阈值不能照搬纯检测任务。纯检测追求 mAP，阈值可以设 0.25；跟踪里阈值太低会引入大量误检，DeepSort 的匹配矩阵会被噪声撑爆，ID 切换率反而上升。我一般从 0.4 起步，再根据漏检情况往下调。

YOLOv9 的输出格式也要注意。不同版本的推理脚本吐出来的可能是[x1,y1,x2,y2,conf,cls]，也可能是[cx,cy,w,h,conf,cls]。DeepSort 需要的是左上右下坐标加置信度，格式不对会在匹配阶段报维度错误，或者更隐蔽地——框全偏了但程序不崩，你盯着屏幕半天才发现坐标是中心点格式。

2.2 DeepSort 的匹配逻辑与三个关键参数

DeepSort 的核心是「卡尔曼滤波预测 + 匈牙利算法匹配 + 级联匹配」。卡尔曼滤波根据上一帧的轨迹预测当前帧目标位置，匈牙利算法把预测框和检测框做关联，级联匹配则优先处理最近出现过的轨迹，避免新轨迹抢走老轨迹的匹配。

这里面有三个参数直接决定跟踪质量：

这三个参数没有万能值。行人匀速走，max_age 设 30 够用；车辆高速移动，max_iou_distance 要放宽到 0.8 以上，否则两帧之间位移超过框大小，IoU 直接归零。我见过最典型的翻车是：用行人参数跑车辆视频，车一加速 ID 就换，还以为是模型不行。

2.3 特征提取网络：ReID 模型为什么不能随便换

DeepSort 靠外观特征做匹配，这个特征来自一个 ReID（重识别）网络。原版 DeepSort 用的是在行人数据集上训的宽残差网络，输出 128 维特征向量。如果你跟踪的不是行人，这个特征空间是错位的——车辆之间的外观差异和行人之间的差异分布完全不同，余弦距离算出来没有区分度。

常见做法是：跟踪行人直接用原版权重；跟踪车辆或其他目标，要么换一个在对应数据集上训过的 ReID 模型，要么退而求其次，把max_dist调大、更多依赖 IoU 匹配。后者精度会降，但比硬套行人特征强。毕设里如果只要求演示效果，用 IoU 主导的匹配也能出图，但论文里得说清楚这个取舍。

3. 用 YOLOv9 加 DeepSort 跑通最小跟踪 demo

3.1 环境准备与依赖安装

这套链路对环境的敏感度中等，主要坑在 PyTorch 和 torchvision 版本匹配。YOLOv9 官方实现一般要求 PyTorch 1.10 以上，DeepSort 的 deep_sort_realtime 或原版 deep_sort 对 torch 版本要求更宽松。我一般用 conda 建一个干净环境，避免和系统里的 CUDA 版本打架。

conda create -n yolo9_deepsort python=3.9 -y conda activate yolo9_deepsort # 安装 PyTorch，按自己 CUDA 版本选，这里以 CUDA 11.8 为例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 跟踪与视觉依赖 pip install opencv-python numpy scipy filterpy scikit-learn pip install deep-sort-realtime

逻辑说明：filterpy是卡尔曼滤波的实现库，DeepSort 内部会调用；scikit-learn用于余弦距离计算；deep-sort-realtime是一个封装较好的 DeepSort 实现，比原版更容易接 YOLO 输出。参数上，Python 3.9 是兼容性最好的版本，3.11 以上部分旧版 DeepSort 会报collections相关错误。

注意：如果你拿到的源码包里自带requirements.txt，先看里面有没有锁死版本号。锁死的版本往往和当前 CUDA 不匹配，直接装会失败，建议按上面的方式手动装核心依赖，再补源码包特有的包。

3.2 YOLOv9 推理输出转 DeepSort 输入格式

YOLOv9 推理出来是一堆框，DeepSort 需要的是[x1,y1,x2,y2,conf,cls]的 numpy 数组。这一步的转换看着简单，但坐标格式和置信度过滤是两个高频出错点。

import cv2 import numpy as np from ultralytics import YOLO from deep_sort_realtime.deepsort_tracker import DeepSort # 加载 YOLOv9 权重，这里用 ultralytics 接口，权重文件按自己训练或下载的填 model = YOLO("yolov9-c.pt") # 初始化 DeepSort tracker = DeepSort( max_age=30, # 轨迹丢失后保留帧数 n_init=3, # 连续命中多少帧才确认轨迹 max_iou_distance=0.7, # IoU 匹配阈值 max_dist=0.2, # 特征余弦距离阈值 embedder="mobilenet", # 特征提取网络，行人场景可用默认 half=True # 半精度推理，GPU 上提速明显 ) cap = cv2.VideoCapture("test_video.mp4") while cap.isOpened(): ret, frame = cap.read() if not ret: break # YOLOv9 推理，conf 阈值设 0.4，跟踪场景不宜过低 results = model(frame, conf=0.4, verbose=False)[0] detections = [] for box in results.boxes: x1, y1, x2, y2 = box.xyxy[0].cpu().numpy() conf = float(box.conf[0].cpu().numpy()) cls = int(box.cls[0].cpu().numpy()) # DeepSort 要求格式：[左上x, 左上y, 宽, 高, 置信度, 类别] detections.append(([x1, y1, x2 - x1, y2 - y1], conf, cls)) # 更新跟踪器 tracks = tracker.update_tracks(detections, frame=frame) for track in tracks: if not track.is_confirmed(): continue track_id = track.track_id ltrb = track.to_ltrb() # 转回左上右下坐标 x1, y1, x2, y2 = map(int, ltrb) cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(frame, f"ID {track_id}", (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) cv2.imshow("Tracking", frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()

逻辑说明：model(frame)返回的results.boxes里，xyxy是左上右下坐标，但 DeepSort 的update_tracks要的是左上角加宽高，所以做了x2-x1和y2-y1的转换。n_init=3表示轨迹连续命中 3 帧才输出，能过滤掉一闪而过的误检。half=True在支持 FP16 的 GPU 上能提速 30% 左右，CPU 上要关掉。

参数说明：max_age和max_iou_distance是调参重点，后面避坑章节会展开。embedder如果跟踪的不是行人，可以换成"mobilenet"以外的模型，或者传入自定义 ReID 模型路径。

3.3 把跟踪结果写成视频和轨迹文件

跑通实时显示之后，毕设通常还需要输出一段带跟踪框的视频，以及每个 ID 的轨迹坐标文件，方便画轨迹图或做定量分析。

import csv # 在循环外初始化写入器 out = cv2.VideoWriter("output.mp4", cv2.VideoWriter_fourcc(*"mp4v"), 30, (int(cap.get(3)), int(cap.get(4)))) traj_file = open("trajectories.csv", "w", newline="") writer = csv.writer(traj_file) writer.writerow(["frame", "track_id", "x1", "y1", "x2", "y2"]) frame_idx = 0 while cap.isOpened(): ret, frame = cap.read() if not ret: break # ... 检测与跟踪逻辑同上 ... for track in tracks: if not track.is_confirmed(): continue ltrb = track.to_ltrb() writer.writerow([frame_idx, track.track_id, *map(int, ltrb)]) out.write(frame) frame_idx += 1 traj_file.close() out.release()

逻辑说明：VideoWriter的帧率要和源视频一致，否则输出视频会快放或慢放。轨迹 CSV 按帧记录每个 ID 的框坐标，后续可以用 pandas 读出来画热力图或计算轨迹平滑度。参数上，mp4v编码在多数环境可用，如果输出文件打不开，换成XVID加.avi后缀。

4. 跟踪效果调优：参数、特征和场景适配

4.1 置信度阈值与 NMS 的联动调整

YOLOv9 默认带 NMS，但跟踪场景下 NMS 的 IoU 阈值会影响密集目标。比如人群场景，两个人挨得近，NMS 阈值设 0.45 可能把其中一个人框删掉，DeepSort 就少了一个检测，轨迹断裂。常见做法是把 NMS IoU 阈值提到 0.6 到 0.7，让重叠框都保留，交给 DeepSort 去关联。

置信度阈值和 NMS 要一起调。我一般先固定 NMS 为 0.6，然后从 0.5 往下试 conf，看漏检和误检的平衡点。如果视频里目标清晰、背景干净，conf 可以到 0.5；如果目标小、光照差，降到 0.3 但要把max_dist收紧到 0.15，防止误检被匹配成轨迹。

4.2 卡尔曼滤波参数对轨迹平滑度的影响

DeepSort 内部的卡尔曼滤波用的是匀速模型，状态向量是[x, y, a, h, vx, vy, va, vh]，其中 a 是宽高比，h 是高。默认的过程噪声和观测噪声协方差是调好的，一般不用动。但如果你的目标运动模式不是匀速——比如无人机视角下车辆转弯、行人突然变向——匀速模型会预测偏，导致匹配 IoU 下降。

这种情况可以调std_weight_position和std_weight_velocity，把过程噪声调大，让滤波器更相信观测值。代价是轨迹会抖一些。毕设里如果轨迹图要求平滑，就保持默认；如果要求跟得紧，就适当调大过程噪声。这个参数在deep_sort_realtime里没有直接暴露，需要改源码里的KalmanFilter初始化部分。

4.3 换场景后必须重新验证的三件事

一套参数跑通一个视频，不代表能跑通所有视频。换场景后，我一般按这个顺序检查：

第一，看检测框是否稳定。把 YOLO 单独跑一遍，可视化检测结果，如果框本身就在跳，DeepSort 再怎么调也没用。第二，看 ReID 特征是否可区分。可以写个小脚本，把同一目标不同帧的特征向量算余弦相似度，如果相似度低于 0.5，说明特征网络不适合这个场景。第三，看轨迹 ID 切换频率。统计一段视频里 ID 总数和实际目标数，如果 ID 数是目标数的三倍以上，说明匹配参数需要放宽或收紧。

5. YOLOv9 加 DeepSort 跟踪的避坑与排查记录

5.1 现象：ID 频繁切换，一个目标出现多个 ID

原因：最常见的是max_dist太小，外观特征匹配过严，目标稍微转个身、光照变一点，特征距离就超过阈值，匹配失败，新轨迹生成。其次是检测框抖动大，IoU 匹配也不稳定。

解决：先把max_dist从 0.2 调到 0.3，观察 ID 切换是否减少。如果还不行，检查 ReID 模型是否匹配场景。行人场景用默认模型，车辆场景换车辆 ReID 或把max_iou_distance调到 0.8，让 IoU 主导匹配。

5.2 现象：遮挡后目标 ID 变了，或者轨迹直接消失

原因：max_age太小，目标被遮挡几帧后轨迹被删除，重新出现时只能新建 ID。另外，如果遮挡期间卡尔曼滤波预测位置偏太远，重新出现时 IoU 匹配不上。

解决：把max_age从 30 提到 50 甚至 80，给遮挡留足恢复时间。同时检查max_iou_distance，遮挡后目标位移可能较大，IoU 阈值要放宽。代价是错误轨迹保留时间变长，需要在演示时手动清理。

5.3 现象：程序跑几帧后报维度错误或崩溃

原因：YOLO 输出格式和 DeepSort 输入格式不匹配。常见的是把[cx,cy,w,h]直接传进去，或者置信度位置放错。另外，空检测帧传入空列表时，部分 DeepSort 版本会报错。

解决：在转换处加断言，检查数组形状。空检测时传空列表[]，不要传None。如果用的是自己改过的 YOLO 推理脚本，打印一帧的results.boxes.data确认格式。

5.4 现象：GPU 利用率低，帧率上不去

原因：YOLO 推理和 DeepSort 特征提取串行执行，且每帧都在做 ReID 特征计算。如果检测框多，ReID 网络调用次数线性增长。

解决：开half=True半精度；把 ReID 特征提取批量处理，而不是每个框单独调一次；如果实时性要求不高，可以隔帧做 ReID，中间帧只用卡尔曼预测和 IoU 匹配。毕设演示一般 15 帧以上就够看，不必追求 30 帧满帧。

5.5 现象：换视频后跟踪框全偏，但程序不报错

原因：视频分辨率变了，但代码里画框或坐标转换用了硬编码的缩放比例。或者 YOLO 推理时的imgsz和实际视频分辨率不匹配，导致框坐标偏移。

解决：不要硬编码任何分辨率相关参数。YOLO 推理时imgsz设为 640 或 1280，输出框坐标是基于原图的，直接使用即可。画框前打印一帧的框坐标和图像尺寸，确认没有越界。

6. 把跟踪结果做成可写进论文的定量指标

跑出演示视频只是第一步，毕设答辩时老师更想看的是量化结果。目标跟踪常用的指标有 MOTA、MOTP、IDF1、ID Switch 次数。你不需要自己实现这些指标，用py-motmetrics就能算。

import motmetrics as mm import numpy as np # acc 累积器 acc = mm.MOTAccumulator(auto_id=True) # 假设 gt 和 pred 是按帧组织的列表 # gt: [[[x1,y1,x2,y2], ...], ...] pred: [[[x1,y1,x2,y2,id], ...], ...] for frame_gt, frame_pred in zip(gt_frames, pred_frames): gt_ids = list(range(len(frame_gt))) pred_ids = [p[4] for p in frame_pred] # 计算距离矩阵，这里用 IoU 距离 distances = mm.distances.iou_matrix( np.array(frame_gt), np.array([p[:4] for p in frame_pred]), max_iou=0.5 ) acc.update(gt_ids, pred_ids, distances) mh = mm.metrics.create() summary = mh.compute(acc, metrics=["mota", "motp", "idf1", "num_switches"], name="YOLOv9+DeepSort") print(summary)

逻辑说明：MOTAccumulator按帧累积匹配结果，iou_matrix计算检测框和真实框之间的 IoU 距离，max_iou=0.5表示 IoU 低于 0.5 视为不匹配。num_switches就是 ID Switch 次数，这个指标直接反映跟踪稳定性。参数上，max_iou要和 DeepSort 里的max_iou_distance区分开，前者是评估用的匹配阈值，后者是跟踪器内部的。

我自己的习惯是：每换一次参数，就把 MOTA 和 ID Switch 记在一个表格里，跑三组参数就能看出趋势。有一次我把max_age从 30 调到 60，MOTA 涨了 4 个点，但 ID Switch 也涨了，因为错误轨迹保留太久。最后折中在 45。这种取舍没有公式，只能靠实验数据说话。希望帮到你。

本文还有配套的精品资源，点击获取