多摄像头车辆检测、跟踪与ReID系统实战：从局部ID到全局身份

简介：一套面向2018 AI City Challenge Track 3的端到端多摄像头车辆检测、跟踪与重识别系统，采用Python实现，适合计算机视觉研究者、自动驾驶从业者及车辆ReID方向学习者。系统将输入视频依次经过车辆提议、单摄像头跟踪、多摄像头特征匹配三个阶段，利用自适应特征学习技术提升跨摄像头下的身份匹配精度，该思路亦可迁移至其他视觉重识别场景。资源共254个文件，涵盖Python核心脚本、YAML参数配置、Jupyter演示及Markdown说明等，压缩包约5.12MB，目录结构清晰，便于按模块查阅。目前已有227人学习，包内含完整实现代码与README文档，可帮助读者理解多摄像头车辆ReID的工程化落地方法。

1. 多摄像头车辆检测、跟踪和再识别系统，卡点不在检测而在“认人”

一个老问题的真实版本：车从 1 号相机画面消失，4 秒后出现在 2 号相机画面里，单镜头跟踪给它的局部 ID 是 7，跨镜之后变成 38。这不是检测漏了，而是两个摄像头之间的身份没有衔接上。这个标题里的系统，就是把三件事串成一条流水线：检测负责找车，跟踪负责在同一镜头里维持 ID，再识别（ReID）负责在不同镜头里认出同一个目标。它解决的是智慧交通、园区安防、高速收费站里最实际的“这辆车到底是谁”。

这套系统的难点不在单独某个模型跑得准不准，而在工程侧怎么把多路视频、多个局部 ID、一个全局身份库正确地拼起来。调度顺序、特征存储、匹配时机，任何一环乱了都会导致同一辆车在系统里被当成三辆车。适合手里已经会跑 YOLO、想往多相机方向深入的人看，下文会给你一套能落地的 Python 实现路径和调参方法。

2. 系统架构和数据流：把局部跟踪和全局身份解耦

多摄像头系统最容易犯的错误是“一步到位”：想用一个模型同时输出所有相机的目标 ID。实际写代码时你会发现，检测框在两路视频里根本没有可比性，同一个目标在 A 相机的框只是车头，在 B 相机里可能只有车位，直接把框拉出来做匹配，特征全被背景污染。

所以主流做法是分层解耦：每个摄像头独立跑检测和单目标跟踪，这一步解决“同一时刻是哪辆车”的局部问题；然后单独抽一辆车的深度特征，再做跨镜头的全局匹配，这一步解决“不同镜头里是不是同一辆车”的全局问题。这样做的好处是模块可替换，检测器换版本、跟踪器换算法、ReID 模型升级，互不影响。

2.1 为什么必须先做局部跟踪，再做跨镜融合

想象一条 600 米长的路口：8 路相机、每路画面里同时有 20 辆车。如果直接做全局匹配，就是把 8 路的 160 个检测框两两算相似度，再在 160×160 的矩阵里求解分配问题，每帧都要做一次 $O(n^2)$ 的特征比对。这还没算重算特征带来的 GPU 开销。

先做局部跟踪之后，每路相机对同一辆车只保留一条轨迹，全局匹配的单位从“检测框”变成“轨迹片段”。20 辆车压缩成一条轨迹，8 路就是 8 条轨迹，匹配矩阵从 160×160 变成 8×8。工程上的说法是：检测器每帧跑，跟踪器降频跑，ReID 特征只在轨迹结束或被遮挡时算一次，整体开销能降一个数量级。

另外，局部跟踪还有一个作用：纠正单帧检测的抖动。车辆检测偶尔会漏一帧、跳一帧，叠加卡尔曼滤波目标跟踪的预测逻辑后，轨迹框的位置更平滑，抽出来的 ReID 特征也更稳。

2.2 数据流向：检测框、轨迹、特征三路并行

整个系统我一般分成四个模块：解码器、检测器、局部跟踪器、全局 ReID 融合。它们之间的数据流有明确的方向，不能回环。

注意“时间戳”这一列。多路相机采集到的帧不是同一时刻的，A 相机第 100 帧和 B 相机第 98 帧可能才是同一物理时间。所以代码里所有数据结构都要带camera_id和frame_time两个字段，后续做时空关联时，这是消除误匹配的关键。

2.3 组件选型：检测、跟踪、ReID 怎么搭配不踩坑

检测部分不用多说，YOLOv8 或 YOLOX 是当前主流，车辆类 COCO 里就是 car、bus、truck 三个类。关键是跟踪器的选择。我踩过一遍后的结论是：车辆遮挡严重的路口，优先 ByteTrack 或 BoT-SORT，而不是 DeepSORT。DeepSORT 的外观特征在遮挡恢复后会主导 ID 分配，但车辆侧面和车尾差异极大，外观分支经常把同一辆车判成两辆。ByteTrack 靠运动信息和 IOU 匹配，ID 切换率更低。BoT-SORT 在工业侧常见 C++ 部署版本，Python 端编译成 so 后回调特征；如果不想维护 C++ 代码，ByteTrack 的 Python 版本同样能出效果，代价是 ID 切换率略高一点点。

ReID 模型的选择看你的算力。GPU 机子上用 OSNet 或 ResNet50 微调；边缘盒子用 MobileNet 蒸馏版本。特征维度不用贪大，512 维足够，关键在训练数据的域差异——拿公开数据集训的模型到现场会打折扣，落地时要用现场相机抽 1-2 万张图做微调，这个投入比换更大的 Backbone 值。

3. 用 Python 实现车辆检测和单摄像头跟踪

下载下来的这类 Python 代码包，结构基本是固定的，先看目录再跑，别上来就python main.py。我见过的多摄像头车辆检测跟踪项目里，典型目录是这样：

project/ ├── configs/ # yaml 配置：相机地址、模型路径、阈值 ├── detectors/ # 检测器封装，基于 ultralytics 或 mmdet ├── trackers/ # ByteTrack/BoT-SORT 的 python 封装 ├── reid/ # 特征提取(+全局特征库) ├── utils/ # 可视化、日志、坐标转换 ├── main.py # 多线程串联入口 └── requirements.txt

注意，main.py通常只负责编排，模型路径和相机参数都在configs里。拿到代码先打开配置文件，把model_path改成你机器上实际的权重路径，把camera_list改成你自己的 RTSP 地址，然后再跑。

3.1 车辆检测模块：只留车辆类

我一般用 ultralytics 的 YOLOv8n 模型做轻量验证，代码里不砍掉其他类别，只做过滤，方便调试时输出原始检测结果。

import cv2 from ultralytics import YOLO # 加载检测模型，权重文件会在首次运行时下载到本地 model = YOLO("yolov8n.pt") # COCO 数据集中车辆相关的类别 id VEHICLE_CLASSES = {2: "car", 5: "bus", 7: "truck"} def detect_vehicles(frame, conf_thres=0.35): results = model(frame, verbose=False)[0] dets = [] for box in results.boxes: cls_id = int(box.cls[0]) if cls_id not in VEHICLE_CLASSES: continue conf = float(box.conf[0]) if conf < conf_thres: continue # 输出坐标统一为 [x1, y1, x2, y2] x1, y1, x2, y2 = [float(v) for v in box.xyxy[0]] dets.append([x1, y1, x2, y2, conf, cls_id]) return dets

该段代码做了两件事：从模型输出里过滤掉非车辆类别，再对置信度做一次硬过滤，低于 0.35 的检测框直接丢弃，减少后续跟踪器的噪音输入。参数方面，conf_thres是第一个可调旋钮——场景简单、相机固定时调到 0.25 能多召回一些远处小车；城市复杂路口建议 0.4 起步，防止路灯、树影被当成车辆。

3.2 单摄像头跟踪：IOU 匹配加轨迹管理

完整引入 ByteTrack 会让代码变长，而且版本差异大。我一般先写一个 30 行的 IOU Tracker 做数据流自测，确认检测、采集链路没问题后，再替换成 ByteTrack。这个最小实现能帮你搞懂跟踪器的核心逻辑，后面调 ByteTrack 参数也有感觉。

import numpy as np from scipy.optimize import linear_sum_assignment class IOUTracker: def __init__(self, iou_threshold=0.3, max_lost=5): self.tracks = [] # 活跃轨迹列表 self.next_id = 1 self.iou_threshold = iou_threshold self.max_lost = max_lost # 轨迹丢失多少帧后删除 @staticmethod def compute_iou(a, b): xx1 = max(a[0], b[0]); yy1 = max(a[1], b[1]) xx2 = min(a[2], b[2]); yy2 = min(a[3], b[3]) inter = max(0, xx2 - xx1) * max(0, yy2 - yy1) area_a = (a[2] - a[0]) * (a[3] - a[1]) area_b = (b[2] - b[0]) * (b[3] - b[1]) return inter / (area_a + area_b - inter + 1e-6) def update(self, detections): # 预测：这里真实项目应加卡尔曼滤波做位置外推，IOU 匹配仅在相邻帧位移小时有效 matched = {} if self.tracks and detections: cost = np.array([[1 - self.compute_iou(t["box"], d) for d in detections] for t in self.tracks]) rows, cols = linear_sum_assignment(cost) for r, c in zip(rows, cols): if cost[r, c] < 1 - self.iou_threshold: matched[r] = c updated_tracks = [] for r, trk in enumerate(self.tracks): if r in matched: trk["box"] = detections[matched[r]] trk["lost"] = 0 trk["hits"] += 1 updated_tracks.append(trk) else: trk["lost"] += 1 if trk["lost"] <= self.max_lost: updated_tracks.append(trk) # 未被匹配的检测框作为新轨迹 used_cols = set(matched.values()) for c, det in enumerate(detections): if c not in used_cols: updated_tracks.append({ "id": self.next_id, "box": det, "lost": 0, "hits": 1 }) self.next_id += 1 self.tracks = updated_tracks return [(t["id"], t["box"]) for t in self.tracks if t["hits"] >= 1]

逻辑说明：先用匈牙利匹配在“上一帧轨迹”和“当前帧检测框”之间做全局最优配对，配对代价是1 - IOU，只有当代价小于阈值时才承认匹配；没匹配上的轨迹进入lost状态，连续丢失 5 帧直接删除；检测框没匹配到任何轨迹就生成新 ID。linear_sum_assignment一次性给全局最优解，比贪心匹配稳定很多。

实际项目里，IOU 匹配扛不住车辆快速变道，因为两帧间框的重叠率会骤降，这时轨迹会到处乱跳。所以我上面的注释里特意标注了“应加卡尔曼滤波做位置外推”——这就是热词里常说的“卡尔曼滤波目标跟踪”的用途：预测上一帧轨迹在本帧的位置，让匹配更稳。特征点跟踪的方案我一般不用，车辆外形相似、摄像头视角变化大，特征点跨镜即失效。

3.3 多路视频并发：线程加队列解耦

多摄像头的数据流不能用for cap in caps: cap.read()串行读，一路卡住全链路阻塞。常见做法是每路一个采集线程，把帧放进队列，检测主线程消费。队列设小一点，比如 60，存太多会导致处理完的帧已经过期。

import threading import queue def capture_worker(camera_id, rtsp_url, frame_queue): cap = cv2.VideoCapture(rtsp_url) while True: ret, frame = cap.read() if not ret: # 重连机制：rtsp 流断线后自动重试 cap.open(rtsp_url) continue if frame_queue.qsize() > 60: try: frame_queue.get_nowait() except queue.Empty: pass frame_queue.put((camera_id, frame)) queues = {} for cam_id, url in camera_config.items(): q = queue.Queue(maxsize=60) queues[cam_id] = q t = threading.Thread(target=capture_worker, args=(cam_id, url, q), daemon=True) t.start()

这段代码的核心是丢帧策略：队列满时直接丢最旧的帧，保证处理的永远是最新画面，避免延迟累积。线程是常见的简化写法，实际 CPU 密集的检测不适合多线程，应该用多进程，每个进程负责一路相机；线程方案适合先验证连通性。

3.4 调参顺序和推荐范围

跟踪系统的参数是联动的，不要单独调一个。我按下面的顺序调：

我的经验是：先用默认参数把整条链路跑通，再盯住一辆车看它的局部 ID 在哪一帧切换，那个节点对应的就是某一项参数的选择问题。只看整体准确率没法定位问题，一定要可视化。

4. 跨摄像头车辆再识别 ReID 与全局 ID 分配

局部跟踪给每个相机里的车一个内部 ID，但这些 ID 互不相认。跨镜头的核心任务变成了：给我一个裁剪好的车辆图，我判断它和库里的哪辆全局车是同一个目标。这也是 ReID 这个术语的完整含义：Re-Identification，再识别。

ReID 难在域差异。同一辆车，A 相机是俯视车顶，B 相机是平视车头，颜色、形状、光照完全不同。所以 ReID 模型不能当作分类任务来训，要当作度量学习任务来训——让同一辆车不同镜头的特征距离近，不同车的特征距离远，这一点决定了后面特征匹配时的距离阈值设计。

4.1 特征提取：从简单基线到深度学习特征

没有 GPU 的时候，先上一个颜色直方图基线，能帮你验证整个全局匹配链路是不是通的：

import cv2 import numpy as np def feature_by_hist(crop_img, bins=32): # 统一尺寸后再提取颜色特征，降低分辨率对结果的影响 crop = cv2.resize(crop_img, (128, 256)) hsv = cv2.cvtColor(crop, cv2.COLOR_BGR2HSV) feats = [] for i in range(3): hist = cv2.calcHist([hsv], [i], None, [bins], [0, 256]) # 归一化以抵抗光照强度差异 hist = cv2.normalize(hist, hist).flatten() feats.append(hist) return np.concatenate(feats)

这段代码提取 HSV 三个通道的颜色直方图，拼接后作为特征向量。HSV 颜色空间把色调和亮度分开，比直接 RGB 直方图对光照更鲁棒，但注意它完全没有形状信息。这个基线在单一场景下的效果是能用的，跨场景（换了个停车场）就废了。

实际系统的特征提取我建议用 torchvision 的 MobileNet 做 Backbone，只保留 Global Average Pooling 之前的卷积层，输出 1280 维特征，再接一个全连接压缩到 512 维：

import torch import torchvision.transforms as T from torchvision import models class ReidExtractor: def __init__(self, weights_path, device="cuda"): backbone = models.mobilenet_v2(pretrained=False) backbone.classifier = torch.nn.Identity() self.backbone = backbone.to(device).eval() self.backbone.load_state_dict(torch.load(weights_path, map_location=device)) self.transform = T.Compose([ T.ToPILImage(), T.Resize((128, 256)), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) self.device = device def extract(self, crop_bgr): crop_rgb = cv2.cvtColor(crop_bgr, cv2.COLOR_BGR2RGB) tensor = self.transform(crop_rgb).unsqueeze(0).to(self.device) with torch.no_grad(): feat = self.backbone(tensor) # L2 归一化：让特征只保留方向信息，便于计算余弦相似度 return torch.nn.functional.normalize(feat).cpu().numpy().flatten()

模型输出前做 L2 归一化，这个操作很关键。归一化后，两个特征的相似度可以用向量点积直接算，也就是余弦相似度，取值范围变成 [-1, 1]，阈值语义变得统一。weights_path就是你在训练集上用度量学习训出来的 checkpoint，不要试图用 ImageNet 预训练权重直接上线，分类模型和度量模型的特征分布不一致，匹配阈值没法调。

4.2 特征匹配：用相机拓扑消掉不可能的组合

有了特征，直接全局匹配还不够。两个相机如果物理位置隔了 5 公里，车辆绝不可能在 5 秒内同时出现，这种匹配应该直接排除。相机拓扑就是一张“相机之间可达时间”的表，例如transit_time[cam_a][cam_b] = 8表示从 A 到 B 最少需要 8 秒。匹配时，两条轨迹的时间差小于 8 秒的，直接不参与计算。

给一个完整的最小匹配流程：

import numpy as np from scipy.optimize import linear_sum_assignment def match_global(candidate_feats, gallery_feats, transit_mask, sim_threshold=0.6): # candidate: 待匹配的轨迹特征; gallery: 全局特征库 sims = candidate_feats @ gallery_feats.T # 余弦相似度矩阵 # 用相机拓扑掩码过滤：transit_mask 为 False 表示相机间不可达 sims[~transit_mask] = -1.0 cost = 1 - sims rows, cols = linear_sum_assignment(cost) matched_global_id = {} for r, c in zip(rows, cols): if sims[r, c] >= sim_threshold: matched_global_id[r] = c # c 就是全局车辆 ID return matched_global_id

代码里sims[~transit_mask] = -1.0这行是核心：把不可达相机组合的相似度压到最低，匈牙利算法就不会选它们。sim_threshold是第二个核心参数，它决定了“宁可漏配也不误配”还是反过来。智慧交通业务里误配的代价远高于漏配，因为一次误配会污染全局 ID 的后续所有轨迹，所以我一般把阈值放在 0.6 到 0.7 之间。

4.3 全局特征库的更新：不存旧账

全局特征库不能无限增长。每小时有 1000 辆车经过，每个全局 ID 存最近 5 条轨迹的特征，库容也就是 5000 个向量，512 维 float32 是 10MB，没问题。但如果你把一个月前的特征都留在库里，指识别结果会乱跳：目标车辆颜色磨损、光照季节变化，旧特征会和新特征打架。

我通常给每个全局 ID 维护一个候选池，保留最近 N 次出现的特征，匹配时取池子和当前特征的最大相似度。新轨迹匹配成功后，把新特征加入池子；池子超过 5 条就淘汰最旧的。这会带来一个问题：如果某辆车被误配过一次，误配特征成了池子里的“种子”，之后每次出现都容易继续误配给同一个全局 ID。解决办法是异常检测：池子里相似度最高和次高的值相差不大时，这条匹配标记为可疑，送人工确认队列。

5. 落到工程：用可视化脚本验证 ID 切换率

全局系统配完后，不要只看最终准确率报告，你要先做日志可视化。每产生一条跨镜头匹配，就把帧号、相机 ID、全局 ID、相似度落一行到日志里。

日志格式建议用 CSV，至少 6 列：

有了这份日志，写一个脚本统计 IDSW（全局 ID 切换次数），这是比 MOTA 更重要的多摄像头指标。MOTA 衡量的是单帧检测和关联的总体误差，但在跨镜场景下，一次 ID 切换影响后续所有帧，IDSW 能直接反映 ReID 和全局分配的好坏。

import pandas as pd df = pd.read_csv("global_log.csv") # 按全局 ID 分组，检查同一个人是否反复在不同相机间出现且 ID 变化 df_sorted = df.sort_values(["global_id", "frame_no"]) id_switch_count = [] for gid, group in df_sorted.groupby("global_id"): cam_change = group["camera_id"].diff().ne(0).sum() id_switch_count.append((gid, cam_change)) print("全局 ID 切换次数:", sum(cnt for _, cnt in id_switch_count))

这段代码统计每个全局 ID 切换相机的次数，相机切换并不等于 ID 切换（因为同一辆车可以合法地从一个相机去另一个相机），但如果切换相机的同时local_id顺序对不上，就要去查匹配日志里的similarity是不是低于阈值了。更直接的验证是可视化：把同一全局 ID 在不同相机下的截图拼成九宫格，人眼快速判断是不是同一辆车。

最后说三个我踩过的坑，都在配置层，代码层反而不容易出问题。第一个是时间戳不同步，多相机一定要用 PTP 或 NTP 统一时钟，否则两条轨迹的时间差算错，跨镜头的拓扑约束全失效。第二个是 ReID 特征更新的频率，轨迹在相机 A 停留了 3 分钟，特征抽每一帧和只抽最后一帧效果差很多，车辆转弯过程中外观变化大，建议每隔 15 帧抽一次，入池时取平均。第三个是阈值联动：检测置信度从 0.35 降到 0.25 时，低质量检测框变多，跟踪器喂进来的裁剪图模糊，ReID 特征质量跟着下降——这时候不要把 ReID 相似度阈值也调低，而是把检测阈值拉回去，或者给特征提取加一个最小尺寸过滤，小于 32×32 的裁剪图直接跳过匹配。把匹配阈值从 0.6 往上提，宁可漏配也不误配，全局准确性比召回率重要。

本文还有配套的精品资源，点击获取