目标检测与定位实战：从坐标回归到空间测距的完整指南

做视觉项目这些年，我越来越确定一件事：目标检测和定位基本是分不开的。无论是安防摄像头数人、质检机器找缺陷，还是机器人抓取零件，客户嘴上说的是“让电脑自己看见东西”，落到代码里其实就是两件事——先把图像里有个什么类别认出来，再把目标的位置用坐标表达出来。这里面既有二维图像上的检测框回归，也有从图像坐标换算到真实空间位置的三维定位。

这篇文章是我结合实际项目整理的一套概述和实操笔记，不会去复述原论文里的数学推导，重点是从“要做什么、怎么选型、有哪些坑”讲起。适合刚入门的同学搞清楚整个技术轮廓，也适合准备做检测方向课程设计或工程项目的朋友拿来当路线参考。

整篇会分五个部分：先把“检测+定位”这个说法拆开讲，再聊数据和标注，然后是模型与指标，接着是工程落地，最后列一堆我在项目里真实踩过的雷。内容偏长，但干货密度不低。

1. 从应用反推原理：目标检测里的“定位”不止一种

1.1 定位的第一层含义是“把它框出来”

目标检测的经典定义是分类加回归：分类判断图像区域里是什么，回归输出目标在图像中的位置。你可以把整个过程想象成在一堆书里找一本指定封面的书——分类任务负责识别这是不是目标书籍，定位任务则要说出它是在书架第几排第几本的位置。

实际代码落地时，定位这部分的输出通常有两种形式。一种是边界框的中心点坐标、宽度和高度，比如(cx, cy, w, h)；另一种是左上角和右下角两个顶点坐标，比如(xmin, ymin, xmax, ymax)。这两种表达本质上等价，但因为数据集的格式偏好不同，在做格式转换时特别容易出问题，这一点后面会细说。

再往后延伸一点，普通检测框默认是轴对齐矩形，也就是正着画出来的框。但在遥感图像里，目标往往是任意朝向的，比如飞机、船、建筑物，这时候必须用旋转框(cx, cy, w, h, theta)才能准确框住目标。遥感图像标注里大量涉及旋转框的使用，这也是“定位”这个概念在细分领域里的一种延伸。

分类和定位在损失函数里是可以分开计算的。分类一般用交叉熵损失，定位则用 Smooth L1、L1 或者近年更流行的 GIoU、CIoU 等回归损失。实际操作中你会发现，很多模型“认得出目标但框不准”，问题往往出在回归分支的损失权重设置或者数据标注本身质量，而不是模型不认识这个类别。

1.2 定位的第二层含义是“求出真实空间坐标”

如果项目只要求在图片上画框，那到上面那一步就结束了。但很多场景——比如机器人抓取、无人车避障、无人机降落——需要知道目标在真实世界中的三维坐标，这时候的定位就是另一个维度的问题。

按传感器输入不同，大体有三条路线：

• 单目相机：只用普通摄像头，利用几何约束和先验尺寸估计距离，成本最低，但对距离误差比较敏感，适合近距离、平面性强的场景。
• 双目或多目相机：通过左右视图的视差计算深度，精度受基线长度和标定质量影响。在室内中近距离场景精度较高，但在纹理稀少的地方容易匹配失败。
• RGB-D 相机或激光雷达：直接获取深度信息或点云数据，精度最高，但硬件成本也最高。机器人定位和自动驾驶场景通常走这条路。

三维目标检测在算法层也有自己的体系。传统方案里，可以把二维检测结果结合几何约束投影到三维空间；现在更主流的是直接设计三维检测网络，比如在点云或体素特征上处理的 PointPillars、CenterPoint 这类方法。不过对于普通项目来说，如果只是“基于图像”做定位，最务实的路线通常是：二维目标检测 + 深度估计/标定测距，这个组合可以覆盖大部分学业和中小型工程需求。

2. 数据是定位精度的地基

2.1 公开数据集与标注格式：别小看坐标约定

做目标检测绕不开数据格式。不同数据集、不同模型框架对标注的定义差异特别大，我第一次做数据集转换时，就因为在归一化坐标和像素坐标之间弄混了，导致训练出来的模型在验证集上框全部偏移。

主流的公开数据集有这些：

• COCO：标注格式为 JSON，框坐标形式是[x, y, width, height]，单位是像素，x和y是左上角坐标。
• PASCAL VOC：标注格式是 XML，每个目标写xmin, ymin, xmax, ymax，同样是像素。
• YOLO 系训练格式：纯文本 Txt，每一行是class_id x_center y_center width height，全部归一化到 0~1 之间。
• DOTA 等遥感数据集：使用旋转框，格式通常是(cx, cy, w, h, theta)。

如果你用 LabelImg 或者 Labelme 做标注，导出的格式会不一样。LabelImg 一般直接输出 VOC XML 或 YOLO 格式，Labelme 则输出 JSON，里面保存的是多边形的顶点坐标，需要自己转换成矩形框。很多做遥感图像标注和医学图像标注的人更习惯用 Labelme，因为它可以标不规则形状、旋转框，不只是正矩形。

以最常见的“VOC 转 YOLO”为例，转换逻辑是这样的：假设图像宽为W、高为H，标注框为xmin, ymin, xmax, ymax，那么：

x_center = ((xmin + xmax) / 2) / W y_center = ((ymin + ymax) / 2) / H box_width = (xmax - xmin) / W box_height = (ymax - ymin) / H

这个转换看起来简单，但有两个常见的坑：一是坐标宽高算出来的结果必须落在 0~1 之间，如果出现负数或者大于 1，说明原始标注越界了，要检查原图和标签是否对得上；二是很多新手会忘记归一化，直接把几百几千的像素值写进 YOLO 格式，模型训练直接崩溃。

另一个容易忽视的点是，标注框的宽高本身要考虑数据集的统计特征。如果你的目标普遍是小尺寸物体，比如远处的行人、小动物、遥感小目标，那么标注框的宽高统计会和常规目标差别很大。这直接影响后面 anchor 的设定，也会影响小目标检测的召回率。

2.2 标注工具选择与数据增强的隐性坑

工具选型其实不难：快速做矩形框标注，LabelImg 就够了；如果涉及不规则目标、旋转框或者分割掩码，用 Labelme 更合适。现在很多团队也直接用在线标注平台做多人协同，但不管用什么工具，最终你都要面对一个绕不开的问题——数据增强时的标签同步。

数据增强是提高检测泛化能力的重要手段，随机翻转、缩放、平移、Mosaic 拼接都很好用。但每次对图像做几何变换，目标框坐标必须同步跟着变。比如水平翻转后，原来是(x, y)的像素坐标会变成(width - 1 - x, y)，标注框的左下右上关系也要相应调换。一旦增强代码里只处理了图像、没处理标签，训练时你看到的其实是“图像变了，但框没变”的错位数据，模型学到的定位就是扭曲的。

我见过不止一个项目，训练集里增强部分框和目标错位严重，模型训练完后在验证集上精确率能看，但召回率一直上不去，而且框总偏向图像的某个方向。排查到最后，就是数据增强和标签没有同步导致的。所以在你写增强管线之前，先把“标签跟随图像变换”这个原则写死在代码注释里，能省掉后面至少两天的排查时间。

话说回来，还有一类让检测框架更稳定的图像预处理技术，比如图像去模糊、图像超分辨率重建。低分辨率图像会明显伤害小目标检测的召回率。现在有不少项目会在检测前接一个轻量超分模型，先提升图像分辨率再做检测。这种方案有效，但要注意：如果超分模型改变了图像尺寸，检测框的坐标必须映射回原图大小，否则下游系统拿到的坐标就错位了。

3. 模型与评价：如何量化“检测准不准、定位准不准”

3.1 从 YOLO 到 Transformer：选型原则

目标检测算法发展到现在，大的路线其实可以分成三类：

• 两阶段检测：以 Faster R-CNN、Mask R-CNN 为代表，先通过区域提议网络给出候选框，再逐框分类和回归。精度高，但推理慢，适合精度要求大于实时性的场景。
• 单阶段检测：以 YOLO 系列为代表，直接在一次前向过程中输出类别和框位置。速度快，精度已经和两阶段方法差距很小，是目前工程落地的主流选择。
• Transformer 检测：以 DETR 为代表，把检测建模成集合预测问题，不需要 anchor 和 NMS 后处理，结构简洁，但训练收敛慢，模板也更重，目前在中大目标上表现好，小目标仍是短板。

我用一张表来总结主流方案的取舍：

这几年移动端检测有个趋势，就是把模型体积压缩到极致。网上看到的“macs仅5mb的目标检测模型”这类说法，通常是指模型本身用轻量化骨干网络加深度可分离卷积实现，算力消耗和模型体积都非常小。对于嵌入式项目，比如树莓派或者手机端实时检测，这种模型很有价值。但代价是精度有限，尤其小目标检测能力明显弱于大模型，所以选型前先想清楚目标尺寸分布再做决定。

除了算法本身，还有一个趋势值得关注：多模态目标检测。现在很多新模型尝试把文本描述、语音提示和图像特征融合在一起，让“检测”这个任务从固定类别列表走向开放词汇。虽然普通项目未必用得上，但如果你的应用需要动态调整检测类别，多模态方案会是一个值得关注的方向。

3.2 必须看懂的评价指标

项目汇报时，领导或客户通常会问三个问题：检测准不准、定位准不准、运行快不快。这三个问题分别对应着几组指标，我给你逐个说清楚。

IoU（交并比）是所有检测指标的地基。它计算的是预测框和真实框的交集面积除以并集面积，取值范围 0~1，越接近 1 代表定位越准。比如预测框和真实框完美重合时 IoU=1，完全不重合时 IoU=0。

有了 IoU 之后，就可以定义 TP（真正例）和 FP（假正例）。一般设定一个阈值，比如 IoU ≥ 0.5 算一个正确检测，低于阈值就认为是误检。基于这些统计，再算精度 Precision（查准率）和召回率 Recall（查全率）。把不同置信度下的 Precision 和 Recall 画成曲线，曲线下的面积就是 AP，多个类别的 AP 取平均就是 mAP。

mAP 是检测任务最常用的综合指标。但这里有一个关键细节：mAP50 和 mAP75 的差别，直接反映了模型定位精度的高低。mAP50 只要求预测框和真实框的 IoU 超过 0.5，所以框稍微偏一点也会被认为预测正确；mAP75 要求 IoU 超过 0.75，定位稍微差一点就会被扣分。如果一个模型 mAP50 很高但 mAP75 很低，说明模型能认出目标但框中心或尺寸偏了——这在“基于图像的目标检测与定位”项目中是必须关注的。

红外小目标检测里的评价参数会更特殊。小目标通常指像素面积小于 9×9 或者在整幅图像中面积占比极低的目标，这类目标用常规的 mAP 来评估，会因为正样本极少而失去区分度。行业内会使用专门的小目标检测评价参数，比如目标信号与背景杂波比 SCRG、信杂比增益 SFG、检测概率和虚警率等。简单理解就是：不仅要看检测出来多少，还要看在杂波背景下虚警是否压得住，以及目标信号相对背景有没有被增强。如果做的是红外、遥感这类小目标项目，千万别只用 mAP 汇报结果，那会掩盖很多真正重要的能力缺陷。

3.3 相机标定与空间定位计算

如果你的项目最终要输出目标在真实空间中的位置，只靠二维检测框是不够的。这里离不开相机标定和坐标换算。

相机标定要做的事情是求出相机内参fx, fy, cx, cy和畸变系数。简单说，内参描述了像素坐标和相机坐标系之间的关系。假设目标在相机坐标系下的深度为Z，其像素坐标为(u, v)，那么相机坐标系下的三维坐标为：

X_c = (u - cx) * Z / fx Y_c = (v - cy) * Z / fy Z_c = Z

这个公式我在项目里用过无数次。它的意义是，只要知道像素坐标和深度，就能反推目标相对于相机的位置。深度Z可以通过深度相机直接获取，也可以通过双目视差计算，对于单目相机则需要额外信息，比如已知目标高度或地面约束来估。

标定这一步看起来不起眼，但误差会直接传导到最终的定位结果中。我做过一个测试，把棋盘格标定图片从 10 张减少到 5 张，内参重投影误差几乎翻倍，测距误差从 2% 飙升到 5% 以上。所以如果你追求毫米级的空间定位精度，标定这一步的钱和时间千万不要省。拍摄标定板时，要覆盖画面各个位置、各个角度，至少 15 张有效图片，并且保证棋盘格在画面中清晰完整。

4. 落地部署时绕不开的工程细节

4.1 依赖安装与环境配置：从“无法定位软件包”说起

目标检测项目的第一个劝退点往往不是算法，而是环境安装。尤其在做 ROS 和视觉融合的项目时，你可能会遇到“无法定位软件包 ros-noetic-desktop-full”这类的报错。这个问题绝大多数情况下不是包不存在，而是软件源里没有对应版本的包索引。

常见原因有三个：第一，没更新软件源，包列表还是旧的；第二，当前系统版本与 ROS 发行版不匹配，比如 Noetic 对应 Ubuntu 20.04，你在更低版本的系统装就会找不到；第三，第三方源没有正确添加。排查方式很简单，先确认系统版本和架构，再确认已添加的 apt 源地址，执行更新后再安装。

Python 环境下也有类似问题。很多人用 pip 直接安装 torch 或者 opencv，装完才发现 CPU 版本的包装了 GPU 机器上，训练慢到怀疑人生。我的习惯是：项目一开始就把依赖环境写清楚，最好用 requirements.txt 加 docker 镜像，保证换一台机器也能复现。踩过几次“本地能跑，服务器跑不起来”的坑之后，你会明白环境锁定比模型调参还重要。

4.2 推理时的坐标换算与图像质量预处理

模型训练和推理的数据输入尺寸通常和原图不一致。比如 YOLO 训练时会把图 resize 到 640×640 或者 1280×1280，模型输出的检测框坐标是相对于输入尺寸的，要还原到原始图像坐标，就必须把缩放比例和 padding 信息记下来。

这里最常见的一个坑是 letterbox 填充。很多检测流程会把长宽比不一致的图填充到正方形，比如把 1920×1080 的图加灰边变成 640×640。如果模型输出的坐标没有先减去 padding 再除以缩放比例，所有框都会整体偏移。我在代码里专门封装了一个坐标还原函数，核心就是记录scale和pad两个变量，推理结束后统一做映射，避免在多个地方重复计算导致出错。

图像质量对检测定位的影响也很直接。运动模糊、低光照、低分辨率会同时伤害分类置信度和回归精度。如果业务场景出现这种问题，常见做法是前置图像去模糊或图像超分辨率重建模块。但同样要注意，超分模型的输出尺寸如果和原图不一致，检测出来的框坐标需要按比例还原回去。此外，超分重建本身可能改变目标边缘位置，在像素级要求高的项目里，必须预先评估这种坐标偏移是否在可接受范围。

对于超大尺寸的遥感图，另一个常用技巧是切片推理（SAHI 类方法）：把大图切成重叠的小块，分别检测，再把结果合并到原图坐标系。这个方案对小目标检测的提升非常明显，但合并时要注意块与块之间重复目标的 NMS 处理，以及不同块边缘目标的坐标偏移补偿。

4.3 模型量级与部署：轻量化模型是否够用

如果你的项目跑在边缘设备上，比如手机、盒子或者小车，模型体积和算力就是硬约束。前面提到的“macs仅5mb的目标检测模型”，本质是用 MobileNet、ShuffleNet 这类轻量骨干做特征提取，同时把 YOLO 的检测头精简，牺牲一部分精度换取极小的体积和极快的速度。

我的经验是，轻量模型在目标尺寸较大、背景简单、类别少的场景下完全够用。一旦场景里有大量小目标、密集目标或遮挡，轻量模型表现就明显下降。不要盲目为了“模型小”去选型，先把业务目标分布测一遍，再决定模型规模。

模型部署时还有一个容易忽略的问题：训练框架和推理框架之间的算子兼容性。PyTorch 训练出来的模型转 ONNX 再转 TensorRT，经常遇到某个自定义算子不支持导致转换失败。做法是尽量在模型结构设计阶段避开过于冷门的算子，比如自定义的归一化层和特殊激活函数，优先选用 ONNX 标准算子域覆盖范围内的操作，会大幅减少落地阻力。

5. 实操中我踩过的几个定位大坑

5.1 增强后标签没跟着变

这个坑在前面提过，但真的值得再多说一遍。在 Transformer 检测器和 YOLO 模型中使用随机裁剪、旋转、色彩抖动时，色彩抖动不会影响坐标，但几何变换一定会影响。最容易出错的是随机裁剪：裁剪区域变化后，框的坐标、尺寸，甚至目标是否还在画面内，都需要重新计算。如果裁剪把目标切掉了一部分，还要决定是保留残框还是丢弃该目标。没有统一标准的情况下，我是按“裁剪后目标可见面积低于原框 30% 就丢弃”处理的，这样能减少大量脏标签。

5.2 置信度阈值与 NMS 的“两难”

推理时调参最揪心的环节是置信度阈值和 NMS 的 IoU 阈值。置信度阈值调高，误检变少，但漏检变多；调低，召回率提高，但会出现一堆可信度不高的框。NMS 的 IoU 阈值影响的是重叠框的去重强度：阈值设太小，密集场景里相邻的真实目标会被误杀掉一个；设太大，一个目标周围会残留大量重叠框，看起来定位“不确定”，框一直在飘。

这里我给出一个相对通用的起点配置：置信度阈值 0.25，NMS IoU 阈值 0.45，然后根据验证集表现做微调。对于密集场景，比如人群、货架商品，NMS 阈值可以适当放宽到 0.5 或 0.55，但要密切关注是否把两个靠近的真实目标合并成了一个。

5.3 小目标检测到底改哪些参数

我总结过一套针对小目标检测的调优顺序，按优先级从高到低排列：

• 提高输入分辨率：把小图放大再检测是提升小目标召回率最直接的手段。
• 使用多尺度特征层：在特征金字塔中增加高分辨率特征层（P2 层），保留更多小目标的空间信息。
• 调整 anchor 尺寸：通过 K-Means 聚类自己数据集的框尺寸，得到更适配的 anchor。
• 调整损失权重：如果定位不准，增加回归损失的权重；如果漏检严重，增加分类损失的权重。
• 使用切片推理：对超大图做分块检测，避免目标在降采样后消失。

如果这些手段都试过，小目标仍然差，就要考虑是不是数据太少、标注质量太差，而不是模型结构问题。模型能学习到的信息上限，取决于数据的质量和数量，这一点永远绕不开。

5.4 一张速查表：常见定位问题排查

为了让你排查起来更方便，我把项目里遇到的定位相关高频问题整理成了一张速查表：

这张表不是万能药方，但覆盖了我在多个项目里反复遇到的典型问题。每次模型效果变差，先把问题归到它们对应的环节，再针对性解决，效率会高很多。

根据我自己的经验，做目标检测与定位项目时，先把二维检测框做好，再考虑空间定位，顺序不要颠倒。很多初学者一上来就想做三维坐标测距，结果二维框还没稳，后面的误差全被放大了。建议在一开始就把“定位误差”单独列一项指标，不要只看 mAP，因为 mAP 高不代表框中心点准，而空间定位恰好对中心点极其敏感。另外，训练完第一个版本不要急着调参，先做一轮错误样例分析，把标注问题、数据分布问题、模型问题分开归类，这个习惯能帮你节省大量的后期时间。