视觉定位新范式：从弱标签到城市级地图的规模化之路

站在一条两侧高楼林立的街道上，手机地图红点可能偏出百米；但只要你举起手机拍一张街景，就能知道拍照那一刻的精确位置和朝向。这种能力叫视觉定位（Visual Localization）。AutoCompass 这个项目，从名字就能看出它想从头教会系统做这件事。更值得注意的是它的后半段：“Learning from Weak Labels”。这意味着它的训练数据不是昂贵的人工标注，而是公共地图上那些天然存在、嘈杂粗糙的弱标签。我的判断很直接：AutoCompass 真正值得关注的，不是又提出了一个高精度定位网络，而是给了视觉定位一条能大规模获取训练数据的路，让“从实验室精度到真实地图可用”这件事第一次看起来是能走通的。

1. 公共地图视觉定位，难的不是算法而是标签

1.1 视觉定位到底在解决什么

视觉定位的目标，是根据一张查询图像（Query Image），在已知地图或场景表示中估计相机的位置和姿态，通常是六自由度（位置 x、y、z 和朝向 roll、pitch、yaw）。它和纯 GPS 的区别是：GPS 依赖卫星信号，在城市峡谷、室内、地下通道里会严重漂移；而视觉定位依赖图像内容，理论上只要有可见的建筑物、路牌、店铺就能推算。

这听起来不复杂，但实际做起来非常难。同一个位置，白天、夜晚、雨天、冬天看到的样子完全不同；手机摄像头视角低，而地图来源可能是高空俯瞰的街景车采集，视角差距很大；再加上行人、车辆、树木遮挡，特征提取和匹配很容易失效。过去很多方法依赖于预先建立精确的 3D 点云模型，再用特征匹配定位。这类方案的精度高，但建图成本高、更新周期慢，无法大规模覆盖城市级地图。

AutoCompass 选择的方向，更接近端到端视觉定位：输入一张图，直接回归出经纬度和朝向。这种思路不需要在线匹配 3D 点云，但需要海量带标注的图像。问题恰恰就在这里：海量图像容易找，街景、行车记录仪、社交媒体图片都不缺；但精确到厘米级的位姿标注，几乎没有。

1.2 公共地图上的标签是什么样的

公共地图（Public Maps）通常指 OpenStreetMap、政府开放地图平台、商业地图的公开部分，以及带地理标签的街景图像数据库。它们有一个共同点：包含丰富的地理信息，但标注粒度很粗。

最常见的是 GPS 坐标。一张街景图像附带一个经纬度，但 GPS 本身有 5 到 20 米误差，甚至在特殊区域完全漂移。更粗糙的是地理标签，比如“北京朝阳区三里屯”，只能确定一个区域，无法知道具体朝向。还有时间标签、路网拓扑、地标名称等，都属于弱标签：有信息量，但不够精确，甚至互相矛盾。

过去的主流做法，是把这些弱标签先通过手工清洗或 SfM（运动恢复结构）重建，得到相对精确的位姿，再训练定位模型。这等于在训练之前先做一轮昂贵的预标注，而且一旦城市区域重建更新，又得重来。AutoCompass 的出发点，是能不能跳过这轮标注，直接用弱标签端到端训练一个精确定位模型。如果可行，意味着任何一个有街景图像和 GPS 的城市，都能快速生成训练集，不需要人工参与。

2. 弱标签不是偷懒，而是被迫的理性选择

2.1 强标签的成本到底有多高

强标签在这里指精确的六自由度位姿标签，或者至少是厘米级精度且带朝向的标签。获取方式通常有三类：高精度 RTK GPS、激光雷达同步标定、或者使用运动恢复结构（SfM）重建后反投影。每一种都不便宜。

RTK GPS 设备价格高，而且城市环境下多路径效应严重，需要大量后处理。激光雷达方案需要专用采集车，包含激光雷达、多台相机和惯性导航系统，一辆车的成本和运营费用不是普通团队能承担的。SfM 重建方案看起来成本最低，但需要大量重叠图像，处理时间长，动态物体没有剔除时会引入巨大误差。更麻烦的是，地图区域一旦改变——比如新建了一栋楼，整个标注流程又要重做一遍。

如果一个视觉定位系统只在一个园区或一个街区运行，强标签还能接受。但要想覆盖一座城市、一个国家，强标签的获取成本会指数级上升。这解释了为什么很多定位团队最终只能做几个演示场景，很难扩大规模。

2.2 AutoCompass想改变的，是数据获取的底层方式

弱标签意味着在训练阶段允许标签有偏差，然后靠模型结构和训练策略来抵消这种偏差。我可以类比一下：教一个孩子识别建筑物，不需要每张照片都精确标注“这是第几棵树的旁边、面向正北”，只需要告诉他“这是上海的人民广场”，孩子也能逐步学会。因为大量带有不确定性的信息叠加在一起，正确信号会通过统计规律浮现出来。

AutoCompass 的思路大概率也是这样。它用公共地图提供的弱标签作为监督信号，设计一个可以容忍噪声的训练目标。比如，如果 GPS 标签有一二十米误差，那模型就不应该被要求精确回归单个坐标，而是容忍一个分布范围。模型可以学习预测一个概率分布，而不是单一的点值。这样，GPS 噪声就被吸收成分布的不确定性，模型反而会减少过拟合。

在我看来，这个方向的价值已经从“算法创新”升级到了“数据工程创新”。它真正改变的是数据成本结构：原来需要专用设备采集并精细标注的数据，现在可以用互联网上已有的、带地理标签的普通图片代替。对视觉定位这个领域来说，这比在原有基准上再提高 0.5% 准确率重要得多。

3. 从弱标签到精确位姿，中间要跨过三道坎

3.1 第一道坎：标签噪声带来的梯度错误

直接用一个 20 米误差的 GPS 坐标监督回归任务，模型大概率学不到稳定信息。因为同一个图像可能对应不同时间的 GPS 漂移，相同位置的图像可能因为漂移而标签不同。这在训练时会导致梯度方向来回冲突，最终模型只学会了平均位置，无法捕捉细节。

常见的应对思路有几种。一种是软标签：把 GPS 坐标展开成二维高斯分布，用分布距离（比如 KL 散度）作为损失，而不是直接用 L2 回归。这样模型允许预测位置落在标签周围一定范围内，天然兼容噪声。另一种是多热编码或分类化：把地图划分为网格，让网络预测每个网格的概率，GPS 落在哪个网格就记为正样本，旁边网格用软分配给予一定权重。AutoCompass 的具体实现我们无法确认，但这种“用分布替代点值”的思路，是解决弱标签噪声的通用手段。

我自己的工程经验是，先画一下训练集标签的误差分布图，这比调模型结构更有用。如果多数标签集中在 10 米误差，那网络预测精度上限就是 10 米；想突破这个上限，就必须靠大量数据的统计平均来抵消随机误差。如果标签误差是系统性的，比如某一片区域所有 GPS 都向东偏移 30 米，那学习算法无法自动修正，只能通过路网约束或地标匹配来纠正。

3.2 第二道坎：地图与查询图像的视角鸿沟

公共地图上的街景图像大多由采集车顶部的全景相机拍摄，高度通常在 2.5 米左右，画面宽阔平直。而用户查询图像可能来自手机摄像头，高度在 1.5 米到 1.8 米之间，手持角度复杂，可能仰拍、俯拍、歪斜。两者之间有明显的视角差异。

端到端视觉定位模型如果只在街景图像上训练，到手机图像上会精度骤降。AutoCompass 这类项目必须在训练阶段加入数据增强或跨视角约束。比如，从街景图像中裁剪出多个透视图，模拟手机视角；或者利用生成的虚拟视角做对抗训练。更高级的做法是学习一个视角不变的特征空间，让同位置的街景图像和手机图像在特征空间里靠近。

这也不是 AutoCompass 独有的难题，而是整个视觉定位领域的通用问题。但弱标签训练会让这个问题更复杂，因为视角差异和标签噪声会耦合在一起，如果我们没有精确的位姿标签，很难准确定位训练样本是否真的来自同一个位置，负样本挖掘会变得不可靠。我比较关注 AutoCompass 后续有没有公开跨域实验结果，这是判断其方法是否真正可用的关键。

3.3 第三道坎：训练和验证的指标选择

代码跑通容易，指标定义清楚难。弱标签训练出来的模型，精度应该用什么评估？如果用强标签测试集，误差阈值怎么定？是水平误差小于 5 米算成功，还是也要包含角度误差？

很多视觉定位论文习惯用“X 米内召回率”作为指标。比如定位误差小于 5 米的比例达到 80%。AutoCompass 如果只用弱标签训练，发布结果时必须说明测试集是否有强标签。否则就会陷入一个尴尬局面：模型在弱标签训练集上每张图都能预测出一个位姿，但没人知道这个位姿到底多准，因为没有 GT。

我建议关注这类项目时，重点看它是否在公开的强标签基准（如 Aachen、InLoc、7Scenes）上做过评估。如果只在自建弱标签数据上验证，说服力会打折扣。但话说回来，如果一个方法能够在弱标签环境下显著超过基线（比如使用 GPS 回归的朴素方案），即使绝对精度还比不上强标签监督的模型，也仍然有价值。

4. 如果我要复现或使用这个思路，我会怎么做

4.1 数据准备：先从小规模、局部区域开始

我不会一上来就采集整个城市的数据。最稳妥的方式，是选一个 1 到 2 平方公里的区域，比如一个大学校园或一个规划清晰的产业园区，收集三类数据：带 GPS 标签的街景图像、手机拍摄的查询图像、以及通过传统 SfM 或 RTK 得到的少量精确位姿（用于验证）。

数据标注层面，我只需要保证 GPS 标签大致准确，不需要精确到厘米。但要注意，不同来源的图像时间跨度不能太大。如果一半是夏天的图像，一半是冬天树叶掉光的图像，弱标签本身不能解释季节差异，模型会试图在特征中同时存储两个季节的视觉信息，容量不够时就会混乱。

这里可以列一个数据准备的检查清单：

4.2 模型与训练：用现有视觉定位模型做底座

复现 AutoCompass 不一定需要从零实现。可以先取一个成熟的视觉定位骨干网络，比如基于 CNN 或 Vision Transformer 的位姿回归模型作为特征提取器，然后修改输出头，让它输出位置分布参数（均值 + 协方差）或网格置信度。

训练策略上，我会先用一个较大的学习率让位置均值收敛，再冻结骨干网络，微调协方差输出。这样的做法是为了防止模型一开始就被 GPS 噪声引导到错误方向。具体来说，可以设计一个两阶段训练：

1. 先用分类损失在地图网格上训（预测图像落在哪个网格），网格大小可以设为 20 米，这样 GPS 噪声不会影响类别学习。
2. 再用回归损失在精细网格或连续坐标上微调，同时把 GPS 标准差作为一个超参数，用高斯核加权损失。

另外，要重视“可信度”头。弱标签训练下，有些图像对应的 GPS 可能严重错误，模型应该学会对这些样本降低置信度。如果看到损失曲线长时间不降，优先检查这些脏样本是不是被模型正确忽略。

伪代码层面的损失示意（不针对具体框架）：

# 假设输出 mu (B, 3), sigma (B, 3) # 标签 y (B, 3) loss = gaussian_nll_loss(mu, sigma, y) # 高斯负对数似然

这个损失函数不是凭空发明的公式，但它很好地体现了“分布预测”的思路：sigma 越大，样本对梯度贡献越小，模型自动学会给噪声样本降权。

4.3 验证与排查：位姿误差之外还要看什么

训练完之后，不能只看平均误差。我建议从以下四个维度评估：

• 定量指标：水平误差小于 1 米 / 5 米 / 10 米的比例，以及角度误差中位数。
• 空间分布：把预测误差画在地图上，看是否有区域系统性偏大。
• 特征可视化：提取最后一层特征，用 t-SNE 或 PCA 查看不同位置的聚类是否清晰。
• 失败案例：人工查看误差最大的 50 个样本，分析是视角问题、遮挡问题还是标签问题。

如果误差集中出现在某个区域，优先检查该区域的 GPS 标签是否存在系统偏移。如果在十字路口误差大，可能是因为地图网格边界造成混淆，可以把网格布局与道路方向对齐，或者增加朝向分类任务。

排查链路建议按顺序走：

1. 看输入图像：有没有 EXIF 丢失、旋转角为 90 度倍数、色彩通道错乱。
2. 看标签：该区域 GPS 漂移是否明显，坐标系是否统一。
3. 看数据增强：随机裁剪是否把关键建筑裁掉，导致特征丢失。
4. 看损失权重：sigma 是否过大或过小，导致模型输出过平滑。
5. 看输出头：最终回归的是经纬度差值，还是相对某个原点的归一化坐标，量纲是否合理。

5. 这个项目真正的价值，是让视觉定位走向规模化

5.1 从Demo到可用系统的差距

实验室里的视觉定位 Demo 已经很多，但真正能在城市级环境里稳定运行的几乎没有。原因不是模型精度不够，而是地图数据的获取和更新成本太高。AutoCompass 用弱标签学习来降低数据成本，这切中了落地的关键。

但也要冷静看待，弱标签训练出来的模型，大概率还无法直接替代高精度地图方案。它的上限会受限于公共地图本身的质量。公共地图更新速度慢，新建区域覆盖不全，甚至存在信息错误。因此，最适合 AutoCompass 的一类应用场景，是那些不需要厘米级精度、但对覆盖范围要求极高的任务：

• 无人机在城区执行巡检时的粗略定位，误差在 5 到 10 米内可接受。
• 自动驾驶在 GPS 失效时提供候选区域，缩小搜索空间。
• AR 导航中判断用户在哪个街区或靠近哪个入口。
• 移动机器人接收“位于某停车场”级别的任务派发。

如果应用场景要求车道级定位，那就不能只依赖这类弱标签方案，还需要结合视觉惯性里程计、路缘检测或者车道线特征。

5.2 适合谁跟进，不适合谁跟进

我比较想具体说说边界。

适合跟进这个方向的团队：

• 已经拥有大量带地理标签的图像数据，但缺少精确标注工具的团队。
• 想快速把一个城市或多个城市覆盖出低成本定位能力的业务方。
• 做视觉定位研究方向的学生或工程师，希望找一个数据成本更低的问题切入点。
• 做地图众包或众包采集的平台方。

不适合直接使用这个方向的场景：

• 对定位精度要求达到厘米级甚至毫米级的工业测量。
• 需要应对地图频繁更新的高时效场景（如果地图本身变化快，弱标签训练成本会变高）。
• 完全没有强标签验证数据的实验——如果没有一套可靠评价集，你无法知道模型真实精度，也就谈不上后续优化。

5.3 长期跟踪的几点提示

AutoCompass 这类项目目前最值得跟踪的是两件事。第一，有没有公开代码和预训练模型。弱标签学习的复现难度很大，因为数据处理细节会直接影响结果，没有开源实现的话，别人很难验证。第二，有没有在公开的、带强标签的基准上展示“Pseudo-label 训练后微调可以达到与强标签监督可比的精度”。如果能做到这一点，那么这个思路的说服力会大得多。

技术之外，我还想提一个更根本的经验判断：任何一个视觉定位项目，要长期可用，必须把数据更新和模型更新联合设计。今天的弱标签方案解决了初始训练集的获取，但下一次地图更新之后，模型如何增量学习，如何在新旧标签冲突时判断哪个更可信，才是规模化要面对的下一个硬骨头。

所以，AutoCompass 值得关注的，不是某次实验的精度提升，而是它在尝试回答“如何持续地、低成本地教会机器认路”。这条路刚开始，但方向是对的。