LD-VLG端到端地图生成：从多模态输入到车道级地图

干地图数据这行的人，听到“端到端”三个字，通常心情复杂。过去一版高精地图从外业采集到上线发布，要经过建图、融合、要素提取、矢量化、人工编辑、多重质检，一条城市主干道从回收到可用的车道级图层，一个团队干一周很正常。LD-VLG这类端到端地图生成大模型的出现，本质上是在挑战这套跑了很多年的重流程：让模型直接吃采集数据、众包轨迹和语义约束，吐出结构化地图，中间不要那么多人工接力。这篇文章就当是一次内部复盘，把LD-VLG要解决的问题、模型设计的关键思路、落地实操步骤和踩过的坑串一遍，适合正在做高精地图、车道级导航以及自动驾驶地图生产的算法同学和数据团队参考。

1. 端到端地图生成是什么？为什么 LD-VLG 要换一种做法

1.1 传统地图生产线的三个痛点

先还原一下传统产线的工作流。外业采集车跑一天，带回来的是图像序列、激光点云、GNSS/IMU轨迹这些原始数据；后端团队先做时间同步和轨迹解算，再做要素提取，把车道线、停止线、路沿、交通箭头从像素或点云里识别出来；识别结果是一堆掩膜或点簇，得靠矢量化模块转成线、面；最后还要人工检查拓扑连得对不对、属性标得准不准。整条链路里，任何一步单独看都有成熟方案，但连起来跑，问题就来了。

第一个痛点是误差逐级传递。图像分割模型输出像素掩膜，矢量化模块把掩膜拟合成折线，融合模块再去接拓扑，每一步都在做近似。分割看着是对的，矢量化一拟合，线边缘抖了；融合模块按距离把线接起来，路口多点或少点，拓扑就断了。到了人工环节，看到最多的问题不是“漏检”，而是“每个模块单独看都没错，放一起不自洽”。

第二个痛点是更新效率低。一条道路如果只是中间绿化带改了标线，传统流程也要重新采集、重新走全链路。地图生产本质上是个持续更新的活，但产线却按“批处理”设计，周期压不下来。第三个痛点是规则和几何是分离的。标线画到停止线前必须断开、实线不能穿行、路口需要闭合，这些规则分散在标注规范和人工经验里，模块本身并不理解。模型输出什么，编辑就修什么，规则没法在源头约束生成过程。

1.2 端到端做地图：输入输出都变了

端到端思路最大的变化，是把地图生成定义成“从原始输入到结构化输出”的单任务。输入不再是一堆需要分别处理的中间产物，而是采集图像、点云或众包轨迹，加上一个语义提示；输出不再是一张掩膜图，而是直接生成车道中心线、停止线、路沿、方向箭头以及它们之间的拓扑关系。模型内部当然也会形成某种隐式中间表征，但对外只有一个损失函数、一套优化目标，不再出现多个模块各自为政再拼接的情况。

这样做的好处用一个词概括叫“整体自洽”。图像里的车道线、轨迹给出的空间先验、规则层面的属性约束，全部在同一个网络里互相校正。以前各环节独立优化产生的系统性偏差，现在可以被一个全局损失拉回来。实际落地时，改动最明显的不是精度数字，而是流程里省掉了一大批矢量化、拓扑拼接、人工修线的代码和人力。某位做数据生产的同事跟我说过一句大实话：以前最怕接口文档变动，现在怕的是模型训练烧显卡，但至少心里踏实，因为所有东西都在一个框架里。

1.3 名字拆开看：LD 与 VLG 各盯住什么

LD-VLG这个名字不是随便起的。LD，通常对应Lane-Level Detail，也就是车道级细节，说明模型盯着的是车道中心线、车道边界、停止线这一档，不是普通导航级的道路link。VLG，常见理解是Vision-Language Generation，也就是视觉语言生成。把视觉感知和语言式约束组合起来，是模型最大的设计特点。

这里“语言”不是指自然语言对话，而是结构化语义约束。比如“这里是一条双向四车道，中间有双黄实线”“路口的车道线到斑马线前终止”“公交车道只在特定时段有效”。这些约束可以通过提示向量的方式注入模型，也可以做成属性标签参与损失计算。传统视觉模型只会“看到什么提什么”，加语义提示之后，模型能主动拒绝那些视觉上很像但语义上不合理的线。举个简单例子，停车场内部线在视觉上也是白色线条，没有语义约束的时候很容易被识别成道路标线，有了“只输出机动车道要素”这类提示，误检率能下降一截。

2. LD-VLG 的模型设计：关键模块与网络细节

2.1 多模态输入怎么组织才不会乱

端到端模型的输入一般有三部分：视觉信息、轨迹信息、语义提示。视觉信息来自环视摄像头或激光点云，通常先做视角变换，把图像特征投影到俯视图BEV空间，这样后续的输出天然在鸟瞰坐标里，方便和轨迹对齐。轨迹信息由GNSS/IMU或者视觉定位给出，负责提供空间尺度、方向和车辆姿态，让模型知道这条线应该出现在车辆的哪个位置、朝向哪边。语义提示则是一组嵌入向量，对应不同的输出要素类型和规则约束。

这三部分不是简单拼在一起，而是由模型内部用交叉注意力去融合。图像给出纹理和颜色，轨迹给出空间先验，语义提示给出“要什么要素”的条件。实际训练中，三个模态的时间对齐很关键，图像晚了50毫秒，投影到BEV后线上就会带拖影。我们做过一次异常回放，发现一个长期困扰团队的“虚线重影”问题，最后定位到是采集设备内部时钟漂移导致图像和轨迹错位。解决办法也很土，在数据预处理阶段对每个文件做交叉校验，轨迹位置和图像内容的投影偏差超过阈值就直接丢弃，不要喂给模型。

2.2 生成式地图头：跳过矢量化，直接从特征出坐标

传统方案里，矢量化是独立后处理，先把分割结果变成掩膜，再用多边形拟合算法抽线，最后简化折线。这套做法在弯道、路口、遮挡场景下特别容易翻车：拟合出的线要么过于平滑丢掉细节，要么在遮挡处走出奇怪的折角。LD-VLG的做法是让模型直接生成矢量要素。输出端更像一个目标解码器：用一组可学习的查询，去解码出N条线，每条线由有序点序列、属性类别以及和其他线的连通关系组成。

为什么“生成”比“检测”更适合地图？因为地图要素的长度不固定，一条车道线可以是几十米，也可以到一个路口就断掉，检测框那一套固定尺寸的定义在这里很尴尬。生成式地图头把每条线看成一个序列，解码时逐点回归坐标，天然适配任意长度和任意形状。坐标通常在以自车为原点的局部坐标系里表示，再通过轨迹外参转换到全局，这个设计让模型只学习局部几何关系，不受经纬度数值域影响，收敛速度快很多。

2.3 三路损失函数：几何、拓扑、属性一个都不能少

训练时只算坐标误差是不够的。最初我们只用了几何损失，模型确实能把线画在车道附近，但画出来的东西很“散”，每条线各自漂亮，线之间的连接关系一团糟。后来加上拓扑损失和属性损失，效果才稳定下来。几何损失负责位置精度，用预测点序列和真值点序列的配对距离，常用smooth-L1；拓扑损失负责结构关系，让模型学习“哪些线在路口相交”“哪些线属于同一条车道边界”，一般通过邻接矩阵或连接关系头的交叉熵来约束；属性损失负责分类，告诉模型“这条是实线还是虚线、是白线还是黄线、是停止线还是导向箭头”。

三类损失的权重需要调，但不是玄学。我的经验是，几何和属性的权重相当，拓扑稍微低一点；但一旦发现验证集的路口成环率掉下去，拓扑权重要马上提上来，不能只看整体loss。损失权重本质上是在表达：你允许模型在哪个维度上犯更大的错。如果几何权重过低，模型会出一堆拓扑正确但位置偏半米的线；如果拓扑权重过低，位置看着很好但断头路一堆。落地时可以先固定后面两步，只调拓扑系数，效果立竿见影。

2.4 “大模型”的底气到底在哪

LD-VLG被叫做大模型，我觉得底气不完全在参数量，而在三个地方。第一是多模态预训练，图像编码器在海量自然影像上学过特征，迁到地图场景能加速收敛；第二是跨区域泛化能力，模型见过不同城市的道路形态、不同天气和光照，换一个陌生区域也能生成相对合理的地图；第三是语义提示的灵活性，新需求来了不必重训整个模型，改提示就能做新输出类型。

但跨区域泛化这件事很容易被高估。有个朋友实验时发现，模型在一线城市老城区表现很好，换到新城区的宽马路直接崩。原因不复杂：训练数据里老城区的小路口和窄车道占了大多数，新城区那种六车道加宽中央隔离带的场景样本太少。所以真要让模型“大”起来，功夫在数据覆盖上，而不是在多加几层Transformer上。模型参数当然要够，但训练数据的地域多样性、时段多样性、天气多样性，才是端到端地图生成的隐形天花板。

3. 实操落地：从数据准备到评估发布

3.1 数据准备：坐标系、时戳、清洗与标注规范

端到端模型对数据的挑剔程度远超传统产线。最基础的一件事是统一坐标系。不同城市采用的地方坐标系基准可能不一致，轨迹拿到手如果不做统一转换，模型会同时学到几套坐标偏差，直接表现为收敛变慢、输出漂移。我的建议是统一转到以轨迹起点为原点的局部平面坐标，训练前再对每个样本的坐标做归一化，这样数值域稳定，梯度不会一上来就飞。

时间戳同步是另一个大坑。图像、点云、轨迹都有各自的时钟源，哪怕同一个采集设备，多传感器之间也可能有几毫秒到几十毫秒的偏差。在地图生成任务里，图像和轨迹错位一点，BEV投影就会出现明显的拖影和重影。我们在预处理里加了一个对齐检查：用轨迹推断当前时刻车辆的位置和姿态，再把图像特征投影到BEV，和点云投影做一致性校验，偏差超过阈值直接丢弃。这个步骤会丢掉一部分数据，但换来的训练稳定性值得。

标注规范直接决定模型的行为上限。车道线在视觉上是一个连续像素带，但在地图语义里有明确的起止位置：到斑马线前断开、到停止线前收敛、黄实线与白实线不能混标。这些规则必须写进标注规范，还要配一份“疑难案例图册”，否则人工标注员会按自己的感觉标，模型学到的就是一堆不一致的答案。我们在第一版标注里没有规范“临时标线”，结果模型把施工路段的黄色临时线也当成永久标线输出，后来把临时标线单独立了一类，问题才解决。数据清洗同样不能省，高架桥上下重叠、雨天积水反光、大面积施工围挡覆盖的场景，要么剔除要么重标，端到端模型不像传统产线那样能靠后处理救回来。

3.2 基线模型配置与训练参数

给出一个可以复现的基线配置，这套配置在千公里级城市道路数据集上表现稳定。输入部分用8路环视图像，分辨率1280×720，采样帧率10FPS，轨迹时间窗5秒；图像经过主干网络提取多尺度特征后投影到BEV，BEV特征分辨率256×256，特征维度256；语义提示用一组可学习的嵌入向量，维度与BEV特征一致。输出头预设64条候选线，每条线最多128个点，属性类别16类。

训练配置方面，batch size建议32，优化器用AdamW，初始学习率3e-4，权重衰减0.05，总训练轮次100个epoch。这个组合对大多数国产加速卡和开源框架都友好。硬件上，8张32GB显存的GPU够跑，显存不够时可以冻结图像编码器的前几个stage，或者开启梯度检查点，前者省得更多，后者更灵活。开头先说清楚：这个基线不是最优的，但它是一个能稳定收敛、方便排查问题的起点，很多参数都是在这个基础上逐步调出来的。

3.3 训练策略：三阶段渐进与关键调度

端到端模型别一上来就全量数据硬撸。我们走的是三阶段渐进路线。第一阶段用单城市子集只训练几何生成，让模型先学会画线，不急着区分属性；第二阶段开启语义提示，加入属性和类别损失，让模型把线的类型分清楚；第三阶段叠加拓扑损失，放开全量数据，让模型学会路口连接和线之间的拓扑关系。每个阶段之间不换模型，而是把新的loss项和新的数据部分逐步解冻，就像教人先学走路再学跑。

学习率调度用warmup加cosine decay。前5%的训练步数做线性预热，让模型在大学习率下不至于震荡，之后按余弦曲线衰减到最小学习率。每个5000步在验证集上算一次指标，同时保存当前最优权重。我们踩过一个典型的坑：第二阶段的模型属性准确率很好，但拓扑完全不成立，原因是拓扑损失权重太低，模型觉得“连不连”这件事不重要。后来把拓扑权重从0.3提到0.6，同时给验证集中每个路口样本固定数量的采样权重，让简单直路和复杂路口在评测时各占一半，问题才被暴露和解决。

3.4 评估指标与上线前的检查

模型训练完，不能只看一个总loss。我们日常盯三个指标：线粒度F1，把预测线和真值线按照端点距离小于1米匹配，计算precision和recall，这是最直观的要素检出能力；平均点误差，匹配成功后计算对应点之间的平均距离，反映线的几何精度；拓扑环闭合率，专门看路口区域的车道线是否能闭合，环闭合率上不去，说明路口拓扑还没学会。发布前还要做一次人工抽检，把模型输出的矢量层叠在高清底图上滚动查看，重点看匝道、互通立交、路口渠化等复杂区域，算法指标不能代替这种“人眼扫图”的检查。

上线之前还有一个步骤不能省略：全局转换验证。模型在局部坐标系里输出很漂亮，但转换到全局大地坐标时，如果轨迹本身的定位有漂移，地图层的绝对位置会错。验证方法是拿一组已知坐标的控制点做叠加，看匹配残差，残差超过半米的路段直接返回重新处理。这个环节做得好的话，能避免“局部看着准、全局错位”这种最难找的隐性问题。

4. 常见问题与排查技巧实录

4.1 问题速查表

这张表不是教科书总结，而是我们真刀真枪排查出来的高频案。最气人的一个案例是“车道线穿过隔离带”：模型在几何上画得很好，但黄实线直接穿过了中央隔离带。加语义提示和负样本之后，这类错误基本消失。所以排查时不要只盯着模型结构，先看训练数据里有没有给模型足够强的“不要做某事”的证据。

4.2 三个我亲历的教训

第一个教训是临时标线问题。某段市政道路频繁施工，采集车多次经过，每次都采集到黄色临时标线。模型学到的规律是“这里有黄线”，等施工结束、白色永久标线画好后，模型还在固执地输出黄线。后来我们把“临时标线”做成独立类别，同时用时间维度筛选数据，只保留与当前路况一致的采集时段，问题才被压制。这件事让我明白，端到端模型看到什么就学什么，数据里的噪声必须当作一等公民处理。

第二个教训是坐标尺度。有一版训练我们把经纬度直接作为轨迹输入，模型长期不收敛。后来一位做SLAM的同事提醒，经纬度数值本身很大而相对位移很小，梯度会被数值域吃掉。改成相对坐标并归一化之后，loss当天就降了一个量级。这个错误很低级，但很容易犯，因为它藏在输入编码里，不会显式报错。

第三个教训是学习率调度与验证集节奏。有一版模型训练到70个epoch时，验证集指标看起来很好，但发布到目标城市后发现匝道部分成片出错。回查发现验证集和训练集来自同一批采集任务，区域重叠太严重，验证集失去了预测意义。后来我们把验证集改成完全独立的区域，指标可信度立刻提升。这也提醒我，端到端模型的评估集一定要刻意构造，不能图省事直接切一段数据。

做这类端到端地图生成模型，真正难的从来不是网络结构本身，而是把数据规范、拓扑规则和评测口径统一起来。我个人的体会是，一开始就要把数据质量问题当作算法问题处理，别指望后处理能兜底。最后再分享一个小技巧：正式训练前先统计各类要素的出现频次，某些低频类别比如停止线、导向箭头，占比如果低于百分之几，要在损失里加权重或做重采样，否则模型会在验证集上非常体面地把这些类别全部忽略，等你发布后才发现它根本没学会。