FB-OCC双向视图变换：3D占据预测的投影融合与工程实践

1. 占据栅格这件事，难就难在"往哪个方向做投影"

3D Occupancy 预测这两年在自动驾驶感知圈里被讨论得非常密集，但真正把方案跑进实车、把分数刷到榜首的团队并不多。原因不复杂：这个任务把"看得见的东西框出来"变成了"把所有东西填满"，输出从几十个三维框变成了十几万个体素格子的分类结果，误差被放大到每一个格子上，任何一点投影方向的选择失误都会被成倍放大。FB-OCC 这个方案之所以值得拿出来细说，是因为它没有在主干网络或数据增广上做花活，而是直接抓住了这个任务最核心的症结——图像是二维的、占据是三维的，这两者之间的映射到底应该由谁来承担。

大多数人的第一反应是挑一条路走到底。要么用前向投影，也就是从图像像素出发，沿着相机射线把特征撒进三维空间；要么用反向投影，把三维空间里的查询点投回图像平面去采样特征。这两条路各自都有一批成熟方案，跑分也都不差。但真正上手调过就会发现，它们失败的场景几乎是互补的：前向投影在远处和遮挡边界上会糊成一片，反向投影在近处大目标和细小柱状物上容易漏。FB-OCC 的核心贡献就是把这两条路同时修通，在一个共享的三维特征空间里让它们互相纠正。

这篇内容写给谁看？如果你已经跑通过至少一个 BEV 或占据预测的 baseline，能看懂深度分布、体素化、可变形注意力这些概念，那这里讲的融合细节、损失配方和踩坑记录会对你比较有用；如果你刚入门，前两章会帮你把"为什么是双向"这个直觉建立起来，后面几章的具体参数可以等你动手时再回来翻。

提示：文中涉及的感知范围、体素尺寸、学习率等数值，都是这类任务里比较常见的量级，具体项目要按自己的传感器配置和算力预算重算，不要直接照搬。

2. 双向视图变换：FB-OCC 的骨架是怎么搭起来的

2.1 为什么单向前向投影在远处会塌掉

前向投影的经典做法是给每个图像像素预测一组离散深度分布，然后按这个分布把像素特征加权撒到沿射线的若干个体素位置上，最后做体素池化。这套逻辑很符合物理直觉，但它有一个绕不开的软肋：深度是预测出来的，不是测出来的。深度分布只要在某个像素上偏了一个 bin，这个像素的特征就会被搬到错误的三维位置上去，而且这种错误在远处会被射线长度放大——同样一个角度误差，在 10 米处可能只偏 20 厘米，在 50 米处就偏了一米多。

更麻烦的是遮挡。前向投影本质上是"每个像素都往外撒"，它不知道自己在三维空间里被谁挡住了。一根电线杆后面的地面像素依然会把车体特征撒到杆子后面去，结果就是遮挡边界上出现大量语义污染。我做可视化的时候最直观的感受是：远处的地面会莫名其妙长出一些"车屁股"的碎片特征，就是被遮挡像素乱撒造成的。

2.2 反向投影的补偿逻辑与它自己的短板

反向投影走的是另一条路：先在三维空间里铺好一堆查询点，把每个点用相机内外参投到图像平面上，落到哪个像素就在那个位置采特征，再通过可变形注意力在邻域内做加权。这条路的好处是不依赖显式深度预测，误差不会沿着射线累积，遮挡也可以通过深度一致性做剔除。

但它也不是万能的。查询点投回图像之后，采样位置是浮点坐标，得靠双线性插值去取，这个过程中高频细节会被磨掉。一根 20 厘米粗的杆子，投影到远处图像上可能只占两三个像素，采样点稍微偏一点就落到背景上了，于是这个体素就被判成"空"。这就是为什么纯反向投影的方案在小目标类别上经常掉点。

还有一点容易被忽略：反向投影的采样效率取决于查询点的分布。如果按照稠密体素铺查询，绝大多数点都落在空区域，算力浪费严重；如果做稀疏化，又得先有个粗糙的占据预测来指导采样，变成了鸡生蛋的问题。

2.3 两条支路在同一个体素坐标系里握手

FB-OCC 的做法是把两条支路的输出都对齐到同一个三维栅格上，然后做特征级融合。具体来说，前向支路负责给出"几何上比较靠谱、密度比较高"的体素特征，反向支路负责给出"语义上比较干净、边界比较锐利"的体素特征，两者相加或者拼接后过一层卷积做自适应加权。

这里有个设计细节值得说：两条支路共享同一份图像特征金字塔，不各自单独提特征。这样做一是省算力，二是让两个分支看到的底层纹理是一致的，融合时不会出现"两套语义体系打架"的情况。我在复现时试过给两个分支各自独立的主干，结果 mIoU 反而掉了将近两个点，原因是独立主干学出的特征分布差异太大，融合层的权重很难收敛到一个稳定的折中。

融合之后还需要一个轻量的视角一致性约束。因为两条支路的误差模式不同，如果放任它们自由发散，融合层会倾向于只信其中一条，另一条退化成噪声。常见的做法是对两支路的中间体素特征都施加深度监督和占据监督，让它们各自都得"及格"，再做融合。

2.4 解码头：从体素特征到类别概率

融合后的体素特征要映射到类别上，这一步看起来平淡，实际上坑不少。最朴素的做法是 3D 卷积加逐体素 softmax，但体素数量在百万级别，全稠密卷积的显存开销很难看。实际工程里普遍用稀疏卷积，只对非空体素做计算，空体素直接走一个可学习的"空类别"常量输出。

稀疏化的关键是阈值怎么定。阈值太高会漏掉细小目标对应的体素，阈值太低计算量爆炸。我自己的经验是先用一个偏低的阈值（比如 1e-3）做粗筛，再在稀疏卷积里做两级下采样，最后上采样回原分辨率做逐体素分类。这样既保证了召回，又把计算量压在了可接受范围内。

另外一个细节是输出类别的定义。占据预测里"空"和"自由"是两回事——空是没观测到，自由是确认为可通行。很多方案把这两类合并，结果在规划模块那边完全没法用。FB-OCC 这类方案通常会把自由空间单独作为一类来监督，虽然这让类别数变多、长尾更严重，但下游可用性高得多。

3. 时序融合与位姿扰动：让网络学会"容忍不对齐"

3.1 多帧堆叠到底带来了什么

单帧占据预测最大的问题是信息量不够。遮挡区域在单帧里就是没有观测，网络只能靠语义先验去猜，猜出来的东西在评测里可能得分，在实车上就是隐患。叠加上历史帧之后，被前车挡住的地面在后一帧里可能就露出来了，被树荫遮住的车辆在几帧的观测里能拼出完整轮廓。

常见的做法是取当前帧往前若干帧，把每帧的体素特征按自车位姿变换对齐到当前帧坐标系，再做加权融合。帧数和间隔需要权衡：帧数多、间隔长，视野更广但运动物体对不齐；帧数少、间隔短，对齐容易但补盲效果有限。这类任务里比较常见的配置是取 3 到 5 帧，间隔在 0.4 到 0.6 秒之间，覆盖 1.5 到 2 秒的历史窗口。

3.2 显式 warp 和隐式注意力的取舍

对齐方式有两大流派。显式 warp 是把历史帧的体素特征按刚体变换重采样到当前坐标系，实现简单、可解释，但对运动物体无效——一辆正在行驶的车，它的体素特征在历史帧里的位置和当前帧对不上，硬搬过去就是鬼影。

隐式时序注意力是让当前帧的查询点自己去历史帧特征里找对应位置，靠可变形采样学出偏移量。这种方式能一定程度上处理运动，但代价是训练更不稳定，而且偏移量学歪了之后没有任何物理约束能把它拉回来。

FB-OCC 这一类方案倾向于两者结合：静态背景用显式 warp，动态区域用注意力采样，并且引入一个基于位姿差异的置信度权重，让对齐误差大的历史帧贡献自动衰减。这个权重不需要额外监督，用位姿变换的残差直接算就行。

3.3 位姿扰动：一个便宜但极有效的鲁棒性手段

这是我最想强调的一个训练技巧。实车上的位姿估计从来不是完美的，惯导和视觉里程计都会有厘米级甚至分米级的抖动。如果训练时喂给网络的是理想位姿，模型会把"历史帧和当前帧严丝合缝"当成前提，一旦上车遇到抖动，时序融合模块立刻崩掉。

具体做法是在构造训练样本时，对历史帧到当前帧的相对位姿加随机扰动：平移方向加 ±0.1 到 ±0.3 米的均匀噪声，旋转方向加 ±0.3 到 ±1.0 度的扰动，同时随机丢帧、随机改变帧间隔。这些扰动幅度不是拍脑袋定的，而是对着自己车上里程计的实际误差分布去标定的。

我做过一组消融，加扰动前后在晴天直道上几乎没差别，但在急转弯和上下坡路段，加了扰动的模型在遮挡区域的补全效果明显更稳。代价是收敛慢一点，大概多跑两三个 epoch 才能追平。

注意：位姿扰动不能无脑加大。扰动幅度超过一定范围后，网络会学到"历史帧不可信"这个结论，直接退化到单帧模式，时序模块形同虚设。建议从小幅度开始，逐档增加，观察验证集上的补盲指标变化再定。

4. 训练配方：损失函数、类别不平衡和显存账本

4.1 只靠逐体素交叉熵为什么不够

占据预测的类别分布极其悬殊。一帧数据里自由空间和空体素能占到 95% 以上，真正的车辆、行人、骑行者可能只占千分之几。逐体素交叉熵在这种分布下会被"全猜空"这种退化解主导，模型很快学会把所有体素都判成空，损失照样降得下去。

FB-OCC 这类方案的处理是组合拳。主损失用逐体素交叉熵，但配合类别权重和难样本挖掘；辅助损失加上 Lovász-Softmax 这类直接优化 IoU 的损失，缓解类别不平衡带来的优化偏差；再叠一层针对稀疏前景点的额外监督，让真正有物体的体素得到更高的梯度权重。

Lovász 损失的实现要注意一点：它对 batch 内样本的排布比较敏感，如果同一个 batch 里全是简单场景，梯度会非常小，起不到优化作用。我的做法是在 batch 里保证一定比例的复杂场景（比如密集车流、多行人路口），或者在采样时对前景体素占比高的帧做上采样。

4.2 深度监督：稀疏但不可省

前向投影支路的深度分布需要监督，否则它会学出一个模糊的、倾向于均值化的分布，撒出去的体素特征在深度方向上糊成一团。监督信号来自点云投影——把激光点按外参投到图像上，得到稀疏但精确的深度标签，只在有激光点的像素上计算损失。

这里有两个实操细节。第一是点云的时序累积，单帧点云投到图像上只覆盖很少的像素，稀疏度太高，通常要累积前后若干帧的点云并做运动补偿，能把有效像素覆盖率提高三到五倍。第二是稀疏深度损失的归一化方式，如果按全部像素求平均，有效像素的梯度会被稀释，正确的做法是只对有效像素求均值，再乘一个固定的缩放系数。

我还试过用单目深度估计的稠密结果做伪标签，效果不如稀疏激光监督稳定，主要问题是伪标签在远处和弱纹理区域的系统性偏差会把前向支路的深度分布带偏。

4.3 显存账本：训练时到底什么在吃显存

这一块很多人低估了。占据预测的显存开销主要不在主干网络，而在三维特征图本身。以常见的 200×200×16 栅格、128 通道的特征为例，单个样本的特征张量就是 200×200×16×128 个浮点数，按半精度算也有 160MB 左右，加上反向传播要保存的中间激活，一个样本轻松吃掉好几 GB。

压缩显存有几个方向：用稀疏卷积替代稠密卷积、在融合阶段降通道数、用梯度检查点换显存、降低时序帧数。我自己的优先级是先降时序帧数（从 5 帧降到 3 帧，显存能省 20% 左右，精度掉得不多），再考虑通道裁剪。梯度检查点虽然省显存，但训练速度会掉 30% 以上，除非卡特别紧张，一般不用。

下面这张表是我在一套 8 卡环境上实测下来的典型配置，供参考：

4.4 学习率与训练时长

这类任务的训练普遍用 AdamW，基础学习率在 2e-4 到 4e-4 之间，配合余弦退火和 500 到 1000 步的线性 warmup。批大小变了要按比例缩放学习率，否则前期很容易发散。

训练轮数上，我观察到 20 轮左右是收益拐点，再往后验证集指标基本走平，但训练集损失还在降，说明开始过拟合。比较划算的做法是训 24 轮，前 20 轮正常退火，最后几轮做一次低学习率的精修，注意力集中在难样本上。

还有一个经验：多阶段训练比一次性端到端训更稳。先冻结时序模块，只训单帧的双向融合，等单帧指标稳定了再解冻时序，最后整体微调。一次性端到端训的失败率挺高，经常出现时序分支学到一堆无用权重的情况。

5. 推理阶段的琐碎事：分辨率、体素换算和失败模式

5.1 离线评测和在线推理不是一回事

刷榜时的配置和上车时的配置往往差很远。离线评测可以开多尺度、水平翻转 TTA，可以把时序帧数拉到最长，可以不做任何后处理剪枝；在线推理必须考虑延迟预算，通常只能跑单尺度，帧数也要控制。

我踩过的一个坑是：TTA 在离线评测里能涨一个多点，但那个增益主要来自边界区域的稳定化，在线不开 TTA 时，网络在同样的边界区域会输出抖动的结果——同一个位置在连续两帧里一会儿判成车辆一会儿判成背景。解决办法是在训练时就随机做输入尺度抖动，让模型对尺度变化不敏感，这样即使不开 TTA，边界稳定性也还能接受。

5.2 体素尺寸与感知范围的重算

体素化的参数一旦变了，很多东西都要跟着改：检测范围、栅格分辨率、稀疏卷积的下采样倍率、位置编码的尺度。我见过有人直接改体素边长但从没改位置编码，结果模型收敛得极慢，查了两天才发现是坐标归一化的量纲不对。

换算其实很简单，记住一个关系就行：栅格尺寸 = 感知范围 / 体素边长。比如 X、Y 各 80 米、Z 方向 6.4 米，体素边长 0.4 米，就得到 200×200×16。如果想把体素精细到 0.2 米，栅格变成 400×400×32，体素总数翻 8 倍，显存和算力都要重新算账。

坐标系也要确认清楚：自车坐标系的原点在哪、X 轴朝前还是朝侧、Z 轴是向上还是向下。这套东西在不同代码库里约定不一样，混用会导致整个栅格镜像翻转或者上下颠倒，而表面上模型还在正常训练，损失也在降，只是精度怎么都上不去。

5.3 常见失败模式速查

6. 复现路上的三个真实卡点

6.1 坐标系和标定符号：最容易浪费一周的地方

我复现时卡得最久的地方不是网络结构，是标定。前向投影要把体素撒到图像上，反向投影要把体素查询点投回图像，这两步用的变换矩阵必须严格互逆。而在实际代码里，图像坐标系（左上角为原点、y 向下）和相机坐标系（右下前）之间的转换、外参的旋转平移顺序、甚至四元数的表示约定，任何一处符号错了，投影结果就会整体偏移或者镜像。

判断方法很直接：拿一帧带点云的数据，把激光点投到图像上，看是否和图像里的物体轮廓严丝合缝。如果点云投影对得上，说明外参正确；再把体素栅格的中心点投到图像上，看是否落在预期区域；最后把前向投影撒出的体素再投回图像，检查是否落在原始像素附近——闭环验证一遍，能省下大量瞎猜的时间。

6.2 稀疏深度标签的质量决定前向支路的上限

前向投影支路的效果高度依赖深度分布的质量，而深度分布的质量又直接受监督信号影响。我一开始只用了单帧点云，覆盖率很低，前向支路的深度分布学得很平，撒出去的特征在深度方向上扩散严重。改成累积 5 帧点云并做运动补偿之后，有效像素覆盖率上去了，深度分布的峰值明显变尖，前向支路的贡献才真正体现出来。

运动补偿这一步不能省。自车在动的时候，直接把历史点云按当前外参投到当前图像上，远处的点会整体偏移，反而引入了错误监督。正确做法是把历史点云先变换到当前自车坐标系，再投到图像平面。

6.3 算力和精度之间的那条线

双向融合的算力开销大概是单向方案的一点五到两倍，这在离线训练时还能接受，在线推理就比较紧张。我做过几轮裁剪实验，结论是：反向支路的采样点数从每点 4 个降到 2 个，延迟能降 25% 左右，精度掉不到半个点；前向支路的深度 bin 数从 64 降到 40，精度掉一个多点但延迟降得更多。哪一刀更划算，取决于你的延迟预算是卡在哪个档位。

还有一个不太显眼但很有效的优化：两条支路的融合层可以做成轻量的逐点门控而不是全连接，参数量少一个数量级，精度几乎无损。我一开始用的是拼接加卷积，后来换成门控加权，推理速度快了 8% 左右，指标没有可感知的变化。

我个人在这类项目上的一条体会是：占据预测这个任务的瓶颈很少在"网络够不够深"上，绝大多数掉点都能追溯到某个数据链路的对齐问题——标定、时间戳、体素坐标系、深度归一化。每次指标异常，我的第一反应不是改结构，而是把某一路数据单独可视化出来看，十次里有七八次问题就出在那儿。FB-OCC 这套双向融合的思路之所以站得住，也正是因为它把"投影方向的选择"这个最根本的不确定性，用两条互补路径给摊平了，剩下的就是把每一处数据和算力的细节磨到位。