CVPR 2026｜CarlaOcc
一句话总结：针对占据标注几何残缺、缺少实例信息的问题，论文构建ADMesh三维网格库与CarlaOcc数据集，提供更精细、时空更连贯的全景占据真值，为三维语义与实例联合感知建立统一评测基准。
2. 论文信息
题目：An Instance-Centric Panoptic Occupancy Prediction Benchmark for Autonomous Driving｜面向自动驾驶的以实例为中心的全景占据预测基准
发表：CVPR 2026
作者：Yi Feng、Junwu E、Zizhan Guo、Yu Ma、Hanli Wang、Rui Fan
单位：同济大学电子与信息工程学院；同济大学上海自主智能无人系统科学中心；西安交通大学人机混合增强智能全国重点实验室。
代码与数据集：
https://mias.group/CarlaOcc
3.论文摘要
目前的数据集大多用激光雷达点云来生成真实值，存在遮挡空洞、破碎结构等问题，而且不能区分同一种类的物体。本文采用三维网格的方式重建场景，并且利用实例标注、分层体素化以及传感器标注修正的方法得到CarlaOcc，并用空间连续性和时间一致性两个标准以及代表性的模型来检验它的质量和难度。
4、主要创新之处
png)
创新1：统一三维资产库ADMesh
把CARLA、BuildingNet、MeshFleet、ShapeNetCore等超过1.5万的模型进行整合，并且统一了几何表示和语义分类，补齐了场景重建所需要的标准化网格资源。
创新2：带实例身份的高精度标注
CarlaOcc可以产生出完整的网格，并且可以得到体素级别的语义以及实例的身份信息，在最细小的5cm体素下也不会出现标注上的空缺问题。
创新3：对数据质量和模型的能力评价
提出两个时空质量标准，建立语义占据和全景占据预测的基础，使得标注的质量以及模型的表现都可以被量化的来比较。
5.方法详解
5.1问题的界定以及整个体系的大致结构
全景占据预测要对三维体素进行语义分类以及实例识别。本文所做的工作是建立数据生成和评价系统：给定三维资产、仿真姿态和骨骼运动信息之后，依次做资产整理、动态场景重建、占据生成和标注校正，并且得到多种类型的观测结果以及全景占据的真实值。
图2：ADMesh创建以及CarlaOcc生成的过程，即对于静态和非刚性的场景进行重建、拓扑感知网格排序以及传感器伪影校正等。
5.2资产整理和动态场景重建
工具链把网格组件、局部变化以及附着关系都保存下来，然后把这些部分拼接起来形成一个完整的物体，并且给它加上相应的语义信息；对于刚体来说，它是按照自己的身份来查找对应的模型的；而人则要根据步态的不同来选择合适的网格：
代表人，代表标准步态阶段；是当前骨骼运动描述子，是模板描述子，用来测量测地差异，是最匹配阶段。经过选择合适的姿态网格并且进行全局变换之后就可以得到行人现在的形状了。
表1：ADMesh的数据来源和统计数据包括四类来源、模型的数量以及主要类别。
表2：CarlaOcc和公开占据数据集的比较，包含合成属性、环视配置、类别、帧数、空间范围、体素大小以及实例标注等信息。
5.3拓扑感知占据生成
逐个物体体素化之后再进行合并，会花费很多时间，并且还存在标签冲突的问题。该方法是先根据语义将背景区域网格进行合并，然后再把实例以及背景网格按照世界坐标的高度顺序排列好，最后从下往上填充到体素网格中去，从而防止地形等低层结构遮挡道路等高层结构。
5.4用实例来改进标注
透明物体可能会被错误地赋予了后面物体的深度或者类别，为此给异常物体建立一个网格，并用射线投射法找出第一个可见交点；对于深度和原来的测量值取最小值，语义上根据交点以及实例标签来调整，使得跨模态的边界更加一致。
5.5数据质量评估
本文不讨论训练损失的问题，而用两个标准来判断占有的程度。
空间连续性分数就是对同一种类的孤立体素所占的比例进行统计：
代表帧数，代表类别数；表示在第帧中属于类别的体素集合，表示在六邻域内没有同类邻居的体素集合，表示求和的意思。孤立体素越少，分数就越高。
时间一致性分数是指相邻帧对齐之后语义上的一致性程度：
是根据相邻帧的姿态变化和网格采样得到的对齐语义集合；是有效的占据掩模，用来防止惩罚动态物体以及新的出现或者被遮住的部分；、分别表示交集和并集；分数越大，则表示帧间的语义越稳定。
❝
简单来说就是：先根据完整的三维模型来重建每一个物体，然后再生成带有身份信息、跨模态一致并且时空连续的占据标注。
6.实验结果
6.1数据和实验条件
CarlaOcc从八座合成城市里采集了104条序列，每条有1000帧，总共是104000帧、30种类型以及超过4万多个实例。六路环视相机产生的是大小的红绿蓝(Red Green Blue, RGB)、深度和语义图像，并且和32线激光雷达一起以每秒20次的速度同步拍摄。预测实验所用的体素大小为0.2米；PDF没有说明训练/测试划分情况、测试帧数量、训练裁剪尺寸、轮次、优化器、学习速率以及使用的硬件设备。
图3：ADMesh语义网格、CarlaOcc语义体素以及实例数量分布情况，其中静态和动态实例所占的比例分别为54.2%和45.8%。
图4：CarlaOcc的数据展示，表面法线、全景网格、全景占有、RGB图像、语义图、深度图。
g)
6.2数据质量定量的结果
CarlaOcc的和分别是0.996和0.873，都是表3最好的；其次是CarlaSC，分别是0.887和0.775。两个绝对增量是0.109和0.098，在表格中的数据计算出它们的相对提高大约为12.3%和12.6%。
表3：CarlaOcc和其它公开的数据集所使用的占据质量指标进行比较。
6.3定性结果
图5中的红色方框表示由于透明物体造成的深度和语义错误，蓝色方框表示类别标签缺失的情况，在经过修正之后，相应的区域又恢复了正确的深度以及类别信息；这是对标注进行修改的效果，并不是用来和预测网络输出的结果做比较的。
图5：实例引导的方法对传感器伪影进行校正，依次为RGB图像、原始和校正后的深度图、原始和校正后的语义图。
6.4三维占据预测基础
全景任务用到的是全景质量(Panoptic Quality，PQ)、分割质量(Segmentation Quality，SQ)、识别质量(Recognition Quality，RQ)以及平均交并比(mean Intersection-over-Union，mIoU)，Panoptic-FlashOcc这四项都达到了表4中的最优值：13.5、49.1、27.5、18.4；PQ和mIoU相比PanoOcc分别提高了1.6个百分点和1.1个百分点；SQ次优的是SparseOcc的48.8。
语义任务用的是交并比(IoU)和mIoU，环视GaussianFormer2以38.3和20.7排在第一位，其次是OPUS，两者的IoU和mIoU分别相差1.3和1.4个百分点；单视角CGFormer以35.2和17.8排在该组第一位；这些都是目前模型在新的数据集上取得的成绩，并非本文所提出的模型所获得的成绩。
表4为CarlaOcc上全景占据预测方法性能比较。
表5为CarlaOcc上语义占位预测方法在环视和单目视图下所表现出来的不同性能对比。
消融和复杂度
PDF未报告模块消融、参数数量、浮点运算次数(FLOPs)或者推理速度等指标不能够用来衡量各个阶段所获得的好处以及付出的成本。
7.结论和预测
ADMesh和CarlaOcc把完整的几何、实例身份以及时空一致性都包含在一个数据系统里。现有的模型的PQ依然很低，这就表明准确的几何和真实的遮挡关系对于联合识别提出了更高的要求，在以后的工作中还需要继续提高实例区分的能力，并且要对遮挡区域进行推理。
❝
简单来说，CarlaOcc的价值就是使三维感知在更加全面、详细的标注之下进行“是什么”以及“哪个”的检验。
往期推荐
