ECCV 2020点云论文复盘：从稀疏卷积到自监督预训练的技术演进

1. 为什么ECCV 2020的点云论文值得单独拎出来复盘

如果你做3D视觉，尤其是点云方向，ECCV 2020是一个绕不开的节点。那一年点云相关投稿量比上一届几乎翻了一倍，录用的文章里既有后来被大量引用的 backbone 级工作，也有不少在当时看起来"小众"、但后来被证明是重要铺垫的思路。我前后花了大概三周时间把这一届点云相关的文章过了一遍，有些是精读，有些只看了方法和实验部分，下面把这次复盘的收获和踩过的坑整理出来。

先说清楚这篇内容适合谁看。如果你刚接触点云，想找一个"从哪读起"的路线图，这篇可以当索引；如果你已经在做点云检测、分割或配准，想快速回顾那一届的方法论脉络，这篇可以帮你把零散的印象串成线。我不会逐篇翻译摘要，而是按"这批文章到底在解决什么问题、用了什么招、哪些思路后来被验证了"这个逻辑来组织。

需要提前说明一点：ECCV 2020 点云文章数量不少，我不可能每一篇都展开到同等深度。我的做法是抓主线——把当年最集中的几个技术方向拎出来，每个方向挑代表性的工作讲透，剩下的用表格和要点带过。这样你读完能有一个清晰的坐标系，而不是一堆散点。

另外，我在整理过程中发现一个很普遍的问题：很多人读论文只读方法图，不看实验设置和消融。结果就是记住了"用了什么模块"，却不知道"这个模块在什么条件下才有效"。这篇里我会尽量把每个方法的适用边界和失效场景也讲清楚，这比单纯罗列创新点有用得多。

2. 那一届点云文章的整体版图：四个绕不开的方向

2.1 从"能跑通"到"跑得动"：效率与轻量化成为显性诉求

ECCV 2020 之前，点云领域的很多工作还在拼精度，谁在 ModelNet40 或 S3DIS 上高零点几个点就能发。但到了2020年，一个明显的变化是：效率开始被当作一等公民。原因很直接——点云数据量太大，自动驾驶和机器人场景对实时性有硬要求，一个在服务器上跑几秒的模型，落到实际系统里根本没法用。

那一届有几篇工作专门针对这个问题。比如有的方法通过自适应采样来减少冗余点，核心思路是：点云里大量点集中在平坦区域，对形状描述的贡献很低，与其均匀下采样，不如根据局部几何复杂度动态决定保留多少点。这个思路听起来简单，但实现上有讲究——采样率怎么定、采样过程可不可微、梯度怎么回传，每一步都会影响最终能不能端到端训练。

我实测过其中一种自适应采样的复现版本，最大的体会是：采样模块的收益高度依赖下游任务。在分类任务上，它带来的精度损失很小，速度提升明显；但在需要精细边界的分割任务上，如果采样过于激进，小物体的点会被直接丢掉，召回率掉得很难看。所以这类方法不能无脑套，得先想清楚你的任务对"点密度"有多敏感。

2.2 卷积的"点云化"：从体素到连续卷积的路线之争

点云怎么卷，是那几年最热闹的话题。ECCV 2020 上，这个方向的文章可以粗略分成两派：体素派和连续卷积派。

体素派的做法是把不规则点云量化成规则网格，然后用3D卷积处理。优点是能直接复用成熟的2D/3D卷积算子，工程实现相对省心；缺点是量化过程会丢信息，而且体素分辨率一高，显存就爆炸。那一届有工作尝试用稀疏卷积来缓解这个问题——只在有点的体素上计算，空体素直接跳过。这个思路后来被很多检测框架采纳，算是被验证过的方向。

连续卷积派则坚持在原始点上定义卷积。难点在于：点的邻居是无序的，卷积核怎么定义才能既保持置换不变性，又能提取有区分度的特征。当年比较有代表性的做法是用相对位置编码来调制卷积权重，让卷积核根据邻居点的空间关系动态变化。这个思路的直觉是：离中心点近的邻居应该比远的邻居贡献更大，而且方向不同的邻居应该被区别对待。

提示：这两派没有绝对的优劣。体素派在需要大感受野的检测任务上更稳，连续卷积派在点云密度不均匀时表现更好。选型时先看你的数据分布和任务需求，别被"哪个更新"带偏。

2.3 自监督与预训练：点云终于开始"蹭"上这波红利

2020年正是自监督在2D视觉里大杀四方的时候，点云领域自然也想分一杯羹。ECCV 2020 上有几篇工作尝试把对比学习和掩码重建搬到点云上。

对比学习的核心是构造正负样本对。在2D图像里，同一张图的不同增强视图是正样本，不同图是负样本。搬到点云上，问题来了：点云的增强方式有限，旋转、缩放、加噪这些操作，有些会改变语义（比如把椅子转180度还是椅子，但把杯子倒过来语义就变了），有些则不会。所以增强策略的设计直接决定自监督效果。我见过一个复现实验，同样的对比学习框架，换一组增强方式，下游分类精度差了将近5个点。

掩码重建的思路更直接：随机遮住一部分点，让模型预测被遮住的坐标或特征。这个任务迫使模型学习局部几何结构。但点云和图像不同——图像遮住一块，周围像素还能提供强上下文；点云遮住一块，如果遮得太多，局部结构就彻底断了，模型只能瞎猜。所以掩码比例是个关键超参，太高学不到东西，太低任务太简单。

2.4 配准与对应：从全局特征到局部几何的回归

点云配准（registration）是另一个重头戏。传统方法依赖手工特征和迭代优化，深度学习进来后，主流思路变成先学特征、再算对应、最后估变换。

ECCV 2020 上有工作专门针对部分重叠场景做配准。这个场景很现实：两片点云扫描同一物体，但视角不同，重叠区域可能只有30%。传统方法在这种低重叠率下很容易崩，因为找不到足够的对应点。那届的一个思路是用注意力机制来筛选可靠对应，让模型自己判断哪些点对是可信的，哪些是噪声。这个方向后来衍生出不少变体，核心思想一直没变：对应点的质量比数量重要。

我在复现这类方法时踩过一个坑：特征描述子的维度不是越高越好。有一版我为了追求精度把描述子维度拉到256，结果在低重叠场景下反而更差。后来分析发现，高维描述子容易过拟合到训练集的特定几何模式，泛化到新场景时反而不如64维稳。这个教训让我后来做配准时，会先在小维度上把流程跑通，再逐步加维度看收益。

3. 几篇代表性工作的拆解与复现心得

3.1 自适应采样那篇：采样率到底怎么定

这篇工作的核心是一个可学习的采样模块。它给每个点算一个重要性分数，然后按分数保留Top-K个点。重要性分数由一个轻量MLP预测，训练时和下游任务联合优化。

我复现时最关心的是K怎么选。论文里给的是固定比例（比如保留50%），但实际数据里，不同样本的复杂度差异很大——简单的立方体可能保留20%就够了，复杂的飞机模型保留80%都嫌少。我试过改成基于分数分布的动态阈值：先算所有点的分数，然后取分数均值加一个偏移作为阈值。这样简单样本自动少留点，复杂样本多留点。实测在分类任务上，动态阈值比固定比例高了约1.2个点，速度还略快。

但这里有个坑：动态阈值会让batch内不同样本的保留点数不一致，如果下游模块要求固定点数输入（比如某些全连接层），就得额外做对齐处理。我的做法是设一个上限和下限，超出范围就截断或补齐。这个细节论文里通常不写，但不处理的话代码直接报错。

3.2 连续卷积那篇：相对位置编码的实现细节

这篇的卷积核定义大概是这样的：对于中心点p和邻居q，卷积权重是W(θ)，其中θ由p和q的相对位置决定。具体实现时，相对位置被映射到一个高维空间，然后通过一个小网络生成卷积核的调制系数。

复现时最容易出错的地方是相对位置的坐标系。有的实现用全局坐标，有的用局部坐标（以中心点为原点）。我两种都试过，结论是：局部坐标明显更稳。用全局坐标时，模型需要额外学习"平移不变性"，训练初期loss震荡很大；换成局部坐标后，收敛快了不少。这个细节论文里往往一笔带过，但对复现成功率影响很大。

另一个坑是邻居数量K的选择。K太小，感受野不够，大物体学不好；K太大，计算量上去不说，还会引入很多远距离的"伪邻居"，反而干扰特征。我的经验是：分类任务K取16-32够用，分割任务建议32-64，检测任务因为需要大感受野，可以到64-128。当然这跟点云密度有关，密度高的时候K可以适当大一些。

3.3 自监督预训练那篇：增强策略比框架更重要

这篇用的是对比学习框架，但真正决定效果的是增强策略。论文里列了旋转、缩放、平移、加噪、随机丢点这几种。我逐一试过，发现旋转和缩放是最有效的，加噪和丢点效果一般，平移几乎没用（因为很多点云网络本身就有平移不变性）。

旋转增强有个细节：旋转角度范围要控制。如果全角度随机旋转，对于某些类别（比如床、沙发）没问题，但对于有明确朝向的类别（比如飞机、汽车），过度旋转会让模型困惑。我的做法是分任务设置：分类任务用全角度，因为分类本身应该对旋转鲁棒；分割和检测任务用小角度（比如±30度），因为这两个任务对朝向敏感。

注意：自监督预训练在小数据集上收益最明显。如果你的下游数据集已经很大（比如上万样本），预训练带来的提升可能只有零点几个点，投入产出比不高。先评估数据规模再决定要不要上预训练。

3.4 部分重叠配准那篇：注意力筛选对应的实操

这篇的核心是一个注意力模块，输入是粗匹配得到的对应点对，输出是每对点的置信度。训练时用真实变换构造监督信号，让模型学会给正确对应打高分。

复现时我发现粗匹配的质量直接决定上限。如果粗匹配阶段就漏掉了大量正确对应，后面的注意力模块再强也救不回来。所以我在流程里加了一步：先用RANSAC做一轮粗筛，把明显错误的对应去掉，再送进注意力模块。这样虽然多了一步，但整体精度和稳定性都更好。

另一个经验是：置信度阈值不要设太高。我一开始把阈值设到0.8，结果正确对应也被滤掉不少，因为模型对某些几何模糊的区域本身就不自信。后来降到0.5，配合RANSAC做最终估计，效果反而更好。这说明注意力模块的输出应该被当作"软权重"来用，而不是硬性筛选。

4. 那一届文章里反复出现的几个"隐藏共识"

4.1 局部特征聚合的方式，比特征本身更重要

翻完这些文章，我有一个很强的感受：大家用的基础特征提取器其实大同小异，无非是MLP加池化，或者轻量卷积。真正拉开差距的是怎么聚合局部特征。

早期做法是max pooling，简单粗暴，但会丢失分布信息。后来有工作用attention pooling，给每个邻居学一个权重。再后来有工作用几何感知的聚合，把相对位置、法向量这些几何量也编码进聚合权重里。这个演进路线说明一件事：点云里"谁和谁在一起"这个结构信息，比单个点的特征值更有区分度。

我在自己的项目里验证过：同样的特征提取器，把max pooling换成带几何编码的attention pooling，分割任务的mIoU能涨3个点左右。代价是计算量增加约20%，但我觉得这个交换是划算的。

4.2 数据增强不是"锦上添花"，而是"雪中送炭"

那届好几篇文章的消融实验都显示：去掉数据增强，性能掉得比去掉某个精心设计的模块还多。这个结论当时对我冲击挺大，因为我以前总觉得数据增强是"标配"，没太当回事。

点云的数据增强有几个特殊之处。第一，点云对旋转很敏感，但很多真实场景里物体朝向是任意的，所以旋转增强几乎是必须的。第二，点云密度不均匀是常态，随机丢点可以模拟这种不均匀性，提升模型鲁棒性。第三，点云没有纹理信息，所以颜色抖动这类2D常用的增强完全用不上，得靠几何变换来补。

我的建议是：做点云项目时，先把增强策略调好，再动模型结构。增强没调好，模型再花哨也白搭。

4.3 评估协议不统一，导致很多"提升"没法直接比较

这是我在整理过程中最头疼的问题。同样是分类任务，有的文章用ModelNet40的官方划分，有的用自己重新划分的版本；同样是分割，有的报mIoU，有的报mAcc，有的两个都报但取不同的epoch。结果就是：你没法直接说A比B好，因为评估条件不一样。

我的做法是：只信那些在标准协议下、且提供了完整消融的实验结果。对于只报了一个数字、没给训练细节的文章，我会打个问号。这不是说那些工作不好，而是说在没法复现验证的情况下，谨慎对待它的结论。

如果你要基于这些文章做选型，我建议先锁定一个标准评估协议（比如ModelNet40官方划分+S3DIS 6折交叉验证），然后只比较在这个协议下报告结果的方法。这样虽然会漏掉一些工作，但比较是公平的。

5. 从ECCV 2020回看：哪些思路活下来了，哪些沉寂了

5.1 活下来的：稀疏卷积、注意力聚合、自监督预训练

稀疏卷积现在是3D检测的标配，几乎主流框架都在用。当年那批工作把稀疏卷积从"能用"推到"好用"，功不可没。

注意力聚合也活下来了，而且越用越广。从最初的局部attention，到后来的transformer架构，本质都是"让模型自己决定关注哪些点"。ECCV 2020 那批工作算是这个趋势的早期推手。

自监督预训练在点云领域虽然还没到2D那种"必用"的程度，但已经有不少工作证明它在小数据场景下有效。随着点云数据集越来越大，预训练的价值可能会进一步显现。

5.2 沉寂的：过度复杂的手工模块、依赖特定数据分布的技巧

有些当年看起来挺巧妙的设计，后来没什么人用了。比如某些手工设计的几何特征编码，在特定数据集上有效，但换一个数据集就崩。这类方法的通病是：归纳偏置太强，泛化性差。

还有一些方法依赖特定的点云分布假设（比如假设点云均匀采样），在真实扫描数据上表现很差。这类工作后来被证明只在合成数据集上好看，实际价值有限。

我的体会是：越少假设、越通用的方法，活得越久。做研究时如果发现自己的方法需要一堆前提条件才能work，就得警惕了。

5.3 对现在做点云的人，那届文章还有什么参考价值

虽然已经过去几年，但ECCV 2020那批文章的方法论框架至今没大变。你现在读它们，主要价值不在具体模块，而在问题定义和实验设计。

比如：怎么定义一个清晰的baseline，怎么做公平的消融，怎么选择评估指标，这些"软技能"那批文章里有很多好例子。我见过不少新入行的同学，模型改得花里胡哨，但实验设计一塌糊涂，结果审稿人一问就露馅。回头看看那批工作是怎么做实验的，比追新模型更有用。

另外，那批文章里对失败案例的分析也值得看。很多文章会专门讨论"我们的方法在什么情况下不work"，这种坦诚在现在的论文里反而少见了。读这些部分，能帮你避开很多坑。

6. 我整理这批文章时用的方法和工具

6.1 怎么高效筛选出值得精读的文章

ECCV 2020 点云相关文章少说也有几十篇，全精读不现实。我的筛选流程是这样的：

第一步，看标题和摘要，把明显不相关的（比如纯2D、纯理论）去掉。第二步，看实验部分的数据集和指标，如果只在合成数据集上跑、没有真实数据验证，优先级降低。第三步，看有没有开源代码，有代码的优先精读，因为可以复现验证。第四步，看引用情况（这个可以事后补），被引高的通常有道理。

经过这四步，大概能从几十篇筛到十篇左右值得精读的。剩下的快速扫方法和结论即可。

6.2 读论文时我关注的几个"非典型"信息

除了方法本身，我会特别关注这几处：

• 训练细节：batch size、学习率、优化器、训练轮数。这些信息决定了你能不能复现。
• 失败案例分析：作者自己承认的局限性，往往比创新点更有信息量。
• 消融实验的设计：看作者怎么控制变量，能判断实验的严谨程度。
• 和baseline的比较是否公平：有没有用同样的训练策略、同样的数据增强。

这些信息在摘要里看不到，得翻到实验部分仔细读。但正是这些细节，决定了这篇文章的方法你能不能真正用起来。

6.3 复现时最容易翻车的三个地方

根据我的经验，复现点云论文翻车最多的地方是：

第一，数据预处理不一致。点云归一化的方式、采样密度、坐标系定义，这些论文里经常不写全，但差一点结果就差很多。我的做法是：先找作者的开源代码，如果没有，就发邮件问，或者去issue区翻。

第二，损失函数的实现细节。比如对比学习里的温度系数、分割里的类别权重，这些超参对结果影响很大，但论文里可能只给一个值，不说怎么调的。

第三，评估时的后处理。有些方法在评估时用了额外的后处理（比如分割里的CRF），但论文里没强调，你以为模型本身就这么强，复现时发现差一截。

提示：复现前先跑通作者提供的预训练模型，确认评估流程没问题，再从头训练。这样能把"流程错误"和"训练问题"分开排查。

7. 给不同阶段读者的阅读建议

如果你刚开始接触点云，我建议先读综述，再读ECCV 2020里的分类文章。分类任务相对简单，适合建立直觉。读完分类再去看分割和检测，会顺很多。

如果你已经在做点云项目，想找具体问题的解法，我建议按任务检索：做配准就重点看配准那几篇，做检测就看检测那几篇。不要按会议年份读，那样效率低。

如果你在写论文，需要找related work，那ECCV 2020这批文章是很好的引用来源，因为它们承上启下——既总结了之前的工作，又开启了后面的方向。引用它们能让你的related work显得有脉络。

最后说一个我自己的习惯：读论文时我会建一个表格，记录每篇的方法核心、数据集、指标、代码链接、我的评价。积累多了之后，这个表格本身就是一份很有价值的个人知识库。ECCV 2020这批文章，我大概记了二十多条，后来做项目时经常翻出来参考。

这个表格的列我是这样设计的：

这个习惯坚持了几年，现在遇到新问题，我第一反应是翻自己的表格，而不是重新搜论文。效率高很多。