1. 为什么把前馈几何当外挂，是SLAM系统里最别扭的设计
做视觉SLAM的人大概都有过这种体验：系统里明明已经有一个能端到端输出深度和点云的3D基础模型，推理速度也不慢，但真正要把它塞进SLAM框架时，却只能把它当成一个"外挂模块"——前端跑一遍模型拿到几何先验，后端优化器再把这堆先验当成固定输入去用。两边各干各的，中间靠一层薄薄的数据接口粘起来。
这种架构在工程上能跑通，但用久了就会发现问题。前馈模型输出的几何是"一次性"的，它不知道当前帧的位姿估计有多准，也不知道后端优化器正在往哪个方向收敛。反过来，优化器也没法告诉模型"你这一块深度估计得不太对，能不能重新算一下"。两边信息不流通，导致的结果就是：模型给的好先验被浪费，模型给的坏先验没法纠正，整个系统的上限被这个接口卡死了。
F²SLAM这篇工作要解决的就是这件事。它的核心思路很直接：与其把前馈几何当成一个黑盒外挂，不如把它的输出直接写进SLAM的优化目标函数里，让几何先验和位姿估计在同一个优化框架里互相约束、一起收敛。关键词里的"Feed-Forward几何"指的是那些用神经网络一次性前向推理就能得到深度、法向、点图的模型，"SLAM优化器"则是传统意义上做Bundle Adjustment或者位姿图优化的那一套。F²SLAM做的事情，就是把这两者在数学层面焊在一起。
这篇文章适合谁看？如果你正在做SLAM系统集成，手里有现成的3D基础模型想用起来，或者你在研究如何把学习到的几何先验更优雅地融入传统优化框架，那这篇的内容会对你有直接帮助。我会从架构设计的动机讲起，拆解F²SLAM到底怎么把前馈几何写进优化器，然后聊实操中会遇到哪些坑，最后给一些可以复现的思路。
2. 前馈几何与SLAM优化器之间的"接口税"到底交在哪
2.1 传统松耦合架构的信息损失链条
先把这个"外挂"模式的问题说透。假设你有一个前馈深度估计模型，输入一张RGB图，输出一张深度图。在松耦合架构里，典型流程是这样的：前端每来一帧，先跑模型得到深度图，然后把深度图转成点云或者深度残差项，塞进后端的优化问题里当约束。后端优化器解完之后，输出位姿和地图点，流程结束。
这条链路里至少有三处信息损失。第一处，模型输出的深度图是像素级的，但优化器需要的是三维点或者深度观测，这个转换过程会丢掉模型本身的不确定性信息——模型对哪些像素的深度估计有信心，对哪些没信心，转换之后全没了。第二处，优化器解出来的位姿不会反馈给模型，模型下一帧还是按自己的方式推理，不会因为"上一帧位姿估计得不太好"而调整自己的输出。第三处，也是最要命的，模型输出的几何和优化器维护的地图之间没有一致性约束，模型说这个点深度是2米，地图里这个点可能已经被优化到2.3米了，两者矛盾时只能靠人工设权重来调和。
我见过不少项目就是卡在权重调参上。深度先验的权重设大了，模型一犯错整个系统跟着飘；设小了，先验等于没用。本质上就是因为两边没有在同一个优化问题里联合建模，只能靠外部权重来硬凑。
2.2 紧耦合要解决的核心矛盾
F²SLAM的紧耦合思路，用一句话概括就是：把前馈模型输出的几何量，直接作为优化变量或者优化目标的一部分，而不是作为外部输入。
这里的关键区别在于"优化变量"和"外部输入"这两个词。外部输入是常量，优化器不能改它；优化变量是未知量，优化器可以调它。F²SLAM把前馈几何放在了一个中间位置——它既是模型输出的先验，又允许优化器在一定范围内调整它，调整的幅度由模型本身的不确定性来决定。
这个设计的好处是，当优化器发现几何先验和视觉观测矛盾时，它不需要在"信模型"和"信观测"之间二选一，而是可以同时调整位姿、地图点和几何先验，找到一个让所有约束都尽量满足的折中解。这比松耦合里靠权重硬调要优雅得多，也更接近问题本身的物理含义。
2.3 为什么是"Feed-Forward"而不是"迭代优化"
有人可能会问，既然要联合优化，为什么不干脆用一个迭代式的深度估计网络，让它和SLAM交替优化？答案在于计算效率。迭代式方法每优化一轮就要跑一次网络，SLAM本身又要迭代很多轮，两者嵌套起来计算量爆炸。前馈模型的好处是一次推理就能给出几何先验，虽然精度可能不如迭代方法，但速度快、可微分、容易嵌入优化框架。
F²SLAM的选择是：用前馈模型提供初始几何和不确定性估计，然后在优化过程中让这个先验"软化"，允许优化器根据视觉观测对它进行修正。这样既保留了前馈模型的效率优势，又通过联合优化弥补了它精度上的不足。
3. F²SLAM把几何先验写进优化目标的具体做法
3.1 优化变量的重新定义
传统SLAM的优化变量通常是相机位姿和地图点坐标。F²SLAM在这个基础上增加了第三类变量：前馈几何参数。具体来说，如果前馈模型输出的是每像素深度，那这些深度值在F²SLAM里不是常量，而是带有先验分布的随机变量。优化器要同时估计位姿、地图点和这些深度值。
这个改动听起来简单，但实现起来需要解决几个问题。首先是变量维度爆炸——一张640x480的深度图有30多万个像素，如果每个像素深度都作为独立变量，优化问题的规模会大到没法解。F²SLAM的做法是对深度图做降采样或者参数化，比如用低阶多项式或者稀疏控制点来表示深度场，把变量维度压到可接受的范围内。
其次是先验分布的建模。前馈模型通常只能输出深度值，不一定输出不确定性。F²SLAM需要额外估计每个深度值的置信度，这个置信度决定了优化器在多大程度上允许调整这个深度值。置信度高的地方，优化器尽量不动；置信度低的地方，优化器可以大幅修正。
3.2 联合优化目标函数的构造
F²SLAM的目标函数由三部分组成：视觉重投影误差、几何先验误差、以及正则项。
视觉重投影误差是传统SLAM就有的，衡量地图点投影到图像上的位置和实际观测位置的差异。几何先验误差是F²SLAM新增的，衡量优化中的深度值和前馈模型输出的深度值之间的差异，但这个差异不是简单的欧氏距离，而是用模型的不确定性加权的马氏距离。正则项用来防止优化过程中几何先验被过度修正，保证解不会偏离先验太远。
用数学语言说，如果记前馈模型输出的深度为$d_{ff}$，其不确定性为$\sigma_{ff}$，优化中的深度变量为$d$，那几何先验误差项大致是$\frac{(d - d_{ff})^2}{\sigma_{ff}^2}$。这个项在优化中的作用相当于一根弹簧，把$d$往$d_{ff}$的方向拉，拉的力度由$\sigma_{ff}$决定。$\sigma_{ff}$小的地方弹簧硬，$d$很难偏离$d_{ff}$；$\sigma_{ff}$大的地方弹簧软，$d$可以自由调整。
3.3 可微分性与梯度回传
F²SLAM能端到端优化的前提是整个目标函数对优化变量可微分。视觉重投影误差对位姿和地图点的导数传统SLAM里已经推得很成熟了，几何先验误差对深度变量的导数也很直接。真正麻烦的是前馈模型本身的可微分性——如果模型输出深度时用了不可微的操作，比如argmax或者硬阈值，梯度就传不回去。
F²SLAM在实现上要求前馈模型是端到端可微的，或者至少输出深度的那部分是可微的。这一点在选模型时就要注意。现在主流的单目深度估计模型基本都是可微的，但有些模型在后处理阶段会做不可微的滤波或者优化，这些操作需要被替换成可微的近似。
提示：如果你打算复现F²SLAM，第一步就是检查你手里的前馈模型是否端到端可微。一个简单的测试方法是：对输入图像做一个微小扰动，看输出深度是否连续变化。如果输出有跳变，说明中间有不可微操作。
4. 实操中绕不开的四个工程问题
4.1 不确定性估计从哪来
F²SLAM的联合优化依赖前馈模型输出的不确定性，但大多数现成的深度估计模型只输出深度值，不输出不确定性。这是复现时第一个要解决的问题。
常见的做法有三种。第一种是让模型同时输出均值和方差，训练时用高斯似然作为损失函数。这种做法需要重新训练模型，成本较高。第二种是用蒙特卡洛 dropout，在推理时多次前向传播，用输出的方差作为不确定性估计。这种做法不需要重新训练，但推理时间会成倍增加。第三种是用启发式方法估计不确定性，比如用深度图的局部梯度或者边缘强度来近似——边缘处的深度通常更不可靠，不确定性设大一些。
F²SLAM论文里用的是第一种方法，但如果你只是想快速验证思路，第三种方法也能凑合用。我自己试过用局部梯度来估计不确定性，效果虽然不如学习出来的方差，但在纹理丰富的场景里已经够用了。
4.2 优化问题的规模控制
前面提到，如果把每个像素的深度都作为优化变量，问题规模会爆炸。F²SLAM的解决方案是参数化深度场，但具体怎么参数化有讲究。
一种做法是把深度图分成固定大小的块，每块用一个深度值表示，块内像素共享这个深度。这种做法简单，但在深度不连续的地方会产生明显的块状伪影。另一种做法是用稀疏控制点加插值，控制点选在深度变化剧烈的地方，平坦区域少放控制点。这种做法更灵活，但控制点的选取需要额外计算。
我在实验中发现，对于室内场景，块大小取16x16像素是个不错的折中。再小的话变量太多，优化慢；再大的话深度细节丢失严重。室外场景因为深度范围大，块可以取大一些，32x32甚至64x64都可以。
4.3 优化器的选择与收敛性
F²SLAM的联合优化问题是非凸的，而且变量维度高，对优化器的选择很敏感。传统SLAM常用的Levenberg-Marquardt在高维问题上容易陷入局部最优，而且每次迭代要解一个大规模线性系统，计算量大。
F²SLAM论文里用的是交替优化策略：先固定几何先验优化位姿和地图点，再固定位姿和地图点优化几何先验，交替进行。这种做法把一个大问题拆成两个小问题，每个子问题都更容易解，而且可以利用现有的SLAM优化库。缺点是收敛速度可能比联合优化慢，但实际用下来差别不大。
注意：交替优化时，两个子问题的优化顺序会影响最终结果。我的经验是先从位姿和地图点开始优化，因为视觉观测的约束通常比几何先验更强。等位姿大致收敛了，再引入几何先验做精细调整。
4.4 与现有SLAM框架的集成
如果你已经有一个跑通的SLAM系统，想把F²SLAM的思路集成进去，最需要改的是后端优化部分。前端可以基本不动，只需要额外跑一个前馈模型来提供几何先验。
集成的关键接口是目标函数。你需要把几何先验误差项加到现有的目标函数里，同时把深度变量加到优化变量里。如果现有框架用的是g2o或者Ceres这类通用优化库，加新变量和新误差项都不难，照着库的文档写就行。如果用的是自己手写的优化器，那可能需要改的地方多一些。
还有一个容易忽略的点是坐标系对齐。前馈模型输出的深度是在相机坐标系下的，而SLAM优化器里的地图点是在世界坐标系下的。两者之间的转换需要用到当前位姿估计，而位姿估计本身又在优化中，这就形成了一个循环依赖。F²SLAM的处理方式是在每次交替优化的开始，用当前位姿把几何先验转换到世界坐标系，然后固定这个转换关系优化一轮，下一轮再更新。
5. 这套思路能走多远：适用边界与失效场景
5.1 前馈模型精度决定系统上限
F²SLAM的联合优化能修正几何先验，但修正能力有上限。如果前馈模型输出的深度系统性偏差很大，比如把所有深度都估成了实际值的一半，那优化器再怎么调也救不回来，因为先验误差项会把深度变量往错误的方向拉。
实测下来，前馈模型在训练集分布内的场景里表现通常不错，但一旦遇到分布外场景，比如训练时没见过的新型传感器或者极端光照，精度会断崖式下降。这时候F²SLAM的表现也会跟着下降，而且因为几何先验的权重不低，下降幅度可能比纯视觉SLAM还大。
一个实用的判断方法是：在跑F²SLAM之前，先单独测一下前馈模型在你目标场景上的深度精度。如果相对误差超过20%，那F²SLAM大概率帮不上忙，不如老老实实用传统方法。
5.2 动态场景下的挑战
F²SLAM的优化目标假设场景是静态的，几何先验在整个优化过程中保持不变。但在动态场景里，比如有行人走动的街道，前馈模型输出的深度图里包含了动态物体的深度，这些深度和静态背景的深度混在一起，优化器没法区分。
传统SLAM处理动态场景通常用RANSAC或者鲁棒核函数来剔除动态特征点。F²SLAM也可以沿用这些方法，但需要额外注意：几何先验误差项也要加鲁棒核函数，否则动态物体的深度先验会污染整个优化问题。我在实验里试过用Huber核函数处理几何先验误差，对轻度动态场景有效，但动态物体占比超过30%时效果就有限了。
5.3 计算资源的实际消耗
F²SLAM比传统SLAM多了一个前馈模型的推理开销，以及联合优化的额外计算。前馈模型的推理时间取决于模型大小和硬件，轻量级模型在嵌入式GPU上可以做到实时，大模型就需要桌面级GPU了。联合优化的额外计算主要来自几何先验误差项的构造和求导，这部分开销和深度图的参数化方式有关，参数化得越稀疏开销越小。
整体来说，F²SLAM的计算量大约是传统SLAM的1.5到3倍，具体取决于前馈模型的大小和优化问题的规模。如果你的应用场景对实时性要求很高，比如无人机避障，那可能需要用轻量级前馈模型加上稀疏参数化来压计算量。
6. 从复现到改进：几个可以动手的方向
6.1 最小复现路径
如果你想快速验证F²SLAM的核心思路，不需要一上来就搭完整系统。一个最小复现路径是：找一个现成的单目SLAM系统，比如ORB-SLAM的简化版，再找一个轻量级深度估计模型，比如MobileNet backbone的版本。把深度估计模型的输出降采样成稀疏深度点，加到SLAM的优化目标里作为软约束。
这个最小系统跑通之后，你会对F²SLAM的核心机制有直观感受：几何先验怎么影响位姿估计，不确定性权重怎么调，优化收敛性怎么样。这些感受是看论文得不到的。
6.2 不确定性建模的改进空间
F²SLAM用的不确定性估计方法还有改进空间。论文里用的是各向同性的高斯分布，即每个深度值的不确定性是一个标量。但实际上，深度不确定性在不同方向上可能不一样，比如沿边缘方向的不确定性通常比垂直边缘方向大。用各向异性的高斯分布或者更复杂的分布来建模，理论上能更准确地描述先验。
这个方向已经有后续工作在做了，核心难点在于各向异性分布的参数估计和优化求解都比各向同性复杂。如果你对概率建模比较熟，这是个值得挖的方向。
6.3 多模态前馈模型的接入
F²SLAM目前主要考虑的是单目深度估计模型。但现在有很多多模态的3D基础模型，比如同时输出深度、法向、语义的模型。把这些多模态输出都接入优化框架，让它们互相约束，理论上能进一步提升系统鲁棒性。
比如法向信息可以用来约束深度图的局部平滑性，语义信息可以用来区分动态和静态区域。这些约束怎么加到优化目标里，权重怎么设，都是开放问题。我在实验里试过把法向约束加进去，在纹理缺失的区域确实有帮助，但在纹理丰富的区域反而引入了噪声，因为法向估计本身在纹理丰富处就不太准。
6.4 在线自适应权重的可能性
F²SLAM的几何先验权重目前是离线设定的，或者由模型的不确定性决定。但在实际运行中，场景在变化，前馈模型的精度也在变化，固定的权重很难一直最优。一个自然的想法是在线估计权重，根据当前帧的视觉观测和前馈先验的一致性来动态调整。
这个想法实现起来有几个难点。首先是在线估计需要额外的计算，可能抵消掉F²SLAM的效率优势。其次是权重的变化会影响优化的收敛性，如果权重变化太剧烈，优化可能震荡。我试过用简单的滑动窗口来平滑权重变化，效果还可以，但窗口大小的选择又成了新问题。
7. 我在实际折腾中攒下的几条经验
第一条经验是关于前馈模型的选择。不要盲目追求大模型，大模型精度高但推理慢，而且大模型的输出往往更"自信"，不确定性估计偏小，导致优化器不敢修正它的错误。有时候一个中等大小的模型，配合合理的不确定性估计，效果反而更好。
第二条经验是关于优化顺序。前面提到先优化位姿再优化几何，这个顺序不是绝对的。在纹理丰富的场景里，视觉观测很强，先优化位姿没问题。但在纹理缺失的场景里，视觉观测本身就不靠谱，这时候应该先优化几何先验，用先验来引导位姿估计。判断场景纹理丰富程度可以用图像梯度或者特征点数量，这些指标在SLAM前端本来就有。
第三条经验是关于失败检测。F²SLAM在正常工作时表现很好，但一旦前馈模型失效或者优化发散，系统可能悄无声息地给出错误结果。我习惯在系统里加一个简单的失败检测：监控几何先验误差项和视觉重投影误差项的比例，如果这个比例突然变大，说明两边矛盾严重，系统可能出问题了。这时候可以降级到纯视觉SLAM，或者触发重定位。
第四条经验是关于参数调试。F²SLAM有几个关键参数：深度场的参数化粒度、不确定性估计的方法、优化器的迭代次数、鲁棒核函数的阈值。这些参数没有一套通用的最优值，需要根据场景调。我的建议是先在几个典型场景上做网格搜索，找到大致范围，然后在实际运行中根据失败检测的信号做在线微调。
最后说一个我踩过的坑。一开始我以为几何先验误差项加得越多越好，就把所有像素的深度都作为约束加进去。结果优化问题规模爆炸，而且因为很多像素的深度先验本身就不准，反而把优化带偏了。后来改成只加高置信度的深度先验，低置信度的直接丢掉，效果反而更好。这个教训是：先验不是越多越好，质量比数量重要。
