另外要特别说明一点：PanoFormer 和 PanoSwin 其实并不在同一个任务上直接竞争——前者主攻「全景深度估计 + 语义分割」，后者主攻「全景目标检测 + 图像分类 + 房间布局估计」。所以对比它们的意义不在于“谁分数更高”，而在于两条不同的“全景 Transformer 改造路线”各自怎么解决 ERP 的三大难题（畸变、非均匀采样、边界不连续）。
一、基本信息与定位对比
| 维度 | PanoFormer | PanoSwin |
|---|---|---|
| 发表 | ECCV 2022 | CVPR 2023 |
| 单位 | 北京交通大学 | 复旦大学 |
| 核心任务 | 单目全景深度估计（MODE），兼做语义分割 | 全景目标检测、图像分类、房间布局估计 |
| 输入/输出 | ERP 全景图 → 同尺寸深度图（密集预测） | ERP 全景图 → 检测框 / 类别 / 房间角点（检测与回归） |
| 基础骨架 | 自研 U-Net + 自研 PST Block | Swin Transformer（直接继承其层级结构） |
| 路线归属 | Distortion-Aware（畸变感知），单分支 ERP 直处理 | Distortion-Aware，单分支 ERP 直处理 |
一句话定位：PanoFormer 是“为全景从零设计一个算子”，PanoSwin 是“把 Swin 的每个零件按全景几何重写一遍”。
二、三大 ERP 难题的解法对照（核心差异）
ERP 的三大难题是：① 极区空间畸变 ② 非均匀采样 ③ 左右/上下边界不连续。两篇论文的应对策略完全不同：
| 难题 | PanoFormer 的做法 | PanoSwin 的做法 |
|---|---|---|
| 极区畸变 | STLM 球面 Token 定位：在球面切平面上取 3×3 邻域，再反投影回 ERP，让采样形状随纬度自动变形（解析几何算出，零参数） | Pitch Attention（俯仰注意力）：让畸变严重的窗口主动去和一个“未畸变”的窗口交互，靠跨窗口信息互补来抵消畸变 |
| 边界不连续 | 未显式处理（STLM 在极区附近仍可能越界，靠网络隐式学习） | Pano-style Shift Windowing：改造 Swin 的移位窗口，把 ERP 左右两侧被切开的相邻区域“拉回同一个窗口”，并处理上下极区的拼接 |
| 位置编码 | 相对位置嵌入：直接用 STLM 反投影得到的 ERP 偏移量作为位置偏置，每像素自适应 | 球面距离 + 笛卡尔坐标双路：绝对位置编码和相对位置偏置都按球面几何重新定义 |
| 长程依赖 | PSA 只在 9 个几何相关点内做注意力，靠多层堆叠传递 | 继承 Swin 的移位窗口机制，跨窗口连接靠窗口移位实现 |
直觉对比：PanoFormer 的思路是“采样跟着畸变走”（算子变形），PanoSwin 的思路是“窗口跟着边界走 + 让畸变区和非畸变区对话”（调度变形）。前者更精细（像素级），后者更工程化（直接嫁接 Swin 生态）。
三、模块级技术细节对比
| 模块 | PanoFormer | PanoSwin |
|---|---|---|
| Token 粒度 | 像素级：一个像素一个 token，不做 patch 下采样，保留密集预测所需的全部细节 | 窗口级：沿用 Swin 的 4×4 Patch Partition + Patch Merging 层级金字塔 |
| 注意力范围 | 每像素仅对9 个球面相关点做注意力（PSA），复杂度 O(9N)，线性 | 窗口内全局注意力 + 移位窗口跨窗交互，复杂度 O(N·w²)，w 为窗口大小 |
| 采样方式 | Token Flow：用 STLM 预计算的偏移场做可微双线性采样（grid_sample），几何精确 | 标准规则网格采样，无几何变形 |
| 前馈网络 | LeFF（局部增强 FFN），补回局部细节 | Swin 标准 FFN（GELU + 线性层） |
| 预训练策略 | 无预训练，端到端从零训练 | 两阶段学习：先在平面图像（ImageNet 等）上预训练，再迁移到全景，利用平面与全景的共享知识 |
| 可迁移性 | 改任务不改结构（深度→分割直接复用） | 作为通用骨干，接不同检测/分类/布局头即可 |
四、各自的优势与短板
PanoFormer 的优势
- 像素级 token 对**密集预测任务（深度、法向量、分割）**天然友好，信息零损失；
- 采样位置由球面公式解析给出，不引入额外可学习参数，不会过拟合小数据集；
- 线性复杂度，能直接吃高分辨率 ERP（如 1024×512）。
PanoFormer 的短板
- 自研骨架，无法享用 ImageNet 预训练权重，小数据场景吃亏；
- 对边界不连续没有显式建模；
- 9 点邻域偏小，超长程依赖要靠很深的网络堆叠。
PanoSwin 的优势
- 直接继承 Swin 的预训练生态与成熟代码库，两阶段迁移让它在数据有限时更稳；
- 移位窗口显式解决左右边界不连续，这是 PanoFormer 没处理的；
- 作为通用骨干，适配检测、分类、布局等多种任务头，工程落地成本低。
PanoSwin 的短板
- 窗口是规则矩形，不能像 STLM 那样随纬度变形，极区仍靠 Pitch Attention 间接补偿；
- Patch 下采样会丢失像素细节，对深度估计这类逐像素回归任务不友好（所以它没做深度）；
- 窗口大小 w 是超参数，需人工调。
五、实验结果（注意：任务不同，不可直接比分数）
PanoFormer（深度估计，Matterport3D）
| 方法 | δ1↑ | RMSE↓ | MAE↓ |
|---|---|---|---|
| UniFuse | 0.8897 | 0.4941 | 0.2814 |
| SliceNet | 0.8716 | — | 0.3296 |
| PanoFormer | 0.9184 | 0.3635 | 0.1013 |
语义分割（Stanford2D3D）：mIoU48.9，mAcc64.5（TangentImg 41.8 / HoHoNet 43.3）。
PanoSwin（检测 / 分类 / 布局）
论文在三个任务上对比了当时 SOTA，结论是“全面优于既有方法”，但具体数值在公开摘要中未完整披露，需看原文表格。其价值在于证明了同一套 PanoSwin 骨干能同时撑起三类异构任务。
六、技术路线演进的真正脉络
与其说 PanoSwin 是 PanoFormer 的“升级版”，不如说它们是同一条主线上的两个分支选择，后续工作也沿这两条路继续分化：
CNN 双分支融合（BiFuse / UniFuse，丢 25% 像素） │ ├──→ PanoFormer (ECCV'22)：像素级 + 解析几何采样 │ │ │ └──→ SGFormer、Distortion-aware Transformer (3DV'22) │ 继续走“几何先验注入注意力”路线 │ └──→ PanoSwin (CVPR'23)：嫁接 Swin + 移位窗口 + 预训练迁移 │ └──→ PanoSwin 后续变体、Swin-based 全景骨干 继续走“改造成熟骨干 + 知识迁移”路线 另外一条并行线： └──→ Cubemap/Spherical 双域融合（GLPanoDepth、S2Net、SphereFusion） 走“多投影协同”路线，2024-2025 年非常活跃选型建议（结合 Insta360 2025 全景综述的结论）：
- 做深度、光流、匹配等几何敏感任务 → 优先考虑 PanoFormer 路线或 Cubemap 双域融合；
- 做检测、分割、分类等语义任务 → 优先考虑 PanoSwin 路线，预训练迁移的收益更大。
