遥感影像反演建筑高度

建筑高度信息在多个领域具有重要应用价值，如城市局部气候[2,3]、建筑能耗评估[4,5]、城市污染扩散[6,7]、城市碳排放评估[8,9]、地震感知[10]以及城市三维重建[11].因此，在大范围内进行建筑高度提取对于全面理解城市开发至关重要。

遥感技术是建筑高度提取中最常用的方法。通常，建筑高度通过三种方法提取：

• 机载光探测与测距（LiDAR）、
• 侧视雷达图像和
• 高分辨率光学图像。

机载激光雷达实现高精度测量[12]。这些算法通过点云分类算法提取建筑物及其高度[13,14]，或利用数字地图上的建筑足迹在三维空间中重建建筑[15]。然而，机载激光雷达在覆盖范围上存在限制和高昂成本。利用侧视雷达图像的算法通常需要从数字地图或其他来源获得建筑足迹[16,17,18,19]。然而，由于侧向几何结构，雷达图像通常记录的是多种微波散射机制的混合信号，导致建筑高度提取的不确定性相对较高[20]。

相比之下，光学卫星影像采集效率高，空间细节丰富，因此广泛应用于建筑高度提取。对于单张光学卫星图像，通常采用基于阴影的方法来提取建筑高度。该方法利用太阳、卫星、建筑屋顶和影像中阴影之间的关系来提取建筑高度 [21,22,23,24,25]。然而，基于阴影的方法在建筑物矮小或阴影被其他物体遮挡时，在建筑高度提取时面临困难[26]。

传统逐像素密集匹配（SGM）算出来的 DSM，建筑边缘是 “斜坡虚化” 的，平顶、弱纹理屋顶的高程普遍偏低不准。它的思路很直接 ——放弃逐像素匹配，把整栋楼的屋顶轮廓当成一个整体来匹配，直接钉死屋顶顶面的精准高程，从根源解决边缘失真问题。

• 传统方法：每个像素高度都不准，平均之后误差依然存在；
• 这个方法：屋顶高程是整体匹配出来的精准值，地面高程是滤波后的稳定值，两者做差就是单栋楼的精准高度，不受边缘虚化像素的干扰。

传统的提取城市建筑高度的方法包括利用对立体图像进行密集匹配算法生成数字表面模型（DSM）。然而，对于城市建筑，密集匹配算法面临的不连续性问题，使得高层建筑及周边地区的立面高度不准确。绿带中树木造成的遮挡使得准确提取建筑周围的地面高程变得困难。为解决这些问题，提出了一种通过轮廓匹配增强的高分7（GF-7）立体图像构建高度提取方法。首先，提出了一种轮廓匹配算法，以从GF-7图像中提取建筑屋顶的准确高度。其次，DSM采用了地面过滤算法生成数字高程模型（DEM），并可从该DEM中提取地面高程。屋顶高度与地面高度的差值代表建筑高度。

经典多视角立体匹配建筑高度反演论文

1. 轮廓匹配增强的高分七号立体影像建筑高度提取

论文：Urban Building Height Extraction from Gaofen-7 Stereo Satellite Images Enhanced by Contour Matching发表：Remote Sensing (SCI), 2024作者：Yunfan Cui 等（武汉大学）

核心方法

针对传统密集匹配在建筑边缘视差不连续、高程失真的问题，提出轮廓匹配优化的立体测高方案：

1. 设计专属轮廓匹配算法，直接在 GF-7 前后视立体影像中匹配建筑屋顶轮廓线，精准获取屋顶顶面高程；

2. 采用布料模拟滤波（CSF）对初始 DSM 进行地面点滤波，生成高精度 DEM；

3. 屋顶高程减去对应地面高程，得到单栋建筑的精准高度。

创新与精度

• 解决了密集匹配在高层建筑边缘、遮挡区域的高程平滑失真问题；

• 在广州英德、西安两地验证，高度精度优于传统 SGM 方法，中误差控制在米级以内，适配我国国产高分七号卫星数据。

2. 基于 GF-7 线阵立体影像的建筑高度 VLL 匹配法

论文：Building Height Extraction Based on Satellite GF-7 High-Resolution Stereo Image发表：ISPRS Annals, 2024

核心方法

基于 GF-7 卫星前视 / 后视 CCD 线阵立体成像几何，采用物方空间投影匹配（VLL）思路：

1. 在后视影像上人工 / 自动提取建筑屋顶轮廓；

2. 设定高程搜索区间与步长，通过 RFM 有理函数模型将后视轮廓逐高程投影到前视影像；

3. 以 PSNR 作为窗口相似度指标，相似度最高的高程即为屋顶高程，最终计算建筑高度。

精度表现

在高分辨率场景下，建筑高度估计误差可控制在 3 米以内，适合小范围高精度建筑高度提取。

3. 卫星多视角立体匹配基准方法 S2P

论文：An automatic and modular pipeline for stereo reconstruction from satellite images发表：ISPRS Journal of Photogrammetry and Remote Sensing, 2014作者：De Franchis 等

核心方法

经典的卫星多视立体重建流水线，是后续深度学习方法的基准对比对象：

1. 基于 RPC 模型完成核线校正与影像重采样；

2. 采用半全局匹配（SGM）计算视差图，生成初始 DSM；

3. 通过多视角融合与三角测量优化高程精度，输出大尺度数字表面模型。

学术价值

奠定了卫星多视角立体三维重建的标准流程，是 MVS3D 等基准数据集的核心基线方法。

三、深度学习多视角卫星影像建筑高度反演核心论文

1. MVSR3D：端到端多视角语义三维重建框架

论文：MVSR3D: An End-to-End Framework for Semantic 3-D Reconstruction Using Multiview Satellite Imagery发表：IEEE Transactions on Geoscience and Remote Sensing (TGRS, 顶刊), 2025作者：Xuejun Huang 等（武汉大学）

核心方法

首个实现多视角卫星影像下语义分割与高度估计端到端联合训练的框架：

1. 双流架构：

   • 分割分支：基于 SAM 改进的 MVSAM 模块，引入核线交叉注意力（ECA），沿核线方向融合多视角特征，提升建筑分割的跨视角一致性；

   • 高度分支：基于经典 MVS 架构，构建代价体并正则化回归高程。

2. 跨任务交互机制：

   • SAM 特征引导模块（SAM-FG）：用建筑语义特征约束高度估计的空间范围，减少非建筑区域的高程噪声；

   • 高程引导稀疏提示生成器（EGSPG）：用高度梯度信息优化建筑边缘分割精度。

性能表现

在 DFC19、SpaceNet4 数据集上，2.5m 阈值的 mIoU3 指标比传统多任务方法提升 37%~45%，同时提升建筑分割与高度反演精度。

2. SP-MVS：结构保持的边缘感知高度估计网络

论文：A Structure-Preserving Multiview Stereo Network for Edge-Aware Height Estimation From Satellite Images发表：TGRS, 2025

核心方法

针对建筑边缘高度模糊、轮廓平滑的通病，提出结构保持的 MVS 网络：

1. 三分支结构编码器，结合 U-Net 骨干与卷积块注意力模块，提取多尺度纹理与边缘特征；

2. 引入 Mamba 驱动的代价体正则化模块，以低计算量建模长程跨视角依赖，优化大场景高度图的全局一致性；

3. 设计多阶段边缘 - 纹理一致性损失，监督网络在建筑轮廓处保持高程突变，避免边缘虚化。

创新价值

首次将 Mamba 架构引入卫星 MVS 的代价体正则化，同时解决了高层建筑边缘精度退化问题，在 WHU-TLC、US3D 数据集上达到 SOTA 水平。

3. TS-SatMVSNet：坡度感知的大尺度地形多视角立体网络

论文：TS-SatMVSNet: Slope Aware Height Estimation for Large-Scale Earth Terrain Multi-view Stereo发表：arXiv, 2025

核心方法

面向大尺度卫星影像地形与建筑混合场景的高度估计：

1. 采用由粗到精的多尺度代价体构建策略，降低大场景计算开销；

2. 引入坡度感知模块，针对山地、斜坡等地形修正深度估计偏差，提升复杂地形下的建筑高度基准面精度；

3. 在 MVS3D 基准数据集上达到 SOTA：1.0m 阈值完整度 60.635%，高程中误差 0.353m，RMSE 2.898m。

4. A-SATMVSNet：注意力感知的卫星多视角立体匹配网络

论文：An attention-aware multi-view stereo matching network based on satellite imagery发表：FES_A, 2023代码开源：https://github.com/MVSer/A-SATMVSNet

核心方法

1. 基于有理多项式相机（RPC）模型构建卫星影像的投影几何，适配卫星大斜视成像特性；

2. 引入注意力机制增强多尺度特征提取，强化建筑等显著目标的特征匹配能力；

3. 采用从粗到精的深度预测范式，逐步优化高度图分辨率与精度。

5. Sat-DN：深度与法向监督的多视角卫星隐式曲面重建

论文：Sat-DN: Implicit Surface Reconstruction from Multi-View Satellite Images with Depth and Normal Supervision发表：arXiv, 2025

核心方法

将 NeRF 隐式建模思路引入卫星多视角三维重建：

1. 基于 RPC 模型建模光线投射过程，采用多分辨率哈希网格编码空间位置，通过 MLP 预测 SDF 与颜色；

2. 用预训练深度模型预测相对深度，结合卫星影像三角测量得到的稀疏点云，标定真实尺度的稠密深度监督；

3. 从深度图提取边缘信息，对非边缘区域施加平面平滑约束，提升建筑顶面的高程平整度。

四、视觉语言三维形态感知与建筑高度融合前沿论文

该方向对应 “视觉语言三维形态感知” 的研究主题，是当前遥感三维领域的新兴前沿，核心是利用视觉语言大模型（VLM）的语义理解、常识推理与零样本泛化能力，辅助建筑三维形态感知与高度反演。

1. Geo3DVQA：面向航空影像三维地理空间推理的 VLM 基准

论文：Geo3DVQA: Evaluating Vision-Language Models for 3D Geospatial Reasoning from Aerial Imagery发表：WACV 2026 (计算机视觉顶会)

核心方法与贡献

1. 构建首个面向遥感影像的三维视觉语言问答基准，包含 11 万组问答对，覆盖 16 类任务，包含高程推理、天际线分析、建筑高度比较等三维形态感知任务；

2. 任务分为三个难度层级：单特征推理、多特征联合推理、应用级空间分析；

3. 系统评测 10 个主流 VLM：GPT-4o 准确率仅 28.6%，Gemini-2.5-Flash 为 33.0%，而领域微调后的 Qwen2.5-VL-7B 达到 49.6%，证明通用 VLM 在遥感三维推理上存在显著短板，领域适配是关键路径。

研究价值

定义了 “视觉语言 + 遥感三维形态感知” 的任务范式，验证了 VLM 具备从单 / 多视角影像中推理建筑相对高度、三维空间关系的潜力，是后续高度反演可解释化、零样本化的基础。

2. MultiSight：面向多视角遥感影像的协同理解视觉语言模型

论文：MultiSight: A Vision-Language Model for Collaborative Understanding of Multiview Remote Sensing Images发表：IEEE, 2026

核心方法

专门针对多视角遥感影像设计的 VLM 架构，可支撑多视角下的建筑三维形态与高度推理：

1. 自适应多图像 - 文本编码融合模块，同时输入多个视角的卫星影像与任务文本提示；

2. 多视角注意力模块，捕捉不同视角影像的特征关联，建模同一建筑在不同视角下的几何一致性；

3. 可支持建筑高度估算、三维结构描述、遮挡区域补全等下游任务，实现跨视角的协同语义与几何推理。

3. Sat2RealCity：几何感知的卫星影像三维城市生成框架

论文：Sat2RealCity: Geometry-Aware and Appearance-Controllable 3D Urban Generation from Satellite Imagery发表：arXiv, 2025

核心方法

融合 MLLM 多模态大模型与三维生成技术，实现从卫星影像到带高度信息的三维城市模型生成：

1. OSM 空间先验策略，从空间拓扑到建筑实例引导三维几何生成，提供结构约束；

2. MLLM 驱动的语义引导生成管线，桥接卫星影像的语义理解与几何重建；

3. 外观引导可控建模机制，实现精细纹理与建筑高度的联合生成，输出的三维建筑模型包含精准高度属性。

4. SAM 3D 遥感建筑三维重建基准评测

论文：SAM 3D for 3D Object Reconstruction from Remote Sensing Images发表：arXiv, 2025

核心方法

系统评测通用三维基础模型 SAM 3D 在遥感单 / 多视角建筑重建中的表现：

1. 提出 “分割 - 重建 - 拼接” 管线，先用 SAM 分割出单栋建筑，再用 SAM 3D 逐建筑重建三维形态，最后拼接成城市场景；

2. 实验证明通用三维基础模型在遥感顶视场景下，屋顶几何一致性优于传统方法，但立面细节仍有不足；

3. 验证了 “通用视觉大模型 + 遥感领域适配” 的技术路线可行性，是视觉语言三维感知落地的重要路径。

5. 零样本 LiDAR 建筑检测与高度推理

论文：Zero-Shot Detection of Buildings in Mobile LiDAR using Language Vision Model发表：ISPRS Archives, 2024

核心方法

将视觉语言模型的零样本能力引入三维点云建筑高度分析：

1. 通过球面投影将三维 LiDAR 点云转换为二维全景图，衔接 2D VLM；

2. 利用 Grounded SAM 实现零样本建筑检测，结合点云高程直接计算建筑高度；

3. 无需领域训练数据即可实现建筑检测与高度估算，精度达到 IoU 0.85，为少样本 / 零样本卫星建筑高度反演提供了参考范式。

五、单目与多源融合代表性补充论文

以下方法虽以单目或多源数据为主，但核心思想可直接迁移至多视角场景，具有重要参考价值。

1. GeoFormer：Sentinel 影像建筑高度与轮廓联合估计

论文：GeoFormer: A Swin Transformer-Based Framework for Scene-Level Building Height and Footprint Estimation from Sentinel Imagery发表：arXiv, 2026

核心方法

• 基于 Swin Transformer 的多任务框架，仅用 Sentinel-1/2 公开影像与开源 DEM，同步输出 100m 网格的建筑高度与建筑占地率；

• 采用地理块划分策略保证训练测试空间独立性，避免数据泄露；

• 在全球 54 个城市验证，建筑高度 RMSE 3.19m，跨洲迁移仍保持 3.5m 精度，是大尺度高度反演的 SOTA 方案。

2. 免训练的建筑相对高度估计方法

论文：A training-free method for estimating the relative height of buildings发表：ISPRS Archives, 2025作者：武汉大学团队

核心方法

完全无需标注训练，直接利用通用深度大模型实现建筑高度估计：

1. 采用 Depth Anything V2 作为通用相对深度估计基础模型，分块处理大尺寸卫星影像；

2. 提出高度加权图优化算法，通过 Levenberg-Marquardt 优化拼接各块深度，保持空间连续性；

3. 设计视角偏差滤波器，结合形态学得到的地形 DEM，将相对深度转换为绝对建筑高度。

性能表现

在武汉 0.5m 分辨率 Google 卫星影像上验证，建筑高度 R² 达到 0.73，显著优于同期监督学习方法，解决了标注数据匮乏地区的高度反演难题。

3. BiMamba3D：单幅遥感影像建筑提取与高度估计交叉任务网络

论文：Cross-Task Mamba Network for Building Extraction and Height Estimation from Single-View Remote Sensing Images发表：ISPRS Archives, 2025

核心方法

• 基于 MambaVision 骨干的双任务网络，同步完成建筑语义分割与像素级高度估计；

• 设计跨任务信息交互模块（CMM）：分割的边界信息引导高度估计的边缘优化，高度梯度信息辅助分割的实例分离；

• Mamba 架构有效捕捉建筑全局结构，提升高层建筑的高度估计稳定性。

六、核心方法深度解析

1. 多视角卫星影像高度反演的几何基础

1. 成像模型：卫星遥感普遍采用有理函数模型（RFM/RPC）替代严格成像几何，通过有理多项式描述物方坐标与像方坐标的映射关系；

2. 视差与高程转换：同一建筑在不同视角影像上的像素位置差称为视差，结合 RPC 模型与基线参数，可通过前方交会计算物方三维坐标，得到屋顶绝对高程；

3. 建筑高度计算：建筑高度 = 屋顶高程 - 对应地面高程，地面高程通过 DEM 获取，DEM 可来自公开数据（如 SRTM、AW3D30）或从 DSM 滤波得到。

2. 传统立体匹配技术路线

• 核心步骤：核线校正 → 代价计算 → 代价聚合（如 SGM） → 视差优化 → 高程反演 → DSM 生成 → 地形滤波 → nDSM（建筑高度）；

• 核心瓶颈：弱纹理屋顶匹配困难、高层建筑边缘视差不连续、遮挡区域出现匹配空洞，精度依赖影像分辨率与基线角度。

3. 深度学习 MVS 技术路线

1. 特征提取：用 CNN/Transformer 提取多视角影像的多尺度深度特征；

2. 代价体构建：根据相机参数将不同视角的特征投影到参考视角的视差平面，构建三维代价体；

3. 代价正则化：通过 3D 卷积、Transformer 或 Mamba 对代价体进行平滑优化，消除匹配噪声；

4. 深度回归：沿深度维度计算期望，得到稠密深度 / 高度图；

5. 后处理：结合语义分割掩码提取建筑区域，减去 DEM 得到最终建筑高度。

4. 视觉语言三维形态感知技术路线

1. 语义先验注入：用 VLM 识别建筑类型、结构特征，为高度估计提供常识约束（如居民楼层高约 3m）；

2. 多视角协同推理：输入多个视角影像，通过 VLM 的多图理解能力推断遮挡区域的建筑形态，补全高度信息；

3. 可解释性输出：不仅输出高度数值，还能生成高度推理的自然语言描述，支撑决策分析；

4. 零样本 / 少样本适配：借助通用大模型的泛化能力，在缺少标注数据的区域快速迁移部署。

七、研究趋势与展望

1. 通用大模型与遥感三维深度融合：从 “专用网络” 向 “基础模型 + 领域微调” 转型，视觉语言大模型将成为三维形态感知的核心语义引擎；

2. 多模态多视角一体化：光学、SAR、LiDAR 多源数据与多视角几何深度融合，实现全天候、全场景的高精度建筑高度反演；

3. 从像素级高度到结构化三维建模：高度估计不再停留于二维高度图，而是直接输出 LoD2 级结构化建筑三维模型，包含屋顶结构、立面信息；

4. 大尺度全球覆盖：基于公开卫星数据与基础模型，实现全球范围的建筑高度标准化制图，支撑城市可持续发展与气候变化研究。