SAR建筑物旋转目标检测：YOLOv8改造与工程实践

做了一段时间SAR影像建筑物识别，最深的感触是：光学图那套现成思路直接搬到SAR上，往往在最开始就埋下隐患。当时一个城市建筑物动态监测项目需要从高分SAR影像里提取所有建筑位置，我们想当然用YOLOv8跑，结果密集旧城区里漏检一片，沿着道路排列且朝向任意的高楼更是一锅粥。原因其实不复杂：SAR成像原理决定了目标特征和自然场景完全不同，而建筑物又普遍不是水平长边，单靠水平框根本无法贴合。这篇文章我就把从模型改造、数据工程到部署落地的完整过程拆开，重点讲SAR图像识别里的建筑物旋转目标检测，以及YOLOv8这条技术路线上我们验证过的可行方案和踩过的坑。如果你也在做遥感目标检测，或者准备把模型推到业务系统里，这篇应该能帮你省下不少试错时间。

1. SAR建筑物检测与光学检测的差异：为什么普通YOLOv8不够用

1.1 SAR成像特性带来的三个麻烦

SAR不是拍照片，它靠雷达主动发射微波并接收地面回波成像。这个原理决定了它的图像和日常见到的光学影像是两套语言。做检测之前，必须先把这三个差异刻进脑子里。

第一个麻烦是斑点噪声。相干成像会产生大量颗粒状的乘性噪声，整幅图看起来像蒙了一层细沙。光学图像里平滑的屋顶、整齐的立面，在SAR里变成灰一块白一块的纹理。普通YOLOv8的Backbone在清晰纹理上提取特征没问题，到了SAR上很容易把噪声当作边缘，或者在噪声干扰下漏掉真正的建筑轮廓。

第二个麻烦是几何畸变。SAR是侧视成像，建筑物面向雷达的一面会产生叠掩效应，也就是屋顶、墙面、地面三者被压缩在一起，形成高亮条带。背向雷达的一面则出现阴影区。一栋楼在影像上是“亮线 + 阴影”的组合，而不是光学图里完整的屋顶面。这也意味着建筑物边缘特征比内部纹理更可靠，检测器必须学会利用强散射亮线和紧邻的阴影区来判断目标边界。

第三个麻烦是朝向任意性。城市里面的建筑并不都是正南正北，大量建筑沿道路方向、河流方向甚至地形走向分布，与雷达飞行方向或者卫星轨道方向的夹角各不相同。不同朝向的建筑在SAR图中的散射特征和视觉形状差异很大，有些角反射结构特别亮，有些呈长条状，有些只留下不规则色块。

1.2 水平框在密集建筑场景里的尴尬局面

YOLOv8默认输出的是水平矩形框，用中心点、宽度、高度来表达目标位置。对车辆、行人这类大致“站着”的目标，水平框问题不大。可建筑物是平面目标，倾斜角度可以任意变化，水平框一旦套在斜着的建筑上，就会出现两个致命问题。

第一是误检区域大。斜楼套水平框，框里既有建筑本身，也包含了旁边街道、绿地、其他建筑的边角。多个目标离得近时，水平框重叠非常严重。比如一排沿街建筑，每个都是斜的，它们的水平包围框两两之间IoU可以达到0.5甚至更高。后处理做NMS时，这些框会互相抑制，导致漏检。第二是评估指标失真。用水平框度量检测精度，mAP看着还行，但人眼一看就知道框没贴合建筑，属于“预测对了位置，框错了形状”。

我们一开始在某个项目里用普通YOLOv8在几十张SAR影像上做了初步测试。单独建筑检测的印象是漏检不算多，真正的问题是框和建筑重叠率低，而且密集区一栋楼常常被合并成两个框或者干脆被过滤掉。那时候就意识到，SAR建筑物检测如果不做旋转框，后面的一切优化都是在错误的方向上修修补补。

2. 旋转检测技术选型：框架、模块与表示方法

2.1 旋转框怎么表示：从四点法到角度法的选择

既然要做旋转目标检测，第一个要决定的就是旋转框用什么参数表达。目前主流方案大致有三种。

第一种是角度法，也是我们最后采用的：用中心坐标、长边半宽、短边半宽加上一个旋转角，本质上就是水平框再加一个theta。表示简单，推理输出维度少，后处理方便。但角度法有个老生常谈的问题——边界周期性，这个下一章细说。

第二种是四顶点法，记录顺时针排列的四个角点坐标。这种方法可以表达任意四边形，对建筑这类近似矩形的目标足够用，兼容性也好。缺点是多输出8个回归值，且标注顺序一旦不统一，训练时网络很难学。尤其当标注人员随手点四个点时，同一个目标在不同样本里点的顺序不一样，损失函数直接乱套。

第三种是长边表示法，也叫OBB五点法。用长边和短边的两个中点定义方向，配合短边宽度来表达。这种方法避免了角度周期性问题，训练稳定性好，但输出复杂度比角度法高一些，而且对“长边到底是哪条边”有强约束。

选择上我给一个比较保守的建议：如果是第一次做旋转建筑物检测，直接用角度法，中心点加宽高加theta。原因很简单——标注规则容易定、损失函数资料多、部署时好解释。代价是后面要处理角度周期性问题，但这个问题解法已经比较成熟，不必为了回避它而上更复杂的表示法。

2.2 基于YOLOv8改造时的关键模块取舍

选定了旋转框表示，接下来就是网络结构怎么改。YOLOv8本来就是CNN结构的检测器，标题里的“基于CNN的YOLOv8”指的就是这件事。它自带的C2f模块、SPPF结构和PAN特征融合在自然图像上表现稳定，在SAR影像上也能用，但有几个地方要做针对性调整。

第一是输出头。YOLOv8原本每个位置预测水平框的四个值，改成旋转框后，回归分支要输出五个值或者对四边形输出八个值。分类分支、置信度分支基本不动。如果你用的是开源YOLOv8实现，这一步改动比较直接，只需要改最后一层卷积的输出通道数和解码逻辑。

第二是Backbone是否替换。SAR图像特征和自然图像差异大，直接从ImageNet预训练权重初始化不是不行，但很可能导致浅层卷积学到的都是自然图像边缘纹理，对SAR的斑点噪声适应性差。我们测试过两个方案：一个是保持ImageNet预训练权重直接训练，另一个是先用雷达数据做一个简单的自监督预训练，再接入检测头。后者收敛明显更快，最终mAP也高一些。如果时间紧张，至少可以在训练前用大量无标注SAR影像做一轮对比学习。

第三是注意力机制加不加。SAR建筑检测本质上是强边缘弱纹理任务，我们试过在PAN结构的输出层前加一个简单的通道注意力模块，目的是让网络更关注散射亮线特征、抑制斑点噪声。这个改动带来的提升不算夸张，但稳定有一两个点，而且不增加多少推理延迟。团队内部一致认为值得保留。

第四是anchor设置。YOLOv8是anchor-free的，这反而简化了旋转检测的适配。anchor-free意味着不需要根据目标角度预定义旋转anchor，网络直接在特征图上回归旋转框参数，减少了一堆超参数。我们没有再加旋转anchor，效果完全够用。

3. 数据工程：标注、切图、增广与噪声抑制

3.1 把已有标注统一成旋转框格式

很多人以为模型效果不好是结构问题，实际项目里最大的坑往往在数据。SAR建筑物检测的数据准备，第一个要解决的是标注格式统一。

我们手上有一部分旧数据是水平框标注的，比如GIS图层里的房屋范围或者以前检测项目留下的外包矩形。这些数据不能直接用于旋转检测训练，必须让标注人员重新画旋转四边形。这里有一条经验值得反复强调：一定要把四边形四个点的顺序统一固定为顺时针，并且从长边开始。道理很简单——四顶点法或者角度法都依赖点序，点序乱一次，损失函数就崩一次。

如果旧数据只有水平框，而你又不想完全重新标注，可以用外接约束的方式辅助：先让算法生成水平框内的建筑轮廓候选，再用人工微调变成旋转框。虽然流程复杂一点，但比从零标注快得多。标注工具体感上尽量选择能显示SAR原图、能手动旋转矩形框的工具，直接画四点多边形在密集建筑区太痛苦。

另外要控制类别粒度。我们最初把目标分成“大型公建”“高层住宅”“低矮建筑”三类，训完之后发现模型在低矮建筑和背景之间反复横跳。后来把三类合并成“建筑物”一类，指标立刻回升。SAR影像上建筑类内方差本来就大，类别分得越细，需要的样本量越大，而大部分项目根本没有足够数据支撑细分。

3.2 大图分块策略与数据增广心得

SAR影像一般特别大，直接resize到640×640会丢掉大量小建筑。我们的做法是滑窗裁剪，窗口大小1024×1024，步长512到768，这样相邻窗口有重叠，小目标在多个窗口里出现多次，相当于隐式增广。训练时随机从大图里采块，不一定提前把整幅图切完存储，这样可以省磁盘空间，也能让模型每一轮看到不同区域。

切图有一个隐藏问题：目标贴着窗口边缘被切掉一半，标注框实际上已经不完整了。我们最初的策略是凡是与边缘相交的目标直接丢掉，后来发现这样丢掉了太多沿街建筑，因为建筑本来就可以排成长列。改成更合理的策略后检测召回明显上升：保留那些主体面积在窗口内超过70%的目标，并且对裁剪后的旋转框重新计算顶点坐标。

增广方面我踩过一个大坑。常规目标检测增广常做随机旋转任意角度，但旋转框检测不能直接这么干。如果图像转了37度，角度标签也要跟着转37度，而且角度法里一个框转了37度后角度值可能越过边界，变成完全不同的数值。所以我们需要用旋转框专用的增广策略：90度、180度、270度这种整倍数旋转可以安全同步角度标签，任意角度的旋转要么不做，要么用极其严格的同步逻辑。

SAR特有的增广可以考虑加模拟相干斑噪声。我们尝试过在原图上乘一个服从Gamma分布的噪声图，相当于在线生成带斑点噪声的样本，训练后的模型泛化能力有提升。不过噪声强度要控制，太强会让网络直接学成边缘检测器，太平滑又没用。

4. 训练阶段的核心矛盾：角度回归的周期性与损失函数设计

4.1 角度周期性是怎么把训练带崩的

这一节是整个模型的灵魂，不夸张地说，角度周期性处理不好，旋转检测的收益要打对折。

角度法用theta表示旋转角度，通常定义域是-90度到90度。问题来了：一个接近90度的斜框，角度标签可能是89度；同一形状稍微偏一点，角度标签可能跳到-89度。这两个角度在数值上差了178度，但在真实姿态上只差了2度。网络输出的回归值一旦在边界附近，损失函数就会给出一个巨大的梯度，逼着模型朝错误方向调整。

更麻烦的是长宽交换问题。当物体接近正方形时，旋转框的“长边”和“短边”边界模糊，网络可能输出长边变短边、theta变90度的情况，从语义上讲框是对的，但数值表征完全不同。这种歧义会让训练发散。

损失函数层面有两种主流解法：一种是给角度损失加周期因子，让loss在角度差超过90度时从另一边回绕；另一种是放弃直接回归一个角度值，转成预测角度的sin和cos两个值。在SAR建筑检测场景里，我们实际采用了后者思路，解码时通过atan2还原角度，这样角度周期性问题在表征层面就被规避了一部分。

如果坚持直接回归角度，建议在分类分支上不要用普通的BCE处理角度，而是把角度离散化成多个bin来做分类，再做微调回归。我们试过几个方案，整体排序是：sin/cos双值回归稳定性最好，离散分类加微调次之，直接回归原始角度最差。

4.2 损失函数与NMS的适配细节

旋转框的IoU计算和水平框不同，而且旋转IoU对角度误差非常敏感，几乎不能用普通IoU直接做回归损失。目前工程上比较常用的是把旋转框转换成二维高斯分布，然后计算分布之间的距离作为损失，比如KL散度、Wasserstein距离这类思路。它们的好处是处处可导，梯度比较平滑，正好弥补旋转IoU不可导的问题。

我们在训练里没有只用一种损失，而是组合使用：角度分支和一个主回归损失挂钩，水平分量（中心点、宽高）用常规的IoU相关损失控制，最后给总损失分配不同权重。这么做的好处是让网络在不同维度上各司其职，不至于为了某个角度的微小误差把目标中心位置学歪。

后处理NMS也要重写。水平框NMS直接用坐标算IoU，旋转框则要计算两个任意旋转矩形的交并比。不能图省事去算旋转框的外接水平框IoU，那会让倾斜角度的二个建筑在NMS里互相抑制，退回上一章的老问题。正确的做法是求两个矩形边的交点、角点和互相包含关系，计算真实重叠面积后求IoU。通用实现可以用常见图像处理工具库里的旋转矩形交并比函数，性能也够用。

NMS阈值要专门调。旋转框允许更精确的框间区分，iou_thres可以比水平框设得高一些。我们最终用的是0.45，配合一个额外的角度差判断：两个框中心距离接近、尺寸接近、但角度差异超过25度时，即使部分重叠也不直接抑制。这个规则特别适合沿着道路排成一条线的斜向建筑群。

4.3 训练超参和收敛观察

训练超参大体沿用YOLOv8推荐值，主要调整的是后期学习率策略。初始学习率我们设置在0.001到0.002之间，warmup前三个epoch，参考优化器用带动量的标准配置。旋转检测比水平检测更容易出现局部震荡，建议用EMA指数滑动平均来平滑模型权重，这对最终精度和稳定性帮助很大。

收敛过程要重点关注角度分支loss曲线。如果loss出现周期性尖峰，大概率是边界角度样本在作怪。我们处理过一种情况：训练到第70个epoch时mAP突然掉了5个点，排查后发现是一批新建工地样本的角度标签错误，原先标注工具在用角度法导出时把负角度写成了正角度。数据集里一批旋转框整体翻转，模型直接学崩。所以每次训练前抽检10到20个标注框的可视化结果，比什么调参都重要。

另一个调节点是样本均衡。SAR建筑数据里大部分是小尺寸建筑，大而明显的建筑占比少。我们按建筑最长边划分尺度，对超过一定尺寸的目标做over-sample，保证每个batch里都有几个大目标参与训练。这个操作让模型对大范围工业厂房、体育馆这类目标的召回提升非常明显。

5. 部署落地：把旋转检测模型真正用到业务系统里

5.1 导出与推理引擎选择

模型训练完只是第一步，真正要交付到业务系统里，还有很多工程细节。

推理引擎我们对比过两种主流方案。如果线上环境有NVIDIA显卡，TensorRT是首选。它能把训练好的模型做层融合、内存复用，FP16精度下推理速度能比PyTorch原始模型快3到5倍。如果线上是CPU环境或者跨平台部署，用OpenVINO这类通用推理框架更稳妥。一个经验是，不要一开始就追求极端量化成INT8。旋转检测模型对角度回归精度敏感，INT8量化在SAR强噪场景下可能掉点2到3个mAP，先把FP16跑通，再把输入分辨率优化好，收益更直接。

导出环节有一个坑：训练框架里很多自定义算子，比如角度解码、特定激活函数，推理引擎不一定原生支持。我们的做法是把角度解码和后处理从模型结构里拆出来，模型只在网络内输出五个回归值，剩下的解码全部放到部署代码里用CPU处理。这个拆分在推理阶段几乎不增加耗时，但避免了导出失败和精度不一致。

输入尺寸不需要跟着训练时的窗口大小走。训练窗口1024×1024，推理时也可以直接用这个尺寸，慢一点没关系，准确率要紧。需要固定动态轴时，推理引擎会自动优化到最优内存布局。

5.2 大图切块推理与结果合并

SAR原图通常几千像素见方，全图直接推理不现实，显卡显存也吃不住。部署阶段仍然要走切块推理，但和训练时的随机切块不同，这里用规则滑窗：窗口大小与训练一致，步长选窗口的30%到50%，保证目标不太可能整体落在两块窗的拼接缝里。

窗口推理完成后，所有旋转框要先还原回原图坐标系，再做全局NMS。这一步有个细节：跨窗口重复检测到的同一栋建筑，还原后会有两个几乎一样的旋转框，它们的角度、尺寸高度一致，只是中心坐标略有偏差。在全局NMS里，这类框应该只有一个小偏差，但角度值的边界问题可能导致两个正确结果因为相差179度而不能合并。因此全局NMS的角度差判定要加一个回绕处理：当两个角度差接近180度时，实际朝向差异可能是0度。

重叠窗口越多，计算量越大，NMS上的重复框也越多。我们在生产环境里把步长调到窗口的40%，在漏检率和计算量之间找到了平衡点。如果业务对漏检率要求极低，可以把步长降到25%，代价是推理耗时增加约一倍。

5.3 服务化封装与性能指标

部署接口我建议直接输出GeoJSON格式，每个检测结果包含一个旋转四边形的顶点坐标、类别和置信度。因为业务方通常还要把结果叠到GIS地图上做后续分析，GeoJSON是最通用、最少摩擦的格式。输出之前要把像素坐标转换成地理坐标，这一步依赖影像元数据里的仿射变换参数，是部署里最容易出错的地方。

我们实际封装的接口支持两种调用方式：单张影像同步推理，和批量目录异步任务。单张接口给前端交互用，要求延迟低于800毫秒；批量接口给离线普查用，可以慢慢跑。推理服务在高峰期约能跑到每秒26张1024×1024切片，单张延迟稳定在180到250毫秒，完全满足一般业务需要。

性能优化上，最有性价比的是减少无效窗口。我们在服务端加了一层粗筛：先对512×512缩略图跑一个极简版本模型，只判断当前区域是否有建筑物类的强响应，再决定是否执行完整旋转检测。这个策略让空旷山区、耕地区域的处理时间缩短到原来的1/4，且几乎没有误删有效检出。

6. 实测效果与复盘：哪些做法真正带来了提升

6.1 三组对比实验的结论

整个项目后期我们把几版模型做了对比，结论值得拿出来分享。

可以看出，从水平框换到旋转框，mAP@0.5提升不算巨大，但mAP@0.75提升非常明显。这说明模型其实早就找到了建筑位置，只是之前的框不贴边，精度高阈值下吃亏。加上注意力机制和雷达数据预训练后，整体指标又上了一个台阶，而推理耗时的增加可以接受。

定性来看，优化后的模型在密集安置房小区、沿街商业建筑、不规则工业厂房三类场景下表现稳定，尤其能处理贴得很紧的建筑群，旋转框之间虽然挨着，但角度各不相同，NMS不会把它们误伤。最头疼的是超低矮临时建筑，SAR影像里它们和空地、碎石的散射强度太接近，模型依然会漏，这类目标也许需要更多时序特征或更高分辨率数据才能解决。

6.2 打算继续优化的方向

这个项目暂时收尾之后，我一直在想后面还能往哪些方向走。多极化数据融合应该是第一个要试的：极化SAR数据里同时包含不同散射机制的信息，建筑物和高大结构在极化特征上与植被、水面有更强区分度，如果能把多通道数据接进网络输入层，特征基础会比单通道强很多。

另一个方向是时序模型。SAR影像建筑检测最大的痛点之一是临时建筑和施工中建筑，单张影像上它们和空地几乎无法区分。但如果前后两期影像做差或者做变化检测，施工建筑会产生明显散射特征变化。把旋转框检测器和时序分析结合起来，可以做“新增建筑”和“疑似违建”的自动监测，这也是我们在业务端真正关心的能力。

还有一个工程向的优化是把旋转NMS后处理放到GPU上。目前全局NMS用CPU处理，在超大图上虽然能用，但偶尔会成为整体耗时的瓶颈。如果能把旋转IoU计算和NMS都写成GPU算子，大图的处理速度还能再快一倍左右。这个优化优先级不高，但对实时性要求更高的项目来说值得考虑。

个人觉得，SAR图像识别领域的旋转目标检测，技术路线已经比较成熟，真正决定项目成败的是对数据、标注规范和部署细节的把控。把一篇模型论文跑通不难，难的是让它在业务数据上持续稳定地工作，在这方面，扎实的数据工程总是比冒着风险追求更花哨的网络结构更划算。