Faster R-CNN与YOLOv5飞机目标识别实战：从数据转换到训练推理

简介：对于希望训练飞机目标识别模型的开发者，此压缩包以FasterRCNN与YOLOv5为核心，覆盖数据准备、模型训练与验证全流程，兼顾二阶段检测与单阶段检测两种范式，适合有深度学习基础、想对比算法效果的读者。包内共616个文件，其中220张JPG航空影像与99个XML、197个TXT标注构成可直接使用的数据集；41个PY脚本负责数据增强、格式转换与训练流程，36个YAML文件用于调整模型结构，7个JSON及Dockerfile、Shell脚本支持环境配置与推理部署，整体仅26.36MB。已有808人学习。资源内含可直接运行的训练代码、数据划分与格式转换工具，可输出坐标识别结果，结合图片和标注完成端到端飞机检测训练；同时通过对比两类算法在速度和精度上的表现，帮助读者直观理解候选区域生成与单阶段回归的原理，为迁移到其他遥感目标识别场景提供完整起点。

1. 用 Faster R-CNN 和 YOLOv5 训飞机目标识别：先分清两条技术路线

飞机目标识别这类项目，我拆过不止一次，结论往往和很多人预想的相反：Faster R-CNN 这类二阶段模型识别精度更高、漏检更少，但推理速度让它很难上实时视频流；YOLOv5 这类一阶段模型速度快很多，却需要在训练阶段反复调参才能压住小目标误检。这份项目资源正好把两条路线都摆出来了——用 FasterRCNN 和 yolov5 分别训练飞机目标识别，覆盖了从数据集整理、环境配置到坐标输出的完整链路。对于想跑通算法对比、或者要把检测结果进一步落到坐标识别场景的开发者来说，它能直接减少三到五天的环境调试时间。下面我从算法选型开始拆，最后落到推理和坐标提取的实操上。

2. 算法选型：two-stage 与 one-stage 在飞机场景下的取舍

2.1 Faster R-CNN：RPN 与 Anchor 在飞机检测里的价值

Faster R-CNN 把检测拆成两个阶段，第一阶段用 Region Proposal Network（RPN）在特征图上生成候选区域，第二阶段对候选区域做分类和边框精修。这个流程决定了它在飞机目标上的表现：飞机是刚性目标，轮廓相对规整，背景要么是天空要么是机场跑道，RPN 生成的候选框能把飞机从复杂纹理中剥离出来，分类器再对框内内容做细判，所以误检率和漏检率都低。

但代价也很直接，一张 1024×1024 的图像在 GPU 上推理，Faster R-CNN 通常要跑 100 到 300 毫秒，二阶段里的 RoI 池化和两次边框回归都会吃时间。我在实际项目里一般把它用在离线分析或者对漏检极度敏感的安防场景，比如机场跑道异物检测、卫星影像飞机统计，这类任务不要求实时，但对召回率要求极高。

用 Faster R-CNN 训练飞机数据集时，Anchor 参数是第一个需要手动干预的地方。默认的 Anchor 比例是 0.5、1.0、2.0，对应的是通用目标，但飞机在航拍图里长宽比经常超过 2.5，翼展和机身长度差异大，默认 Anchor 会导致候选框和真实框的 IoU 偏低，RPN 很难学到有效的正样本。训练前要统计训练集中所有标注框的宽高比，把 Anchor 比例改成覆盖 1.5 到 4.0 的区间，面积尺度和特征图的感受野要匹配。

2.2 YOLOv5：单阶段输出坐标与类别概率的实时路径

YOLOv5 走的是另一条路，没有独立的 Proposal 阶段，图像进入网络后直接在一次前向传播里输出每个位置的边界框坐标、置信度和类别概率。它的核心是 Anchor 加网格预测，每个网格单元负责预测多个 Anchor 框的偏移量，配合置信度阈值和 NMS 做后处理。这条路径让 YOLOv5 在同样硬件上能做到 60 到 100 FPS，是 Faster R-CNN 的十倍以上。

飞机目标识别用 YOLOv5，我认为关键在输入分辨率和 Anchor 的匹配关系。如果飞机在图中只占 20×20 像素，同时把输入分辨率从 640 调到 1280，让每个目标占据的像素更多，会比单纯调 Anchor 效果好得多。YOLOv5 提供自动 Anchor 计算功能，它会用 k-means 在训练集上重新聚类得到适合数据集的 Anchor 尺寸，我每次都会用这个功能，而不是直接沿用 COCO 预训练权重自带的 Anchor。

YOLOv5 的后处理也值得细说，NMS 的 IoU 阈值和置信度阈值直接影响飞机检测结果。阈值设得高，能过滤误检，但也会把置信度低的小飞机一起过滤掉；设得低，漏检少了，但虚警会增多。我习惯先从低置信度阈值 0.1 开始看原始检测结果，统计误检分布，再逐步调高，而不是一开始就追求纯净的输出。

2.3 Faster R-CNN 与 YOLOv5 的硬件与精度对比

这张表就是我选型时的判断骨架。实测中同样的飞机数据集，Faster R-CNN 的 mAP 通常会比 YOLOv5s 高出 2 到 5 个百分点，尤其在包含大量小飞机的航拍图上差异会拉开。但换成 YOLOv5x 模型，精度差距会被缩小，速度依然占优。这个项目里两条路线都给了训练入口，目的就是让你在同一份数据上感受这种差异。

3. 把数据集整理成可训练格式：COCO/VOC 与 YOLO 坐标转换

3.1 训练集与验证集的来源：从 COCO 文件到项目目录

项目目录里出现了COCO_val2014_*图像和bus.jpg，这里容易产生一个误解：训练飞机目标识别，用的却是 COCO 验证集图片。COCO 验证集里确实包含少量飞机类别样本，但更像是一个拿来验证模型的基准数据。我的实际做法是，把项目内的 COCO 图片作为外部验证集，单独建目录存放，不参与训练，专门用来测试模型在未见数据上的表现。

bus.jpg是 YOLOv5 官方仓库自带的一张测试图，里面有大巴车，没有飞机，用它做飞机检测测试不会输出有效结果。如果你想快速验证模型推理链路是否正常，可以先用它确认程序不报错，再换成实际的飞机图片看检测效果。很多新手直接把bus.jpg放进数据集训练，结果类别数对不上，训练直接崩溃，这是第一个要避开的坑。

3.2 坐标识别的前提：将 COCO JSON 转成 YOLO 格式

目标识别的核心产物是边界框坐标，但 YOLOv5 要求的是归一化的文本格式：每一行代表一个目标，格式是class_id x_center y_center width height，所有值都是相对图像宽高的比例，范围在 0 到 1 之间。Faster R-CNN 训练用的 torchvision 接口则要求 COCO 格式的 JSON 或 PyTorch 字典。下面这段脚本演示了把 COCO JSON 转成 YOLO 格式的核心逻辑。

import json import os def coco_to_yolo(json_path, img_dir, output_dir, class_map): with open(json_path, 'r') as f: coco_data = json.load(f) # 建立图片 ID 到文件名的映射 img_id_to_file = {} for img_info in coco_data['images']: img_id_to_file[img_info['id']] = img_info['file_name'] # 按图片 ID 收集所有标注框 anns_by_img = {} for ann in coco_data['annotations']: img_id = ann['image_id'] if img_id not in anns_by_img: anns_by_img[img_id] = [] anns_by_img[img_id].append(ann) os.makedirs(output_dir, exist_ok=True) for img_id, anns in anns_by_img.items(): file_name = img_id_to_file[img_id] img_h = [x['height'] for x in coco_data['images'] if x['id'] == img_id][0] img_w = [x['width'] for x in coco_data['images'] if x['id'] == img_id][0] label_path = os.path.join(output_dir, os.path.splitext(file_name)[0] + '.txt') with open(label_path, 'w') as out_f: for ann in anns: cat_id = ann['category_id'] if cat_id not in class_map: continue # COCO 的 bbox 是 [x, y, width, height] x, y, w, h = ann['bbox'] # 转成 YOLO 需要的中心点坐标格式 x_center = (x + w / 2) / img_w y_center = (y + h / 2) / img_h w_norm = w / img_w h_norm = h / img_h out_f.write(f"{class_map[cat_id]} {x_center:.6f} {y_center:.6f} {w_norm:.6f} {h_norm:.6f}\n") # class_map 举例：假设只保留飞机类别，COCO 里 airplane 的类别 id 是 5 # class_map = {5: 0}

这段脚本的关键在于 COCO 使用左上角坐标加宽高的表示法，YOLO 使用中心点加宽高的表示法，不清除这一点就会得到偏出目标一半位置的错误框。class_map用来完成类别 id 的重映射，原始 COCO 有 80 个类别，但我们的任务只需要飞机一个类，如果不重映射，模型会试图学习 80 个输出类别，和数据集标注对不上。

3.3 数据划分与场景采样

飞机数据集和通用目标数据集有一个显著差异：场景单一。如果所有训练图片都来自同一种拍摄角度或同一个机场，模型很容易过拟合到背景上。划分训练集和测试集时，不要随机划分，要按拍摄场景分层抽样。

我的习惯是首先保证训练集里包含高空俯拍、低空斜拍和卫星影像三种视角，每种视角的比例大致控制在 6：3：1。验证集只从每种视角中抽少量代表图片，确保验证时能看到不同视角的表现。其次，训练集里的小目标比例如果低于 10%，模型基本学不到小飞机特征，我一般会把小目标样本复制加权，或者用 Mosaic 增强让它们和背景混叠。

数据增强也不是越多越好。YOLOv5 默认开启 HSV 色彩增强，但飞机数据集里天空背景占了大面积，过度的色相抖动会把蓝天变成奇怪的紫色，模型被迫去学习颜色无关的特征。训练飞机目标时我会把hsv_h从默认的 0.015 降到 0.005，保留少量增强防止过拟合，又不破坏天空色彩的一致性。

4. 训练环境搭建与超参数配置：从 Dockerfile 到命令行

4.1 用 Dockerfile 固化训练环境

项目目录里直接出现了 Dockerfile，这是把环境固化的最直接方式。目标识别训练的复制成本高，模型依赖、CUDA 版本、Python 包版本任何一个不一致，训练结果都可能和原始作者对不上。用 Dockerfile 可以保证环境一致，下面是一个针对 YOLOv5 训练的 Dockerfile 示例。

# 使用 PyTorch 官方镜像，CUDA 11.7 对应 pytorch 2.0 FROM pytorch/pytorch:2.0.0-cuda11.7-cudnn8-runtime # 安装系统级依赖 RUN apt-get update && apt-get install -y git vim libgl1-mesa-glx \ && rm -rf /var/lib/apt/lists/* # 安装 YOLOv5 需要的 Python 依赖 RUN pip install opencv-python==4.8.1.78 \ pyyaml tqdm matplotlib seaborn \ pandas requests thop --no-cache-dir # 设置工作目录并克隆仓库 WORKDIR /workspace RUN git clone https://github.com/ultralytics/yolov5 # 挂载点：训练数据和权重放在这里 VOLUME ["/workspace/datasets"]

这个 Dockerfile 里的libgl1-mesa-glx是 OpenCV 读取图片时的底层依赖，漏掉它训练时经常会报找不到libGL.so.1的错误，新手经常在这个地方翻车。PyTorch 官方镜像自带 CUDA 和 cuDNN，比逐项安装省事。如果你的 GPU 驱动版本较老，无法运行 CUDA 11.7，就要把基础镜像换成pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime，这个兼容范围更宽。

不用 Docker 的话，用 conda 创建环境也完全可以，核心依赖项保持跟 Dockerfile 一致即可。我一般在 Docker 里跑训练镜像，conda 环境留给推理和二次开发用，两边独立不容易互相污染。

4.2 YOLOv5 训练自己的数据集：官方脚本与数据 YAML

做好格式转换后，训练 YOLOv5 需要准备一个数据配置文件。不要直接改 COCO 的 YAML，而是新建一个aircraft.yaml，指向你自己的数据集路径。

# aircraft.yaml # 训练集和验证集的图片路径，可以是绝对路径或相对路径 train: /workspace/datasets/aircraft/train/images val: /workspace/datasets/aircraft/val/images # 类别数量 nc: 1 # 类别名称，顺序必须和标注文件里的 class_id 对应 names: ['airplane']

训练启动命令我一般写成：

python train.py \ --data aircraft.yaml \ --weights yolov5s.pt \ --img 1280 \ --batch-size 8 \ --epochs 200 \ --cache \ --project aircraft_results \ --name exp01

这里--img 1280是特意选的，航拍图和普通街拍图不一样，飞机目标占比通常较小，把输入分辨率从默认的 640 提升到 1280 能显著改善小目标召回率，代价是显存翻倍。如果显卡显存只有 8G，batch-size 必须降到 8 甚至 4，配合--cache把图片预加载到内存，能加快每一轮的读取速度。--weights yolov5s.pt会用 COCO 预训练权重做迁移学习，相比从头训练能省下三分之一的训练时间，而且收敛更稳定。

训练过程中的输出重点看val/box_loss和val/cls_loss曲线，这两条线如果在验证集上持续走低到平稳，说明模型在收敛。监控到第 50 轮时如果val/mAP@0.5没有超过 0.3，大概率是数据格式或 Anchor 出了问题，可以先停掉训练去检查标注文件。

4.3 Faster R-CNN 训练：用 torchvision 快速起步

Faster R-CNN 的训练复杂度比 YOLOv5 高一个量级，需要自己写数据加载器和训练循环。用 torchvision 的预训练模型做迁移学习是最快的路径，它提供了完整的 Faster R-CNN 实现，只需要替换 BoxHead 的类别数。

import torchvision from torchvision.models.detection import FasterRCNN from torchvision.models.detection.rpn import AnchorGenerator # 加载预训练的骨干网络 backbone = torchvision.models.mobilenet_v3_large(pretrained=True).features backbone.out_channels = 960 # 定义适合飞机长宽比的 Anchor 生成器 anchor_generator = AnchorGenerator( sizes=((16, 32, 64, 128),), aspect_ratios=((1.5, 2.0, 3.0, 4.0),) ) # 构建 Faster R-CNN 模型，num_classes 包含背景类 model = FasterRCNN( backbone, num_classes=2, # 背景 + 飞机 rpn_anchor_generator=anchor_generator )

这段代码里的aspect_ratios是我根据飞机目标长宽比统计后填进去的，和 YOLOv5 自动聚类 Anchor 的效果类似。torchvision 的 FasterRCNN 默认用的是 RPN 加 FPN 的组合，如果你希望效果更强，可以直接使用最高级的fasterrcnn_resnet50_fpn_v2，但显存占用会明显上升。训练时学习率从 0.005 起步，每 5 个 epoch 衰减一次，500 张图片的飞机数据集，50 到 80 个 epoch 基本能收敛。跑通一版 Faster R-CNN 后再对比同一个验证集上的 mAP 和 YOLOv5 的差距，是这套项目最有价值的实验。

5. 避坑指南：飞机目标识别训练中的六个翻车点

5.1 现象：训练 loss 降到 0.05，但测试 mAP=0

模型训练时 loss 很低，验证和测试时却一个目标都检测不到，这是目标识别项目里最常见的翻车场景。原因通常出在数据加载环节而不是模型本身，最常见的是类别 id 错位：COCO 中飞机是类别 id 5，如果直接在class_map里把 id 写成了 0，模型实际的监督信号全是错的。另一种可能时训练集和验证集的标注框格式不一致，训练用 YOLO 归一化格式，验证却用了绝对像素坐标。

解决方法是先做数据回读验证，写一段脚本读回训练集的.txt标注文件，在原图上画出框，肉眼确认每一个框都贴住飞机目标，再做训练。我每次跑新数据集前都强制走一遍这个检查，花十分钟能省一天排错时间。

5.2 现象：小目标飞机漏检严重

航拍图中飞机目标可能只有 20×20 像素，即便训练收敛，推理时这些目标还是会被遗漏。原因是输入分辨率不足，模型的特征图下采样步长导致小目标信息丢失。

解决的优先级顺序是：先把输入分辨率从 640 提升到 1280，再开启 YOLOv5 的 TTA（Test Time Augmentation），最后才考虑换更大的模型。TTA 会让推理速度变慢接近一倍，但在小目标居多且不要求实时的场景下，收益明显。我之前在一个 3000 张图的测试集上对比过，分辨率提升加 TTA 可以让小目标召回率从 0.38 提升到 0.62。

5.3 现象：验证集坐标偏移一个身位

检测框整体往左上或右下偏移，位置不对齐。这个现象基本可以断定是坐标转换时中心点和左上角坐标搞混了。COCO 的bbox字段是[x_min, y_min, width, height]，转成 YOLO 格式时要先计算中心点x_center = x_min + width/2，如果直接套用了原来的x_min，整个框会偏移半个身位。另一个常见位置是转换时忘了除图像宽度和高度，输出了绝对像素坐标，训练时模型完全无法收敛。

解法没有捷径，只能把转换脚本里的每一步都打出来人工核对，我通常会在每 100 张训练图上随机挑 5 张画框验证，确认无误后再进入训练环节。

5.4 现象：Docker 内训练速度比本机慢 30%

Docker 容器训练速度明显下降，首先检查是不是没有用 GPU 资源启动容器。docker run时忘了加--gpus all参数，容器就会退回 CPU 运算，速度差距当然巨大。还有一种可能性是容器内没有安装和宿主机匹配的 CUDA 驱动，虽然依赖装的是 CUDA 11.7，但实际运行在 CPU 上。

解决方法是先用docker run --gpus all启动容器，然后在容器内运行python -c "import torch; print(torch.cuda.is_available())"，确认输出为True。如果为False，检查启动命令和 NVIDIA Container Toolkit 是否安装。

5.5 现象：预训练权重与类别数不匹配

直接加载官方yolov5s.pt训练只有一个类的数据集时，模型能跑通，但加载的模型头部的输出层维度是 80 类加背景，与我们的nc=1不匹配。YOLOv5 内部会自动裁剪预训练权重中分类层的部分，但决定权在nc参数，如果aircraft.yaml里nc写成了 80，就会保留很大一个分类头，导致模型参数冗余，训练变慢且容易过拟合。

正确做法是明确nc=1，同时让names和类别 id 一一对应。如果从零开始训练不想用预训练权重，--weights参数可以指定为--weights ''，但收敛速度如果不介意倒是还行，实测会慢一倍以上。

5.6 现象：COCO val 图片推理结果为空

用项目自带的 COCO 验证集图片做推理时，一张飞机都检测不到。这通常不是模型问题，而是这些图片里的目标本身非常小，超过了模型当前输入分辨率能感知的极限。COCO val 图多数为 640×480 到 1024×768，飞机和常见比赛用图不同，要么只有一两架飞机，要么在画面中极小。

解决方法是先挑一张包含清晰飞机的图片做测试，比如从训练集里取一张标注框最大图，确认推理链路没问题，再做批量验证。如果项目里的 COCO 图片中飞机果然很小，把推理输入分辨率提高到 1280 再看，一般就能出结果。

6. 推理验证与坐标导出：把检测结果变成可用数据

6.1 使用项目内的 COCO 图片快速验证模型

训练完成后，第一步不是批量跑测试集，而是用一套固定的图片做回归验证。我从项目目录里选 3 张 COCO 图片建立了一个验证脚本，每次模型更新后都跑一遍，避免改了一版参数后旧的目标检测不出来了。

# 用 YOLOv5 做单张图片推理测试 import torch # custom 参数指定训练好的权重文件 model = torch.hub.load('ultralytics/yolov5', 'custom', path='aircraft_results/exp01/weights/best.pt', force_reload=True) model.conf = 0.15 # 初期调低阈值，观察全部潜在目标 model.iou = 0.45 # NMS 的 IoU 阈值 results = model('COCO_val2014_000000475710.jpg') results.show() # 输出检测结果表格 df = results.pandas().xyxy[0] print(df)

model.conf = 0.15这一步很关键，验证时把置信度阈值设得很低，就是为了不漏看任何可能的检测输出。如果框特别多，说明模型误检严重；如果框没有，说明模型没学到这个尺度的目标。先看结果再调阈值，比直接拿默认值 0.25 盲跑要高效得多。

6.2 目标中心坐标与实际经纬度/像素坐标的换算

检测模型给出的xyxy是像素坐标，落地到具体应用场景时，坐标识别更关注目标中心点。中心点换算不复杂：xc = (x1 + x2) / 2，yc = (y1 + y2) / 2，再除以图片宽高就得到归一化坐标。如果你有图像的投影参数，可以继续把像素坐标投到经纬度上，但那是另一个坐标系变换的子话题了。

实测项目中，我一般把归一化中心坐标存成 JSON，留给后续的跟踪模块或地理信息系统使用。值得提醒的是，检测框的精度受到标注框质量影响，如果训练时的标注框本身就偏差两三个像素，中心点也会有同样偏移，所以在标注阶段就要留意框边贴住机翼边缘。

6.3 批量推理导出 CSV：从模型输出到业务数据

把整张测试集跑一遍并导出 CSV，是模型交付给业务方的标准动作。

import torch import pandas as pd model = torch.hub.load('ultralytics/yolov5', 'custom', path='aircraft_results/exp01/weights/best.pt') model.conf = 0.25 model.iou = 0.5 # 假设 test_images 是已准备好的测试图路径列表 import glob image_paths = glob.glob('test_images/*.jpg') rows = [] for path in image_paths: results = model(path) df = results.pandas().xyxy[0] img_name = path.split('/')[-1] for _, row in df.iterrows(): x_center = (row['xmin'] + row['xmax']) / 2 y_center = (row['ymin'] + row['ymax']) / 2 rows.append({ 'image': img_name, 'x_center': round(x_center, 2), 'y_center': round(y_center, 2), 'w': round(row['xmax'] - row['xmin'], 2), 'h': round(row['ymax'] - row['ymin'], 2), 'conf': round(row['confidence'], 4), }) output_df = pd.DataFrame(rows) output_df.to_csv('aircraft_detections.csv', index=False)

这段代码把每张图的检测框、置信度、中心点坐标全部落盘为 CSV，在飞机定点计数和目标筛选场景下可以直接交给下游使用。批量推理时如果图片数量大，建议加torch.cuda.synchronize()做 GPU 同步，避免上一张图的推理还没完成就读取输出导致数据错位。

把项目资料完整跑一遍后，我的习惯是每次新数据集进来，都强制走一遍数据回读画框、预训练权重裁剪检查、低阈值推理探索这三个步骤，再把 Docket 训练和本地推理的环境分开维护。这套流程看着绕路，实际能帮你提前滤掉八成以上的训练翻车点。希望帮到你。

本文还有配套的精品资源，点击获取