零基础入门：使用星图AI算力平台训练PETRV2-BEV模型-育师

零基础入门：使用星图AI算力平台训练PETRV2-BEV模型

在自动驾驶技术快速发展的今天，BEV（鸟瞰图）感知模型已经成为环境理解的核心技术之一。PETRV2作为先进的纯视觉BEV检测模型，能够仅凭摄像头数据就实现精准的3D目标检测。但对于很多初学者来说，如何从零开始训练这样一个模型仍然是个挑战。

本文将带你一步步在星图AI算力平台上完成PETRV2-BEV模型的训练全过程，即使你没有任何深度学习基础，也能跟着教程轻松上手。我们会从环境准备开始，一直到模型训练和效果评估，每个步骤都有详细的说明和代码示例。

1. 环境准备与依赖安装

1.1 进入预配置环境

星图AI算力平台已经为我们准备好了所需的环境，只需要一行命令就能进入：

conda activate paddle3d_env

这个环境包含了PaddlePaddle深度学习框架、Paddle3D 3D感知库以及所有必要的依赖项，无需自己手动安装各种复杂的库。

1.2 下载预训练模型权重

为了加速训练过程，我们使用官方提供的预训练模型作为起点：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

这个预训练模型是在大规模数据集上训练过的，已经有了不错的基础能力，我们只需要在特定数据上进行微调即可。

1.3 准备训练数据

我们使用NuScenes数据集的mini版本进行训练，这个数据集大小适中，适合初学者快速实验：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

下载完成后，数据会自动解压到指定目录。NuScenes数据集包含了丰富的自动驾驶场景数据，有6个摄像头的图像和对应的3D标注信息。

2. 模型训练全流程

2.1 数据预处理

在开始训练前，需要先对数据进行处理，生成模型需要的格式：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

这个过程会生成训练和验证所需的标注文件，告诉模型每张图片对应哪些3D标注信息。

2.2 测试初始性能

我们先测试一下预训练模型在mini数据集上的表现：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

测试结果会显示模型对不同类别物体的检测精度：

mAP: 0.2669 NDS: 0.2878 Per-class results: Object Class AP car 0.446 truck 0.381 bus 0.407 trailer 0.000 construction_vehicle 0.000 pedestrian 0.378 motorcycle 0.356 bicycle 0.063 traffic_cone 0.637 barrier 0.000

可以看到，模型对常见车辆和行人检测不错，但对一些稀有类别（如trailer、construction_vehicle）的检测效果很差，这就是我们需要通过训练来解决的问题。

2.3 开始模型训练

现在开始正式训练模型：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

这里有几个重要参数需要了解：

epochs 100：总共训练100轮
batch_size 2：每次训练用2个样本（根据显卡内存调整）
learning_rate 1e-4：学习率，控制模型参数更新幅度
save_interval 5：每5轮保存一次模型
do_eval：训练过程中同时进行验证评估

训练过程会在终端显示损失值下降情况，让你实时了解模型学习进度。

2.4 可视化训练过程

星图平台提供了VisualDL工具，可以直观地查看训练过程：

visualdl --logdir ./output/ --host 0.0.0.0

要通过本地浏览器查看，需要设置端口转发：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

然后在浏览器打开http://localhost:8888，就能看到实时的损失曲线、准确率变化等信息，非常直观。

3. 模型导出与应用

3.1 导出部署模型

训练完成后，我们需要将模型导出为部署格式：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出的模型可以用于推理部署，速度比训练时快很多。

3.2 运行演示程序

最后，我们可以运行演示程序看看模型的实际效果：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

这个演示会显示模型对测试图像的检测结果，包括3D边界框和置信度，让你直观地了解模型性能。

4. 处理类别不平衡问题

在训练过程中，你可能会发现模型对某些类别检测效果不好，这是因为数据集中不同类别的样本数量差异很大。比如"car"很多，但"trailer"很少。

4.1 问题识别

从之前的测试结果可以看到，有些类别的AP（平均精度）为0，这就是典型的类别不平衡问题。模型没有看到足够的样本，学不会如何检测这些稀有物体。

4.2 解决方案

有几种方法可以改善这个问题：

数据增强：对稀有类别的样本进行复制和变换，增加它们的数量
损失函数调整：使用Focal Loss等专门针对类别不平衡设计的损失函数
重采样：在训练时更多地采样稀有类别的样本

这些方法可以在配置文件中进行设置，让模型更好地学习所有类别。

5. 进阶：在XTREME1数据集上训练

如果你想要挑战更复杂的数据集，可以尝试XTREME1数据集：

5.1 数据准备

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

5.2 训练命令

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

XTREME1数据集包含更多挑战性场景，如恶劣天气、复杂交通情况等，训练出来的模型会更加鲁棒。