PyTorch实战：交警手势识别8类动作全流程与数据集落地

简介：本资源是一套基于PyTorch实现中国交通警察8种指挥手势识别的完整项目包，面向深度学习入门者、计算机视觉方向学生及智能交通应用开发者，帮助解决手势自动分类与关键点检测的工程落地问题。压缩包共34个文件，以31个Python脚本为核心，覆盖模型定义、训练循环、评估预测与数据预处理流程，另含2个Markdown说明文档和1个演示GIF，整体约4.42MB，目录按训练、模型、数据集处理与测试模块清晰划分。项目围绕卷积神经网络构建手势识别模型，并引入姿态估计与关键点检测思路，配套数据增强、骨架提取、亲和场与高斯热图等预处理脚本，便于理解从原始图像到手势类别的完整链路。已有1345人学习下载，适合希望掌握PyTorch视觉项目结构、复现训练评估流程并借鉴关键点方案的中级开发者参考。

1. 从零复现交警手势识别：8 类动作、PyTorch 全流程与数据集怎么落地

路上遇到交警打手势，老司机都可能愣两秒，更别说让摄像头去认。这个标题要干的事，就是把「中国交通警察指挥手势识别」拆成一套能跑起来的 PyTorch 工程：8 种标准手势、一份可训练的数据集、一个能推理的模型，外加从环境搭建到训练调参的完整步骤。它解决的不是学术 benchmark 刷点，而是「我手头有路口视频或图片，怎么让模型稳定分出停止、直行、左转弯、右转弯、变道、减速、靠边停车、车辆掉头这 8 类动作」。适合两类人：一是想拿它做课程设计或毕设的学生，二是想把交警手势接入边缘设备做辅助提醒的工程师。核心难点不在网络结构，而在数据——手势是时序动作，单帧容易和普通指挥动作混淆，数据集的质量直接决定模型上限。

2. 8 种手势怎么定义、数据集从哪来、PyTorch 环境怎么搭

2.1 先把 8 类手势的边界划清楚

中国交通警察指挥手势有国家标准，常见的是 8 种：停止信号、直行信号、左转弯信号、左转弯待转信号、右转弯信号、变道信号、减速慢行信号、车辆靠边停车信号（不同资料里「车辆掉头」也会被算作一类，具体以你拿到的数据集标签为准）。做识别之前必须做一件事：把每类手势的起止帧定义清楚。比如「左转弯待转」和「左转弯」在单帧上几乎一样，区别在手臂摆动幅度和持续时间。如果数据集只给静态图，模型学到的就是「手臂角度」而不是「动作语义」，上线后遇到不同交警的幅度差异就会翻车。

我一般会先做标签映射表，把数据集里的原始文件夹名或标注文件统一成 0~7 的整数，并写进一个classes.txt。这一步看着简单，但后面训练、推理、可视化全靠它对齐，一旦错位，模型输出全是乱的。

注意：如果你拿到的数据集标签数量和上表不一致，以数据集自带的说明为准，不要硬套。

2.2 数据集来源与预处理：别急着上模型

这类项目的数据集通常有三种来源：一是公开的交警手势图片集，二是从路口监控视频抽帧后人工标注，三是用公开人体姿态数据集做迁移。标题里带了「数据集」，说明作者已经整理好了一份，但你要做的是先验证它能不能用。常见做法是统计每类样本数，如果最多和最少相差超过 5 倍，就要做重采样或数据增强。

预处理分两步。第一步是统一尺寸，我一般把短边缩到 256，再中心裁剪到 224×224，和主流骨干网络对齐。第二步是做归一化，用 ImageNet 的均值和方差就行，因为后面大概率会用预训练权重。

import os from PIL import Image from torch.utils.data import Dataset, DataLoader from torchvision import transforms class TrafficPoliceGestureDataset(Dataset): def __init__(self, root_dir, transform=None): self.samples = [] self.transform = transform # 假设目录结构为 root_dir/类别名/图片.jpg self.classes = sorted(os.listdir(root_dir)) self.class_to_idx = {c: i for i, c in enumerate(self.classes)} for cls in self.classes: cls_dir = os.path.join(root_dir, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): if fname.lower().endswith(('.jpg', '.png', '.jpeg')): self.samples.append((os.path.join(cls_dir, fname), self.class_to_idx[cls])) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label = self.samples[idx] img = Image.open(path).convert('RGB') if self.transform: img = self.transform(img) return img, label train_tf = transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) dataset = TrafficPoliceGestureDataset('data/train', transform=train_tf) loader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)

这段代码的关键点有三个：class_to_idx保证标签顺序固定；RandomHorizontalFlip对左右手手势要慎用，因为左右转弯翻转后语义会变，建议只对不区分左右的手势开启；num_workers在 Windows 上如果报错就改成 0。参数上，batch_size=32是 8GB 显存下的稳妥值，显存小就降到 16 并配合梯度累积。

2.3 PyTorch 环境搭建：版本对应别踩坑

环境这块，热搜里「pytorch安装教程超详细」「anaconda配置pytorch环境」都是高频需求。我的习惯是用 conda 建独立环境，Python 选 3.9 或 3.10，PyTorch 选 2.x 稳定版。CUDA 版本要和驱动匹配，不确定就先装 CPU 版跑通流程，再换 GPU 版。

conda create -n gesture python=3.10 -y conda activate gesture # 以 CUDA 11.8 为例，具体命令以官方安装页为准 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy opencv-python pillow matplotlib tqdm scikit-learn

装完必须验证：

import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else 'CPU only')

如果cuda.is_available()返回 False，先查驱动版本，再查 PyTorch 和 CUDA 是否对应。这一步没有后悔药，版本错了后面训练报的错会非常玄学。

3. 模型选型与训练：从 ResNet 到时序建模的取舍

3.1 骨干网络怎么选：别一上来就 Transformer

8 类手势识别，如果只做单帧分类，ResNet18 或 MobileNetV3 就够用，参数量小、推理快，适合边缘部署。热搜里「transformer模型详解」很火，但在这个任务上，纯 Transformer 需要更多数据才能压住过拟合，除非你有几万张以上的标注图。我的建议是：先用 ResNet18 跑一个 baseline，看验证集准确率和混淆矩阵，再决定要不要换 backbone。

import torch.nn as nn from torchvision import models def build_model(num_classes=8, pretrained=True): model = models.resnet18(weights=models.ResNet18_Weights.DEFAULT if pretrained else None) # 替换最后的全连接层，适配 8 类 in_features = model.fc.in_features model.fc = nn.Sequential( nn.Dropout(0.3), nn.Linear(in_features, num_classes) ) return model model = build_model(8) device = 'cuda' if torch.cuda.is_available() else 'cpu' model = model.to(device)

Dropout(0.3)是为了缓解小数据集过拟合，如果数据量超过 5 万张可以降到 0.1。pretrained=True用 ImageNet 权重，收敛快很多，这是血泪经验：从零训练在小数据上几乎必翻车。

3.2 训练循环与关键参数

训练部分我习惯把学习率、优化器、调度器都显式写出来，方便复现。优化器用 AdamW，学习率 1e-3，权重衰减 1e-4，配合 CosineAnnealingLR。损失函数用交叉熵，如果类别不平衡就加 class weight。

import torch from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR from tqdm import tqdm def train_one_epoch(model, loader, criterion, optimizer, device): model.train() total_loss, correct, total = 0, 0, 0 for imgs, labels in tqdm(loader): imgs, labels = imgs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(imgs) loss = criterion(outputs, labels) loss.backward() optimizer.step() total_loss += loss.item() * imgs.size(0) preds = outputs.argmax(dim=1) correct += (preds == labels).sum().item() total += imgs.size(0) return total_loss / total, correct / total criterion = nn.CrossEntropyLoss() optimizer = AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4) scheduler = CosineAnnealingLR(optimizer, T_max=30) for epoch in range(30): loss, acc = train_one_epoch(model, loader, criterion, optimizer, device) scheduler.step() print(f'Epoch {epoch+1}, loss={loss:.4f}, acc={acc:.4f}')

参数说明：T_max=30表示 30 个 epoch 内学习率从 1e-3 余弦降到接近 0；如果验证集准确率在第 10 个 epoch 就不涨了，把 T_max 调小到 15。batch_size和lr要联动，batch 翻倍时 lr 可以乘 1.5 左右，但别超过 3e-3，否则 loss 会震荡。

3.3 验证与混淆矩阵：看出模型到底错在哪

训练完不能只看准确率，必须看混淆矩阵。8 类手势里，「左转弯」和「左转弯待转」最容易混，「减速慢行」和「变道」也常错。用 sklearn 画一张混淆矩阵，一眼就能定位问题。

from sklearn.metrics import confusion_matrix, classification_report import numpy as np def evaluate(model, loader, device): model.eval() all_preds, all_labels = [], [] with torch.no_grad(): for imgs, labels in loader: imgs = imgs.to(device) outputs = model(imgs) preds = outputs.argmax(dim=1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) print(classification_report(all_labels, all_preds, digits=4)) print(confusion_matrix(all_labels, all_preds)) return np.array(all_preds), np.array(all_labels)

如果某两类互相错得厉害，优先补这两类的数据，而不是调网络。数据层面的问题，模型结构救不回来。

4. 避坑与排查：训练不收敛、显存爆、部署慢的常见原因

4.1 现象：loss 一直不降，准确率卡在 12.5%

原因：8 类随机猜就是 12.5%，说明模型没学到东西。最常见的是标签没对齐，或者图片路径读进来全是同一类。解决：先打印一个 batch 的标签分布，确认每类都有；再检查class_to_idx是否和数据集文件夹顺序一致。如果标签没问题，把学习率降到 1e-4 再试。

4.2 现象：训练几个 epoch 后 loss 变成 nan

原因：学习率太大，或者数据里有损坏图片导致梯度爆炸。解决：加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)，并在 Dataset 里用 try/except 跳过打不开的图片。另外检查归一化参数，如果用了自定义均值方差但算错了，也会 nan。

4.3 现象：CUDA out of memory

原因：batch_size 太大，或者验证时没加torch.no_grad()。解决：把 batch_size 降到 8 或 16，验证和推理阶段务必包在with torch.no_grad():里。如果还爆，用torch.cuda.empty_cache()清理缓存，或者改用混合精度训练。

from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): outputs = model(imgs) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

混合精度能把显存占用降三成左右，速度也快，但要注意 loss scaling 没配好会出现梯度下溢。

4.4 现象：验证集准确率高，实际视频推理一塌糊涂

原因：数据集背景太单一，模型学到了背景而不是手势。解决：做背景增强，比如随机替换背景、加运动模糊、随机遮挡。另外，如果实际场景是视频，单帧模型会丢时序信息，建议加一个 LSTM 或 3D 卷积做时序融合，或者用滑动窗口取多帧投票。

4.5 现象：模型文件很大，边缘设备跑不动

原因：ResNet18 虽然不大，但如果你换了 ResNet50 或 ViT，参数量翻几倍。解决：用 MobileNetV3 或 ShuffleNetV2 替换 backbone，再配合 ONNX 导出和量化。量化后模型能缩小到原来的四分之一，精度掉 1~2 个点，多数场景可以接受。

5. 把模型推到能用的程度：时序融合、量化与一个验证技巧

单帧模型做到 90% 验证准确率不算难，但真正上线你会发现视频里连续帧的预测会跳变。我一般会加一个轻量时序模块：取连续 8 帧的特征，过一个单向 LSTM，再输出分类。这样「左转弯待转」这种靠持续时间的动作就能被区分开。实现上不用改 backbone，只把model.fc换成LSTM + Linear即可，训练时把 Dataset 的__getitem__改成返回一个 clip 而不是单张图。

class TemporalModel(nn.Module): def __init__(self, backbone, hidden=128, num_classes=8): super().__init__() self.backbone = nn.Sequential(*list(backbone.children())[:-1]) # 去掉 fc self.lstm = nn.LSTM(512, hidden, batch_first=True) self.fc = nn.Linear(hidden, num_classes) def forward(self, x): # x: (B, T, C, H, W) B, T = x.size(0), x.size(1) x = x.view(B * T, *x.shape[2:]) feats = self.backbone(x).view(B, T, -1) out, _ = self.lstm(feats) return self.fc(out[:, -1, :])

验证技巧上，我习惯留一段完整视频不参与训练，用滑动窗口逐帧推理，统计连续 30 帧的投票结果。如果投票后准确率比单帧高 5 个点以上，说明时序模块有效；如果反而降了，多半是 LSTM 过拟合，把 hidden 降到 64 或加 dropout。

量化部署用 ONNX Runtime 或 TensorRT，先导出 ONNX，再用onnxruntime.quantization做动态量化。注意量化后要重新跑一遍验证集，确认精度掉幅在可接受范围。最后一句掏心窝的话：这个方向值不值得做，取决于你的数据能不能覆盖真实路口的多样性，模型结构反而是最容易换的部分。希望帮到你。

本文还有配套的精品资源，点击获取