简介：面向K12阶段学生与入门级AI开发者的YOLOv5+大疆Tello TT无人机项目资源，完整覆盖目标识别、追踪与测距的实践链路，将深度学习与无人机编程结合。压缩包共1667个文件，包含758张JPG图像与694个TXT标注（对应“旗”“圈”两类目标）、94个YAML配置、46个Python脚本、9个PT训练权重、训练日志及说明文档等，整体约269MB，目录按源码、数据集、模型、文档分区，便于检索与二次开发。训练好的模型可直接加载推理，免去从零训练的成本；数据集已完成标注，可用于模型微调或教学演示；配套文档详细讲解环境配置、模型加载、无人机控制与视频流处理等步骤，能引导初学者快速跑通从识别到追踪的完整流程。现已有681人学习浏览，特别适合学校社团、STEAM课程或兴趣小组开展项目式学习，在动手实践中理解深度学习和无人机编程的核心原理。
1. 一套让 Tello TT 无人机“看见并咬住目标”的完整方案：yolov5 从模型到飞控的全链路落地
这份资源把 yolov5 目标检测、大疆教育无人机 Tello TT 的飞控控制和测距逻辑打包成了一个可直接跑通的项目，适合两类人：一类是 K12 阶段的老师和学生，想用真实硬件把深度学习课讲活；另一类是刚接触无人机视觉的开发者，想省掉从零标注、从零训练的时间，直接看一套“模型 + 数据集 + 权重 + 文档”的完整闭环长什么样。它解决的不是“能不能检测”的问题，而是“检测完怎么让飞机跟上去、怎么估算距离”的问题——后者才是无人机项目的真正门槛。项目里标记了“旗”和“圈”两类目标，这两个类别是针对 Tello TT 教育场景常见的竞赛任务设计的，资源包里的说明文档和环境配置步骤能帮你少走不少弯路。
2. 先搞清楚资源包内部结构：从事件文件到训练好的权重，每一份都有用
2.1 资源包里那些看起来陌生的文件是什么
解压后你会看到一串以events.out.tfevents开头的文件，这些是 TensorFlow 训练日志，里面记录了训练过程中 loss 曲线、学习率变化和 mAP 等指标的变化。它们的命名格式带时间戳和机器名，比如events.out.tfevents.1640873323.DESKTOP-N8AQQ6E.2292.0，1640873323是 Unix 时间戳，.0末尾的数字表示该文件是第几次训练进程产生的。
这些事件文件对你实际使用项目影响不大，但如果你用 TensorBoard 查看历史训练曲线，它们就有用了。我一般会在项目目录下执行：
tensorboard --logdir ./runs然后打开终端提示的http://localhost:6006地址，就能看到训练过程中的 loss 曲线和验证集指标。注意这些事件文件可能来自多次不同时间段的训练，因为时间戳跨度从 1640872253 到 1643014490，说明作者在 12 月底到 1 月底之间做了多轮迭代。如果你只是要跑推理，直接跳过这些文件即可。
2.2 数据集的标注格式与类别定义
这个项目的数据集标注了两类目标：flag（旗）和circle（圈）。如果作者使用的是 yolov5 原生格式，那么每张图片对应一个同名.txt文件，内容格式是：
class_id x_center y_center width height这五个值都是归一化后的相对坐标，比如0 0.5 0.5 0.2 0.2表示一个类别为 0（旗）的目标，中心点在图片正中央，宽和高各占图片的 20%。这里要特别提醒：补齐归一化坐标不是像素坐标，所以即使是小目标，宽高值也不会大于 1。打开标注文件核对时，如果发现数值大于 1，那一定是标注工具导出设置错了。
2.3 训练好的模型文件在哪个位置
我建议你先找weights或runs/train/exp/weights目录，里面通常有best.pt和last.pt两个文件。best.pt是验证集上表现最好的权重，last.pt是最后一轮训练结束时的权重，二者用途不同：跑推理、部署都用best.pt，想继续训练则用last.pt。拿到资源包后第一步不是去看代码，而是确认这三个东西是否齐全：权重文件、数据集标注目录、说明文档。缺任何一个，后面的流程都会卡住。
3. 在本地跑通推理：加载权重、处理视频流、画框与输出测距结果
3.1 环境依赖与 CUDA 版本选择
yolov5 的 PyTorch 环境配置是这个项目最容易翻车的环节。以我自己的经验，最容易出问题的不是包缺了，而是 CUDA 和 PyTorch 版本不匹配。项目里如果没写死 requirements.txt 的版本，我的建议是：训练用torch 1.10.x + CUDA 11.3，推理则无所谓。yolov5 官方仓库在 6.x 版本之后对版本兼容性做得不错，核心依赖是：
pip install -r requirements.txt # 核心依赖如下： # torch>=1.7.0 # opencv-python>=4.1.2 # matplotlib>=3.2.2 # numpy>=1.18.5 # pillow>=8.3.0 # pyyaml>=5.3.1如果你的机器没有 NVIDIA 显卡，也能跑，但推理速度会从毫秒级变成秒级，飞控追踪就基本没法实时。我在树莓派 4B 上试过部署 yolov5s，算力完全不够做实时追踪，所以这个项目实际运行环境应为带独显的电脑，或者至少是 NVIDIA Jetson 系列。注意这里有个容易踩的坑：Tello TT 的通信是基于 UDP 的，Wi-Fi 直连模式下延迟大约在 100 到 200 毫秒，加上 yolov5 在 CPU 上的推理时间，整条链路的延迟会超过 400 毫秒，飞行控制会明显“发飘”。
3.2 用训练好的模型跑单张图片推理
拿到权重后，最快验证模型有效性的方式是跑单张图片推理。在项目根目录下执行：
import torch # 加载训练好的模型，这里用 best.pt model = torch.hub.load('ultralytics/yolov5', 'custom', path='runs/train/exp/weights/best.pt') # 推理单张图片 results = model('test_images/flag_01.jpg') # 打印检测结果 results.print() # 保存标注后的图片 results.save('output/')这里torch.hub.load的第二个参数custom表示加载本地自定义权重，path指向.pt文件。如果网络环境不能访问 GitHub，需要先把 ultralytics/yolov5 仓库克隆到本地，再把torch.hub.load改成从本地目录加载。这一步做完，你会在output目录看到带边界框的图片，框上会显示类别名和置信度。
3.3 从视频流中检测并提取目标中心的像素坐标
单张图片验证通过后，下一步是处理视频流。Tello TT 的摄像头通过 UDP 推流，地址是udp://0.0.0.0:11111，但你在电脑上跑这个项目时，视频流实际是从 Tello 的 Wi-Fi 热点接收的。这里给出一个不依赖 Tello SDK、只处理视频流的最小实现：
import cv2 import torch # 加载模型并设置为推理模式 model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') model.conf = 0.5 # 置信度阈值 model.iou = 0.45 # NMS IoU 阈值 # 打开视频流，这里的地址取决于你用什么方式接收 Tello 的画面 cap = cv2.VideoCapture('udp://0.0.0.0:11111') if not cap.isOpened(): print("无法连接视频流，检查 Tello 是否开机且 Wi-Fi 已连接") while True: ret, frame = cap.read() if not ret: break # 推理当前帧 results = model(frame) # 拿到所有检测框的坐标、置信度和类别 boxes = results.xyxy[0].cpu().numpy() for box in boxes: x1, y1, x2, y2, conf, cls = box # 计算目标中心的像素坐标，这是后面追踪控制的关键输入 cx = (x1 + x2) / 2 cy = (y1 + y2) / 2 # 画框 cv2.rectangle(frame, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2) cv2.putText(frame, f'{model.names[int(cls)]} {conf:.2f}', (int(x1), int(y1)-5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) # 画中心点 cv2.circle(frame, (int(cx), int(cy)), 4, (0, 0, 255), -1) cv2.imshow('Tello Detection', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()这段代码的核心逻辑是把 yolov5 推理结果转成像素坐标cx, cy。注意results.xyxy[0]返回的是张量，每一行是x1, y1, x2, y2, conf, cls，其中坐标是像素值而非归一化值。model.conf和model.iou是控制检测精度的两个关键参数：conf太低会出现大量误检框，太高会漏检小目标；iou影响重叠框的合并策略。
我自己测试下来，Tello 的摄像头分辨率默认是 960x720，在室内光照正常的情况下，conf=0.5是一个合理的起点。如果你发现目标太小导致检测不到，优先把conf降到 0.3 试试，同时检查图片是不是传进来之前被缩放过。
3.4 测距：基于已知目标尺寸的单目估算
这个项目里的“测距”从操作说明来看，应该是基于单目视觉的估算。常见做法是：如果目标（比如旗子）的实际物理宽度已知，那么距离可以通过小孔成像模型计算：
# 已知目标实际宽度（米），这里是假设旗子宽度为 0.4 米 known_width = 0.4 # 相机焦距（像素）通常在相机标定后获得，这里假设已经标定得到 fx fx = 700.0 # 检测到的目标边界框宽度（像素） pixel_width = x2 - x1 # 估算距离：distance = 实际宽度 * 焦距 / 像素宽度 distance = known_width * fx / pixel_width print(f"估算距离: {distance:.2f} 米")这个公式本质上是相似三角形。它的前提是目标平面与相机成像平面近似平行，如果无人机斜着看目标，这个值会偏大。实际项目中，你可以直接用手持尺子量 1 米、2 米、3 米距离，记录对应的pixel_width，做一次线性拟合来替代理论计算。这种“标定一次、反复使用”的土办法在 Tello 教育场景中比严格标定更实用，学生也更容易理解。
4. 训练自己的数据集：标注、配置超参数与多尺度训练细节
4.1 准备自定义数据集：目录结构与数据划分
如果你不想只检测“旗”和“圈”，而要训练自己的类别，第一步是整理数据集目录。yolov5 要求的数据集目录结构是固定的：
dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── dataset.yamldataset.yaml里定义了类别数和类别名：
train: dataset/images/train val: dataset/images/val nc: 2 names: ['flag', 'circle']这里nc是类别总数，names列表的索引必须与标注文件里的class_id一致。常见的低级错误是改了类别名但忘了同步改标注文件里的数字。比如你把“旗”改成“red_flag”，但标注文件里class_id还是 0，而names列表里 0 对应着另一个类别，模型会学会用错误的类别名输出，不会报错但结果全错。
4.2 标注工具选择与标注规范
标注阶段，我一般用 labelImg 或 Label Studio。前者更轻量，适合 K12 教学，后者适合团队协作。如果是矩形框标注，labelImg 的快捷键是：W创建框，A上一张图，D下一张图。标注时注意一个原则——框要紧贴目标边缘，宁可多留一点空白，也不要裁到目标主体。yolov5 的 anchor 设计对边界框的宽高比比较敏感，极端拉长或压扁的框会降低训练稳定性。
标注完成后，按 8:2 的比例把图片分成训练集和验证集。关键点是：验证集图片不要和训练集来自同一段连续视频帧，否则会出现“记忆”而不是“泛化”的假象。Tello 项目里，最安全的做法是单独飞一次，录制不同光线和角度的视频作为验证集。
4.3 训练脚本与超参数调整：从默认值开始，只动四个参数
yolov5 官方仓库的训练命令是：
python train.py --data dataset.yaml --weights yolov5s.pt --epochs 100 --batch-size 16 --img 640训练前先确认weights参数。如果你想基于 COCO 预训练权重做迁移学习，用yolov5s.pt；如果想从零训练，用--weights ''。对 Tello 视觉任务来说，建议始终用迁移学习，因为 1000 张自定义图片从零训练的效果远不如用 COCO 权重微调 100 轮。
超参数里只有四个值得优先调整：--img（输入分辨率）、--batch-size、--epochs、--multi-scale。--img默认 640，但 Tello 摄像头分辨率是 960x720，如果你直接把 720p 的帧喂给 640 尺寸的输入，yolov5 内部会做 letterbox，相当于把图像等比缩放后补灰边，这会略微降低小目标检测率。我在这个项目里把--img设成 736，刚好能被 32 整除，实测比 640 输入对远处的小旗子更友好。
下面是带详细注释的训练命令：
python train.py \ --data dataset.yaml \ --weights yolov5s.pt \ --epochs 100 \ --batch-size 16 \ --img 736 \ --multi-scale \ --device 0参数说明：--multi-scale会在训练中随机变化输入尺寸（0.5 倍到 1.5 倍），变相做了数据增强，对小目标检测有明显提升，但代价是单轮训练时间增加约 30%；--device 0指定第一块 GPU，如果你有多个显卡可以设0,1开启数据并行。如果你的显存只有 8G，--batch-size 16配--img 736可能爆显存，此时把--batch-size降到 8 即可。
我在实际跑训练时发现一个规律：epochs=100对几百张图片的数据集足够，再往上就会出现典型的过拟合症状——训练 loss 持续下降，但验证集 mAP 在第 80 轮左右开始震荡或回落。所以训练过程中要盯住 TensorBoard 里的val_mAP_0.5曲线，而不是训练 loss。
4.4 数据集增强与类别不平衡
这个项目的“旗”和“圈”通常不会同时等量出现，室内训练时“圈”可能只有“旗”的一半数量。yolov5 内置的增强策略（马赛克、翻转、色彩抖动）对轻度不平衡是有缓解作用的，但如果一类样本不足 100 张，效果就有限。我一般会在标注后统计一下各类别数量：
import os from collections import Counter label_dir = 'dataset/labels/train' class_counter = Counter() for file in os.listdir(label_dir): if not file.endswith('.txt'): continue with open(os.path.join(label_dir, file)) as f: for line in f: class_id = int(line.split()[0]) class_counter[class_id] += 1 print(class_counter)如果出现明显不平衡，不要急着调 loss 权重，优先去补拍少数类别的数据——这是所有数据增强都无法替代的。K12 教学场景中，让学生重新摆放目标和变换角度拍摄，本身就是学习过程的一部分。
5. 避坑：Tello TT 与 yolov5 联动时最常踩的五个坑
5.1 视频流连不上，OpenCV 报错CAP_IMAGES: not found
现象：cv2.VideoCapture('udp://0.0.0.0:11111')返回的cap.isOpened()为 False，画面完全是黑的。
原因：Tello TT 的摄像头推流需要先发送指令激活。Tello 的 SDK 规定，必须先向 Tello 发送command命令进入 SDK 模式，再发送streamon开启视频流。直接去连 UDP 端口拿不到数据。
解决：在打开视频流之前，先建立 UDP 命令通道并发送两条命令：
import socket import time # Tello 的命令通道是 UDP 8889 端口 tello_address = ('192.168.10.1', 8889) sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 进入 SDK 模式 sock.sendto(b'command', tello_address) time.sleep(1) # 开启视频流 sock.sendto(b'streamon', tello_address) time.sleep(2) # 然后再打开 OpenCV 的视频流 cap = cv2.VideoCapture('udp://0.0.0.0:11111')这里的关键是192.168.10.1是 Tello 的默认 IP，前提是电脑的 Wi-Fi 已连接到 Tello 的 SSID。发送完streamon后等两秒再打开视频流，否则首帧可能丢失。
5.2 推理速度够快但无人机反应迟钝，追踪时左右摇摆
现象：yolov5s 在笔记本 GPU 上推理耗时约 15 毫秒，但 Tello 在空中追踪目标时来回震荡，无法稳定悬停。
原因：这是典型的控制周期不匹配。yolov5 推理速度快，但 Tello 的底层姿态控制频率只有 10Hz 左右，你要发送的rc控制指令如果每帧都发（约 30Hz），飞控会处理不过来，产生指令堆积和延迟。
解决：限制控制指令的发送频率，并且在发送之前加一个死区（dead zone）判断：
import time last_send_time = 0 control_interval = 0.1 # 100ms 发送一次控制指令 while True: current_time = time.time() # 只有超过间隔才发送控制指令 if current_time - last_send_time >= control_interval: # 假设 cx, cy 是目标中心，frame_center 是画面中心 dx = cx - frame_center_x dy = cy - frame_center_y # 死区判断：误差小于 20 像素就不动，避免来回震荡 if abs(dx) > 20 or abs(dy) > 20: yaw_velocity = int(dx * 0.3) up_velocity = int(dy * 0.3) sock.sendto(f'rc 0 0 {up_velocity} {yaw_velocity}'.encode(), tello_address) last_send_time = current_time这个死区的思路是：目标在画面中间 20 像素范围内时，无人机不做任何调整。你可能会觉得这会让追踪精度下降，但实际飞行中这 20 像素的误差在 1 米距离外只对应几厘米的物理偏移，换来的是飞行稳定性的巨大提升。
5.3 训练时爆显存RuntimeError: CUDA out of memory
现象：执行train.py后几秒内报错，提示显存不足，连--batch-size 4都不行。
原因：这个项目的时间戳事件文件显示是 2021 年底到 2022 年初的训练记录，对应 yolov5 6.0 版本，当时的默认--img是 640，但如果你用了更高的分辨率并且开了--multi-scale，显存占用会迅速膨胀。更大的可能是你同时开着 TensorBoard、多个 Jupyter notebook 或浏览器标签页。
解决：先检查显存占用：
nvidia-smi然后把不用的进程关掉，训练命令改成单卡运行并用梯度累积：
python train.py --data dataset.yaml --weights yolov5s.pt \ --batch-size 8 --img 640 --device 0 --nbs 64--nbs 64是名义批次大小，yolov5 会通过梯度累积来模拟 64 的批次，实际显存占用只相当于 batch-size 8。如果你连 batch-size 8 都跑不动，说明显卡显存低于 4G，这个项目对你来说只能做推理，训练还是放到云端或换卡。
5.4 模型检出了目标但置信度全是 0.3 以下，画框是乱标的
现象：训练完的模型在实拍视频中能“看到”目标，但置信度普遍很低，边界框位置也偏。
原因：这是训练数据与测试数据分布不一致的典型表现。比如训练图片是在室内白炽灯下拍的，而实拍视频是在傍晚室外拍的，光照色温和背景差异会让模型产生严重的域偏移。
解决：接入现场的摄像头拍 50 到 100 张图，补进训练集做二次微调。操作方法是直接把新图片和对应的标注文件一起放进原数据集，然后加载已有权重再训练 20 到 30 轮，学习率调低：
python train.py --data dataset.yaml --weights runs/train/exp/weights/best.pt \ --epochs 30 --batch-size 16 --img 640 --lr0 0.001--lr0 0.001比默认的 0.01 低一个量级，目的是在已有权重基础上小幅调整，防止破坏已学到的特征。
5.5 Tello 飞起来后画面剧烈抖动，检测框“跳来跳去”
现象：无人机悬停时，画面中目标的检测框在不同帧之间位置跳动，有时一帧检测到、下一帧就丢失。
原因：Tello 的摄像头没有机械防抖，悬停时的机身微振动会导致画面模糊。yolov5 对模糊帧的检测置信度会急剧下降，加上分辨率只有 720p，小目标在抖动下很容易时有时无。
解决：图像预处理里加一个简单的锐化操作，让模糊边缘恢复一些对比度：
import cv2 import numpy as np def sharpen_frame(frame): kernel = np.array([[0, -1, 0], [-1, 5, -1], [0, -1, 0]]) return cv2.filter2D(frame, -1, kernel) # 推理前先锐化 sharp = sharpen_frame(frame) results = model(sharp)这个方法不是万能药，但能明显减少低纹理区域的检测抖动。如果锐化后仍然时有时无，最有效的策略不是改图像，而是改逻辑：检测框连续出现 2 帧以上才输出，丢帧后允许 5 帧内保持上次结果。这就是“追踪滞回”，用简单的时间滤波替代昂贵的视觉跟踪算法。
6. 进阶：把你的 yolov5 结果接到 Tello 的rc指令上，做一个能持续咬住目标的控制器
这一章我不是要贴一个复杂的 PID 控制器，而是教你把前面所有的内容串成一个闭环。关键在于理解 Tello 的rc指令是“速度指令”而非“位置指令”。rc 左 右 上 下 前 后 偏航的格式里，实际可用的参数是左右平移速度、升降速度、前后速度和偏航速度，范围是 -100 到 100。在 K12 场景中，偏航控制和升降控制已经足够完成大多数目标追踪任务。
我的做法是引入一个比例控制器，输出量和误差成简单比例关系，再加一个限幅。如下面这个最小闭环：
import time import socket tello_address = ('192.168.10.1', 8889) sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) # 目标中心与画面中心 frame_center_x = 480 # 960x720 画面的中心 frame_center_y = 360 # 比例系数和限幅 kp_yaw = 0.4 kp_ud = 0.4 max_speed = 60 def clamp(value, lower=-max_speed, upper=max_speed): return max(lower, min(upper, int(value))) def send_rc(yaw_vel, ud_vel): # Tello 的 rc 指令：rc left/right vx, forward/backward vy, up/down vz, yaw cmd = f'rc 0 0 {clamp(ud_vel)} {clamp(yaw_vel)}' sock.sendto(cmd.encode(), tello_address) # 主循环里对每一帧推理结果执行 # 假设已从 yolov5 拿到目标的 (cx, cy) 和 distance # 控制目标：让目标保持在画面中心，同时距离保持在 1.5 米左右 last_time = time.time() while True: # 从检测结果获取目标位置（这里接你前面写好的推理代码） # cx, cy, distance = get_target_center(results) dx = cx - frame_center_x dy = cy - frame_center_y # 偏航速度：目标偏左，飞机向左转 yaw_vel = -dx * kp_yaw # 升降速度：目标偏上，飞机上升；目标偏下，飞机下降 ud_vel = -dy * kp_ud # 前后控制：如果距离太远，向前飞；距离太近，后退 if distance > 1.8: fwd_vel = 30 elif distance < 1.2: fwd_vel = -30 else: fwd_vel = 0 # 发送指令，注意频率控制在 10Hz 左右 if time.time() - last_time > 0.1: # 注意：实际指令顺序是 rc left/right forward/backward up/down yaw sock.sendto(f'rc {clamp(-dx*0.2)} {fwd_vel} {ud_vel} {yaw_vel}'.encode(), tello_address) last_time = time.time() time.sleep(0.01)这个控制器的核心逻辑就是“误差越大，纠正越快”，kp_yaw = 0.4意味着当目标偏离画面中心 50 像素时，偏航速度是 20。这个值在室内低速飞行是安全的，但如果你把kp调到 1.0 以上，飞机会出现明显的振荡，也就是常说的“追过头”。所以我在很多教学项目里故意让学生从kp=0.2开始，体验一下“追不动”，再逐步加大，这个手感比任何理论公式都直观。
关于前后测距控制，你需要注意一点：单目测距在目标脱离相机的画面边缘时误差会急剧增大。我的血泪经验是：不要用测距值做精确的前后位置保持，它只适合做“太远就靠近、太近就退后”的粗略判断。如果你想要更稳的定距跟踪，可以试试在 Tello 上贴一个 ArUco 码标签，用cv2.aruco库的estimatePoseSingleMarkers获得更精确的位姿，但这就涉及另一个项目了。
从那以后，我每次接无人机的视觉追踪项目，都会强制先跑一遍 5 分钟真机飞行记录，把视频拉出来数一下“有效跟踪帧占比”——低于 80% 绝不调 PID，先找数据问题。这样做能省掉大量“调参两小时、炸机一分钟”的尴尬时刻。希望这份资源的拆解和这些实战习惯，能帮你在 Tello TT 上少走弯路。
本文还有配套的精品资源，点击获取
