YOLO疲劳检测数据集实战：从5163张标注图像到嵌入式系统部署-育师

简介：本资源是面向计算机视觉初学者与算法工程师的闭眼疲劳检测专用YOLO系列目标检测数据集，聚焦驾驶员状态识别、智能座舱监控等实际应用场景，可直接用于YOLOv5/v7/v8/v9/v10/v11等主流版本的模型训练、验证与测试。数据集共5163张高质量图像，全部标注“张开嘴”“闭上眼睛”“闭着嘴”“睁开眼睛”四类关键状态，已按标准划分train/val/test并提供配套data.yaml配置文件；压缩包内含2000个VOC格式XML标注文件（用于格式转换或兼容性验证），另有对应YOLO格式TXT标签文件，完整覆盖中心点归一化坐标体系，开箱即用。资源大小为175.82MB，结构清晰、标注规范，显著降低数据预处理门槛。目前已有223人学习下载，适合开展疲劳驾驶预警系统开发、多状态人脸行为分析建模及YOLO算法迁移实践。

1. 项目背景与数据集价值解析

最近在做一个关于驾驶员疲劳检测的嵌入式项目，核心需求是实时识别驾驶员的闭眼、打哈欠等疲劳状态。大家都知道，这类计算机视觉应用，模型效果的天花板很大程度上取决于数据集的质量。我翻遍了国内外几个主流开源平台，发现专门针对“闭眼”和“张嘴”这类精细面部动作、且标注质量高、数据量足够的数据集，真的不多。要么是通用人脸数据集，疲劳相关的标签不精细；要么是实验室环境下采集的，场景单一，光照、角度变化少，泛化能力存疑。

就在我准备自己动手采集标注，想到那浩大的工程量就头皮发麻的时候，偶然发现了这个名为“yolo算法-闭眼疲劳检测数据集-5163张图像带标签-张开嘴-闭上眼睛-闭着嘴-睁开眼睛.zip”的数据集。光看这个文件名，就感觉它直击了我的痛点：目标明确（疲劳检测）、类别清晰（张嘴、闭眼、闭嘴、睁眼）、数据量可观（5163张）、格式友好（为YOLO算法准备）。这简直就是为我的项目量身定做的“弹药库”。

这个数据集的价值，远不止是几千张带标签的图片。它实际上解决了一个从0到1构建垂直领域应用的关键瓶颈——高质量数据获取。对于任何想入门或深化疲劳检测、注意力监测、行为分析等领域的朋友来说，一个现成的、标注规范的数据集，能让你跳过最耗时、最枯燥的数据准备阶段，直接进入模型训练、调优和算法验证的核心环节。无论是做学术研究、课程设计，还是像我一样的工业级应用开发，它都是一个极佳的起点和基准。

2. 数据集深度拆解：内容、结构与质量评估

拿到数据集压缩包后，我做的第一件事就是彻底解压并分析其内部结构。一个规范的数据集，其目录组织方式直接反映了创建者的专业程度，也决定了我们后续使用的便利性。

2.1 文件目录结构与格式解析

解压后，典型的YOLO格式数据集目录结构如下所示：

闭眼疲劳检测数据集/ ├── images/ │ ├── train/ │ │ ├── 000001.jpg │ │ ├── 000002.jpg │ │ └── ... │ └── val/ │ ├── 050001.jpg │ ├── 050002.jpg │ └── ... ├── labels/ │ ├── train/ │ │ ├── 000001.txt │ │ ├── 000002.txt │ │ └── ... │ └── val/ │ ├── 050001.txt │ ├── 050002.txt │ └── ... └── data.yaml

images/: 存放所有图像文件，通常按训练集（train）和验证集（val）划分。图像格式多为.jpg或.png。这个数据集的5163张图像应该就分布在这两个文件夹中。我检查了一下，图像分辨率不一，但大多在640x480到1280x720之间，这是考虑到实际应用中摄像头采集的常见分辨率，也便于YOLO模型处理。
labels/: 这是核心所在，存放与images目录下每一张图片一一对应的标注文件。文件同名，但扩展名为.txt。每个.txt文件的内容就是YOLO格式的标注。
data.yaml: 数据配置文件，是YOLO（尤其是YOLOv5/v8）训练时读取数据的关键。它定义了数据集的路径、类别数量和类别名称。

YOLO标注格式详解：打开一个labels/000001.txt文件，你可能会看到这样的内容：

0 0.512 0.634 0.123 0.245 1 0.723 0.415 0.098 0.187

每一行代表一个目标物体。其格式为：<class_id> <x_center> <y_center> <width> <height>。

class_id: 类别索引，从0开始。对应关系在data.yaml中定义。
x_center, y_center: 边界框中心点的归一化坐标（除以图像宽度和高度后的值，范围0-1）。
width, height: 边界框的归一化宽高。这种格式非常紧凑，利于快速读取，也是YOLO系列模型的标准输入。

2.2 类别定义与标注质量探查

根据文件名，数据集包含四个类别：“张开嘴”、“闭上眼睛”、“闭着嘴”、“睁开眼睛”。这基本覆盖了疲劳检测中最核心的视觉特征：眼睛状态（开/闭）和嘴巴状态（开/闭）。打哈欠（张大嘴）和频繁眨眼（眼睛开闭交替）是判断疲劳的关键指标。

为了评估标注质量，我随机抽样了上百张图片，使用简单的Python脚本（结合OpenCV）将标注框可视化在原图上。这一步至关重要，能避免“垃圾进，垃圾出”。

我的探查方法和发现：

标注完整性：绝大多数人脸都被正确框出，并且标注了正确的状态。在复杂场景（如侧脸、部分遮挡）下，标注者似乎进行了一定的筛选，只标注了清晰可见的目标，这比强行标注模糊目标要明智。
边界框精度：对于“张嘴”和“闭嘴”，框体通常能紧贴嘴唇轮廓。对于“睁眼”和“闭眼”，框体则围绕单只眼睛或双眼区域。这里有一个需要注意的点：“闭上眼睛”和“睁开眼睛”的标注单位是什么？是单只眼睛还是一个包含双眼的区域？我查看后发现，这个数据集采用的是单眼标注。即一张脸上如果两只眼睛都闭着，会有两个class_id=1（假设1代表闭眼）的框。这种标注方式更精细，允许模型学习单眼状态，对于处理斜视、单眼遮挡等情况更有优势，但也在后处理时需要我们对双眼状态进行聚合判断（例如，连续N帧检测到单眼闭合，则判断为眨眼或疲劳）。
类别平衡性：通过统计所有labels/下的文件，我粗略计算了每个类别的实例数。大致分布是：“睁开眼睛”最多（因为正常状态居多），“张开嘴”和“闭上眼睛”次之，“闭着嘴”相对较少。这符合真实场景分布，但训练时需要注意，如果某类样本过少，可能需要通过数据增强来平衡，防止模型对少数类欠拟合。
数据多样性：图像来源看似多样，包括公开数据集截图、模拟驾驶场景拍摄、网络图片等。光照条件、人脸肤色、年龄、姿态（正脸、侧脸）有一定变化，但极端情况（如强烈背光、重度遮挡）较少。这对于构建一个鲁棒的模型是基础，但若应用于非常苛刻的环境（如夜间卡车驾驶），可能还需要补充特定场景数据。

注意：可视化检查时，我发现极少数图片存在标注漂移（框的位置比人脸慢了一两帧，可能是视频抽帧标注的遗留问题）或类别标错（极个别“眯眼”被标为“闭眼”）。虽然比例很低（估计<1%），但在训练前最好能清洗掉，或者至少心里有数，在模型出现相关误检时知道可能的原因。

3. 基于此数据集的YOLO模型训练全流程实战

有了高质量的数据集，下一步就是让它“活”起来，训练出我们自己的疲劳检测模型。这里我以目前生态最完善、上手最快的YOLOv8为例，展示端到端的训练流程。YOLOv5同样适用，配置稍有不同。

3.1 环境配置与数据准备

首先，确保你的环境已经就绪。我强烈推荐使用Python虚拟环境（如conda或venv）来管理依赖。

# 1. 创建并激活虚拟环境 (以conda为例) conda create -n yolo_fatigue python=3.8 conda activate yolo_fatigue # 2. 安装PyTorch (请根据你的CUDA版本到PyTorch官网选择对应命令) # 例如，对于CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 3. 安装Ultralytics YOLOv8 pip install ultralytics

接下来，处理我们的数据集。假设你将下载的5163张图像带标签.zip解压到了/path/to/闭眼疲劳检测数据集目录，并且其结构符合第2.1节的标准格式。

你需要检查并修改data.yaml文件，确保路径正确。用文本编辑器打开它，内容通常如下：

# data.yaml path: /path/to/闭眼疲劳检测数据集 # 数据集根目录 train: images/train # 训练集路径，相对于path val: images/val # 验证集路径，相对于path # 类别数 nc: 4 # 类别名称列表，顺序必须与标注文件中的class_id对应 names: ['张开嘴', '闭上眼睛', '闭着嘴', '睁开眼睛']

关键点：path可以写绝对路径，也可以写相对于训练脚本运行位置的相对路径。在服务器上训练时，使用绝对路径更稳妥。names列表的顺序至关重要，class_id=0对应‘张开嘴’，1对应‘闭上眼睛’，以此类推。务必与标注文件核对一致。

3.2 模型选择与训练参数调优

YOLOv8提供了不同尺寸的预训练模型，从轻量化的YOLOv8n到高精度的YOLOv8x。对于疲劳检测这种需要实时运行（可能在边缘设备如Jetson Orin、树莓派或手机端）的任务，需要在速度和精度间权衡。

# 使用YOLOv8中等尺寸模型进行训练 yolo task=detect mode=train model=yolov8m.pt data=/path/to/闭眼疲劳检测数据集/data.yaml epochs=100 imgsz=640 batch=16 workers=4

参数解析与调优心得：

model=yolov8m.pt: 使用中等尺寸的预训练模型。-n(nano)和-s(small)更快但精度略低，-l(large)和-x精度更高但更慢。我通常从-m开始，作为基准。
epochs=100: 迭代轮数。对于5000多张图的数据集，100个epoch通常是一个合理的起点，可以观察损失曲线是否收敛。我的经验是，不要盲目设大，可以用--patience参数（如patience=50）让训练在验证指标不再提升时提前停止，防止过拟合。
imgsz=640: 输入图像尺寸。YOLOv8会等比缩放图像至长边为640。这是一个重要的超参数。增大imgsz（如768、1024）可能会提升小目标（如远处的眼睛）的检测精度，但会显著增加显存消耗和推理时间。需要根据你的硬件和应用场景（摄像头分辨率）来定。在疲劳检测中，人脸通常占画面较大，640是一个兼顾性能和精度的常用值。
batch=16: 批大小。越大训练越稳定，收敛可能越快，但需要更多显存。如果出现CUDA out of memory错误，首先降低batch，其次考虑降低imgsz。
workers=4: 数据加载的线程数。用于加速数据从磁盘到GPU的预处理和加载过程。通常设为CPU核心数左右。在Windows上，有时需要设为0以避免多进程问题。
关键优化项：我强烈建议添加cos_lr=True（使用余弦退火学习率调度）和amp=True（自动混合精度训练）。前者能让学习率平滑下降，有助于模型跳出局部最优；后者能大幅减少显存占用并略微加速训练，且通常不会损失精度。

完整的训练命令可能如下：

yolo task=detect mode=train model=yolov8m.pt data=./data.yaml epochs=100 imgsz=640 batch=16 workers=8 cos_lr=True amp=True patience=30

训练开始后，Ultralytics会在runs/detect/train/目录下生成大量有用的结果和日志，包括损失曲线、精度召回曲线、混淆矩阵以及验证集上的预测样例图。

3.3 训练过程监控与模型评估

训练不是一挂了之，需要定期监控关键指标，判断模型学习状态。

损失曲线：打开runs/detect/train/results.csv或用TensorBoard查看。关注train/box_loss,train/cls_loss,val/box_loss,val/cls_loss。健康的曲线应该是训练损失平稳下降，验证损失同步下降后趋于平稳。如果验证损失很早就开始上升，而训练损失持续下降，这是典型的过拟合信号。对策包括：增加数据增强强度、使用更小的模型、添加DropOut层（YOLOv8内置）、或者直接收集更多样化的数据。
性能指标：最重要的指标是mAP50-95，即在不同IoU阈值（从0.5到0.95，步长0.05）下的平均精度均值。它综合衡量了模型的定位和分类精度。mAP50（IoU=0.5）也常被关注。在疲劳检测中，我们可能更关心“闭上眼睛”和“张开嘴”这两个关键类的AP值。可以在验证结果中单独查看。
混淆矩阵：这个图非常直观，能告诉你模型最容易混淆哪些类别。例如，检查“闭上眼睛”是否容易被误检为“闭着嘴”（显然不会，因为部位不同），或者“睁开眼睛”是否与“闭上眼睛”有混淆。如果有，说明这两个类别的特征学习不够充分，可能需要检查对应样本的标注质量，或者针对性增加数据增强（如随机亮度、对比度调整，模拟不同光照下的眼睛状态）。

我的一个实操教训：在一次训练中，我发现“闭上眼睛”的召回率始终偏低。通过查看验证集上该类的预测样例，发现很多侧脸或半闭（眯眼）状态被漏检了。于是我回到数据集，专门找出这类“难例”，通过水平翻转、轻微旋转、调整伽马值等方式进行了增强，并重新加入训练集。下一轮训练后，该类别的性能得到了明显改善。

4. 从模型到应用：疲劳检测系统集成与优化

训练出一个好的模型（.pt文件）只是第一步。如何将它集成到一个稳定、实时的系统中，才是项目成功的关键。这里我分享一个基于Python和OpenCV的简易实时疲劳检测demo的设计思路和核心代码片段。

4.1 实时推理Pipeline搭建

核心流程是：视频流捕获 -> 人脸检测 -> 疲劳特征检测（使用我们的YOLO模型）-> 状态分析与报警。

import cv2 from ultralytics import YOLO import numpy as np class FatigueDetector: def __init__(self, model_path, face_detector='hog'): """ 初始化疲劳检测器。 :param model_path: 训练好的YOLOv8模型路径（.pt） :param face_detector: 人脸检测器选择，'hog'（精度一般，CPU快）或 'cnn'（精度高，慢）或 'yolo'（用YOLO自己检人脸） """ # 加载我们训练好的疲劳状态检测模型 self.state_model = YOLO(model_path) # 初始化人脸检测器（这里以dlib的HOG为例，轻量级） if face_detector == 'hog': import dlib self.face_detector = dlib.get_frontal_face_detector() # 也可以使用OpenCV的DNN模块加载Caffe或TensorFlow人脸模型，精度更高 self.eye_closed_counter = 0 self.yawn_counter = 0 self.EYE_CLOSED_THRESH = 3 # 连续多少帧闭眼算疲劳 self.YAWN_THRESH = 10 # 连续多少帧打哈欠算疲劳 def process_frame(self, frame): """ 处理单帧图像。 :param frame: BGR格式的numpy数组 :return: 绘制了检测框和状态的frame """ # 步骤1：人脸检测 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces = self.face_detector(gray, 0) # 0表示不进行上采样 for face in faces: # 获取人脸区域坐标，并适当扩展（因为YOLO检测的是眼睛/嘴巴区域，可能在人脸框内部） x1, y1, x2, y2 = face.left(), face.top(), face.right(), face.bottom() padding = int((x2 - x1) * 0.1) x1, y1 = max(0, x1-padding), max(0, y1-padding) x2, y2 = min(frame.shape[1], x2+padding), min(frame.shape[0], y2+padding) face_roi = frame[y1:y2, x1:x2] if face_roi.size == 0: continue # 步骤2：使用YOLO模型检测疲劳状态 # 注意：我们的模型是在整张图上训练的，但推理时只输入人脸区域可能更准更快 results = self.state_model(face_roi, verbose=False, imgsz=640, conf=0.5) # 解析结果 eye_closed = False mouth_open = False for r in results: boxes = r.boxes if boxes is not None: for box in boxes: cls_id = int(box.cls) conf = float(box.conf) # 根据data.yaml中的names顺序判断类别 # 假设: 0:张嘴, 1:闭眼, 2:闭嘴, 3:睁眼 if cls_id == 1 and conf > 0.6: # 闭眼，置信度阈值设高一点减少误报 eye_closed = True elif cls_id == 0 and conf > 0.5: # 张嘴 mouth_open = True # 步骤3：疲劳状态逻辑判断 # 这里是一个简单的基于连续帧计数的逻辑，实际应用中可能需要更复杂的FSM（有限状态机） if eye_closed: self.eye_closed_counter += 1 cv2.putText(frame, f"Eye Closed: {self.eye_closed_counter}", (x1, y1-30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2) else: self.eye_closed_counter = 0 if mouth_open: self.yawn_counter += 1 cv2.putText(frame, f"Yawning: {self.yawn_counter}", (x1, y1-60), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 165, 255), 2) else: self.yawn_counter = 0 # 报警判断 if self.eye_closed_counter >= self.EYE_CLOSED_THRESH: cv2.putText(frame, "FATIGUE WARNING: EYES CLOSED!", (x1, y2+30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 3) if self.yawn_counter >= self.YAWN_THRESH: cv2.putText(frame, "FATIGUE WARNING: YAWNING!", (x1, y2+70), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 165, 255), 3) # 绘制人脸框 cv2.rectangle(frame, (x1, y1), (x2, y2), (255, 0, 0), 2) return frame # 使用示例 if __name__ == "__main__": detector = FatigueDetector(model_path='best.pt') # 你训练出的最佳模型 cap = cv2.VideoCapture(0) # 打开摄像头 while True: ret, frame = cap.read() if not ret: break processed_frame = detector.process_frame(frame) cv2.imshow('Fatigue Detection', processed_frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()

4.2 性能优化与部署考量

上述Demo虽然能跑通，但在实际部署时，尤其是资源受限的边缘设备上，必须考虑优化。

模型轻量化：训练完成后，使用YOLOv8提供的导出功能，将PyTorch模型转换为更高效的格式。
```
yolo export model=path/to/best.pt format=onnx # 导出为ONNX yolo export model=path/to/best.pt format=tflite # 导出为TFLite (用于移动端)
```
ONNX模型可以利用ONNX Runtime进行CPU/GPU推理，通常比原生PyTorch有速度提升。TFLite则是部署到Android/iOS或边缘AI芯片（如Coral Edge TPU）的标准格式。
推理引擎优化：
- TensorRT：如果你有NVIDIA Jetson或带GPU的工控机，强烈推荐将模型转换为TensorRT引擎。这能带来数倍甚至数十倍的推理加速。可以使用export format=engine，但需要注意和CUDA、TensorRT版本的兼容性。
- OpenVINO：对于Intel CPU或集成显卡，OpenVINO工具套件能显著优化模型推理速度。
- 核心思想：脱离Python环境，用C++调用优化后的推理引擎，是达到工业级实时性（如30+FPS）的必经之路。
多线程与Pipeline：对于高帧率视频流，可以采用生产者-消费者模式。一个线程专门抓取视频帧，一个线程进行人脸检测，一个线程进行状态识别，另一个线程负责绘制和显示。避免所有步骤串行导致的帧堆积。
误报过滤与状态平滑：单纯基于单帧检测的结果是抖动的。必须引入时序滤波算法。我常用的方法是：
- 滑动窗口投票：记录最近N帧（如15帧，约0.5秒）内每个状态的检测次数，只有次数超过某个阈值（如10次）才判定为该状态有效。这能过滤掉瞬间的误检。
- 有限状态机：定义更精细的状态，如“清醒”、“轻度疲劳（频繁眨眼）”、“重度疲劳（长时间闭眼）”、“打哈欠”。状态间的转换需要满足一定的条件（如闭眼持续2秒）才能触发，这使得系统判断更符合人的生理逻辑，也更稳定。

5. 数据集的局限性与后续迭代方向

尽管这个5163张的数据集是一个优秀的起点，但任何数据集都有其边界。清楚认识到这些局限，才能知道如何改进模型，以及何时需要补充数据。

场景局限性：数据集中的图像背景相对整洁，光照条件多数为室内或正常日光。但在真实的驾驶场景中，你会遇到：
- 极端光照：夜间驾驶只有仪表盘微光、隧道进出口的明暗骤变、对面车辆远光灯直射。
- 复杂遮挡：驾驶员戴眼镜（特别是墨镜）、戴帽子、戴口罩、用手托腮。
- 姿态多样性：大幅度的转头看后视镜、低头看手机或中控屏。
- 图像质量：运动模糊、摄像头分辨率低、高ISO带来的噪点。我们的模型在这些“分布外”场景下的表现可能会下降。对策：主动收集或生成（使用数据增强工具）这类困难样本，加入训练集。例如，使用imgaug或albumentations库模拟运动模糊、随机阴影、镜头污渍等。
类别定义的颗粒度：目前只有“开/闭”两种状态。但疲劳是一个渐进过程。可以考虑引入更细的标签，例如：
- 眼睛睁开度：作为回归任务，标注眼睛的纵横比或虹膜可见比例。
- 眯眼：介于睁眼和闭眼之间的状态，是疲劳的早期信号。
- 打哈欠的强度：微微张嘴、中度张嘴、完全张大嘴。这需要更精细的标注，但能训练出更灵敏、更早预警的模型。
从“检测”到“时序理解”：疲劳本质是一个时序行为。当前模型是帧级别的分类。下一步可以：
- 使用视频片段训练：将连续帧（如5-10帧）作为输入，使用3D CNN或Transformer-based模型（如Timesformer）来直接学习时序模式。
- 在后处理中引入时序模型：将YOLO每帧检测出的状态（眼睛纵横比、嘴巴开合比）组成一个时间序列，输入到一个轻量级的LSTM或GRU网络中，判断整体疲劳程度。这种方法模块化，更灵活。
数据集的扩展与主动学习：当你将初步模型部署到真实场景中，肯定会遇到误检和漏检。建立一个主动学习循环至关重要：
- 系统自动保存模型不确定的（如置信度在0.4-0.6之间）或判断错误的帧。
- 定期（如每周）对这些困难样本进行人工复核和标注。
- 将新标注的数据加入训练集，重新训练或微调模型。这样，你的模型就能在不断迭代中，越来越适应你的特定应用环境。

这个“闭眼疲劳检测数据集”就像一把好用的铲子，帮你挖下了项目的第一铲土。但要想挖出深井，还需要你根据实际遇到的地质情况（应用场景），不断打磨这把铲子，甚至换更合适的工具。它提供了高质量的基础标注，极大地降低了入门门槛，而如何在此基础上构建一个鲁棒、实时、可用的完整系统，才是真正考验工程能力和算法理解的地方。从我自己的项目经验来看，数据处理和模型调优所花费的时间，往往比跑通第一个Demo要多得多，但这也是价值所在。希望这份基于该数据集的完整实践指南，能帮你少走些弯路，更快地让想法落地。

本文还有配套的精品资源，点击获取