简介：本资源是一套基于YOLOv5实现的疲劳驾驶检测识别系统完整项目包，面向计算机、人工智能及相关专业本科生毕业设计与课程实践需求，解决驾驶员闭眼、打哈欠等典型疲劳状态的实时识别问题。压缩包共93个文件，包含31个Python源码（含main.py、train.py等核心模块）、24个YOLO配置文件（如yolov5s.yaml、yolov5x.yaml）、2个预训练模型（best.pt、yolov5s.pt）、2个演示视频（input.mp4、output.mp4）、关键数据文件（shape_predictor_68_face_landmarks.dat、detector.svm）及详细使用说明文档，整体大小为136.48MB。已有972人学习下载，项目经导师指导并获97分高分评审，可直接用于毕设答辩或期末大作业。用户获取后即可一键运行，涵盖数据预处理、模型训练、实时检测、Flask接口封装及可视化结果输出全流程，目录结构规范，模块划分清晰，配套资料齐全，显著降低复现门槛。
1. 项目缘起：从毕业设计到真实场景的疲劳驾驶检测
最近整理硬盘，翻出了一个压箱底的“宝贝”——一个基于YOLOv5的疲劳驾驶检测项目。这原本是我几年前指导一位学生完成的毕业设计，后来我自己也基于这个框架，在几个实际的小型项目中做了不少优化和迭代。项目包里包含了完整的源码、训练好的模型、数据集处理脚本以及一份详细的使用说明。今天，我想把这个项目的里里外外彻底拆解一遍，不仅告诉你它怎么用，更重要的是，我会分享从“学生作业”到“接近可用”这个过程中，我们踩过的坑、做过的优化，以及那些在标准教程里不会写的细节。
疲劳驾驶检测，听起来是个老生常谈的话题，但真正动手做起来，你会发现它远不止是调用一个现成模型那么简单。它涉及到目标检测（人脸、眼睛）、关键点定位（眼睛、嘴巴）、状态分类（睁眼/闭眼、张嘴/闭嘴）以及一套简单的时序逻辑判断。市面上很多教程只讲YOLOv5怎么训练，但很少告诉你，怎么把这些模块串起来，形成一个稳定、误报率可接受的系统。这个项目就是一个完整的实践案例，它可能不是最先进的，但绝对是一个能跑通、能理解、能在此基础上继续深造的绝佳起点。
无论你是正在寻找毕业设计课题的学生，还是想入门计算机视觉实战的开发者，或者是对智能驾驶辅助系统感兴趣的研究者，这个项目都能给你提供一个清晰的实现路径和扎实的代码基础。接下来，我会从环境搭建开始，一步步带你走进这个项目的核心，并重点剖析那些决定项目成败的关键细节。
2. 项目全景解构：核心模块与工作流剖析
这个疲劳驾驶检测系统，本质上是一个多阶段的信息处理管道。它不是一个单一的YOLOv5模型就能搞定的事情。为了让你对整体架构有个清晰的认识，我画出了它的核心工作流。整个过程可以分解为四个主要阶段，每个阶段都承担着特定的任务，并共同协作完成从图像输入到疲劳预警的决策。
整个流程始于摄像头捕获的实时视频流。每一帧图像被送入系统后，首先经历的是人脸检测与定位阶段。这里，我们使用的是经过自定义数据集训练的YOLOv5模型。为什么选择YOLOv5而不是其他人脸检测专用模型？原因在于其平衡的速度与精度，以及易于部署的特性，非常适合作为整个流程的“守门员”。这个模型的任务就是在复杂的驾驶舱环境中（可能包含方向盘、车窗、后视镜等干扰），快速且准确地框出驾驶员的脸部区域。这一步的准确性至关重要，它是所有后续分析的基础。
在成功定位人脸区域后，流程进入第二阶段：面部关键点检测。我们并没有直接使用YOLOv5去检测眼睛、嘴巴，因为对于这类小目标，专门的形状预测器（如Dlib的68点模型）或轻量级关键点网络（如MobileNet改编的）通常更精准。在这个项目中，我们采用的是Dlib的预训练模型。它会从裁剪出的人脸图像中，定位出眼睛轮廓、嘴巴轮廓的关键点坐标。例如，对于每只眼睛，我们会提取6个点（眼角、眼睑），用于计算眼睛的纵横比。
第三阶段是状态特征计算与量化。这是将图像信息转化为可度量指标的关键一步。我们使用眼睛纵横比和嘴巴纵横比作为核心特征。以眼睛为例，通过关键点计算眼睛的高度与宽度之比。当眼睛睁开时，这个比值相对稳定在一个较高范围；当眼睛闭合时，高度急剧减小，导致比值骤降。嘴巴同理，通过计算嘴唇上下关键点的距离与嘴角宽度之比，来判断是否在打哈欠。这些计算出来的比值，就是后续判断的原始信号。
最后是疲劳状态决策阶段。单一的帧判断极不可靠，一个眨眼就可能被误判为疲劳。因此，我们必须引入时序分析。系统会维护一个短时间窗口（例如，最近2秒的帧序列），持续监控EAR和MAR的值。我们设定两个阈值：一个是判断阈值（如EAR<0.2认为闭眼），另一个是持续时间阈值（如连续12帧闭眼）。只有当“闭眼”或“打哈欠”的状态持续超过了设定的时间阈值，系统才会触发一次“疲劳事件”计数。当单位时间（如一分钟）内的疲劳事件超过一定次数，系统最终判定驾驶员处于疲劳状态，并发出预警。这个多级滤波的决策机制，是降低误报的核心。
3. 环境部署与源码初探：避开第一个坑
拿到项目压缩包“基于yolov5的疲劳驾驶检测识别项目源码+模型+全部资料+使用说明（毕业设计）.zip”后，别急着运行。正确的第一步是搭建一个干净、可控的Python环境。我强烈推荐使用Anaconda创建独立的虚拟环境，这能避免与系统或其他项目的包版本冲突，这是后续一切顺利的前提。
解压后，你通常会看到类似如下的目录结构：
fatigue_detection/ ├── README.md # 使用说明 ├── requirements.txt # 项目依赖包列表 ├── src/ # 源代码目录 │ ├── detect.py # 主检测脚本 │ ├── models/ # YOLOv5模型定义文件 │ ├── utils/ # 工具函数（数据加载、指标计算等） │ └── ... ├── weights/ # 训练好的模型权重文件 │ └── best.pt ├── data/ # 数据集及配置文件 │ ├── images/ # 示例图片或测试视频 │ ├── labels/ │ └── data.yaml # 数据集配置文件 └── datasets/ # （可能包含）原始数据集或处理脚本首先，检查requirements.txt。由于项目基于YOLOv5，其核心依赖是PyTorch。这里有一个极易踩坑的点：PyTorch的版本必须与你的CUDA版本（如果你使用GPU）匹配。原项目可能是在特定版本的PyTorch下开发的。一个稳妥的做法是，先根据你的CUDA版本，去PyTorch官网获取正确的安装命令。例如，对于CUDA 11.3，你可以这样安装：
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113安装好PyTorch后，再安装requirements.txt中的其他依赖：
pip install -r requirements.txt注意，requirements.txt里可能包含opencv-python,dlib,scipy,matplotlib等。其中dlib的安装在某些Windows系统上可能因缺少CMake或Visual C++构建工具而失败。如果遇到问题，可以尝试寻找预编译的whl文件，或者使用conda安装：conda install -c conda-forge dlib。
环境配置好后，先不要直接运行主检测脚本。我建议先运行一个简单的测试，验证YOLOv5模型和Dlib是否能正常工作。可以创建一个简单的测试脚本test_env.py：
import torch import cv2 import dlib print(f"PyTorch版本: {torch.__version__}") print(f"CUDA是否可用: {torch.cuda.is_available()}") print(f"OpenCV版本: {cv2.__version__}") # 测试Dlib的人脸关键点检测器是否能加载 try: predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") # 需要确保这个dat文件在路径中 print("Dlib shape predictor loaded successfully.") except Exception as e: print(f"Dlib加载失败: {e}")这个步骤能帮你快速定位是PyTorch、CUDA还是Dlib的环境问题。很多同学卡在第一步就是因为环境没配好，盲目运行主程序，报错信息复杂，无从下手。
4. 核心模型详解：YOLOv5的定制化训练与调优
这个项目的基石，是一个针对驾驶舱场景优化过的YOLOv5人脸检测模型。我们并没有直接使用COCO预训练的YOLOv5，因为通用目标检测模型对人脸这种特定目标的精度和速度并非最优。我们的训练数据主要来自公开驾驶数据集（如YawDD、NTHU-DDD）以及部分网络爬取的车内人脸图像，并进行了仔细的清洗和标注。
4.1 数据准备与标注的“脏活累活”
数据是模型性能的天花板。我们当时收集了大约8000张包含不同光照（白天、夜晚、隧道）、不同驾驶员姿态（正脸、侧脸、戴眼镜、戴口罩）的车内图像。标注工具使用的是LabelImg，只标注一个类别：“face”。这里有一个关键细节：标注框的紧密度。框体应紧紧包裹人脸，包括头发和耳朵，但避免包含过多背景，尤其是方向盘、车窗等。过大的框会引入噪声，影响模型对人脸特征的学习专注度。我们花了大量时间统一标注标准，这是提升模型精度的隐性但至关重要的一步。
4.2 YOLOv5模型选型与超参数调校
YOLOv5提供了n、s、m、l、x等不同大小的模型。考虑到部署可能是在算力有限的设备（如Jetson Nano、树莓派）上，我们选择了YOLOv5s（小型）版本。它在速度和精度之间取得了很好的平衡。在训练超参数上，我们主要调整了以下几点：
--img-size: 设置为640。这是YOLOv5的默认输入尺寸，在精度和速度上比较均衡。尝试过更大的尺寸如1024，精度提升微小但推理速度下降明显。--batch-size: 根据GPU显存（当时是GTX 1660 Ti 6GB）设置为16。更大的batch size有助于训练稳定，但受限于硬件。--epochs: 设置为100。我们观察到在50个epoch后验证集损失下降变得平缓，但训练到100个epoch可以让模型充分收敛。--data: 指向我们自定义的data.yaml文件。这个文件定义了数据路径、类别数和类别名。--hyp: 超参数配置文件。我们微调了lr0（初始学习率）和warmup_epochs，使用余弦退火调度器，让学习率平滑下降，避免震荡。
4.3 训练过程中的监控与决策
训练不是设好参数就放任不管。我们使用TensorBoard实时监控几个关键指标：
train/box_loss,train/obj_loss,train/cls_loss: 三个损失函数值应稳步下降。如果box_loss居高不下，可能是标注框质量有问题或模型复杂度不够。metrics/precision,metrics/recall: 我们更关注召回率（Recall）。在疲劳检测中，“漏检”（没检测到人脸）比“误检”（把方向盘当人脸）更致命。漏检意味着后续所有分析失效。因此，我们的优化目标是保证高召回率的前提下，尽可能提升精度。val/: 验证集上的损失和指标，用于判断模型是否过拟合。
当发现验证集指标早于训练集开始变差时，我们启用了早停（Early Stopping）和模型权重保存策略，只保存在验证集上表现最好的权重（best.pt）。最终，我们的模型在内部测试集上达到了mAP@0.5约0.96，召回率超过0.98，满足了项目需求。
4.4 模型融合与蒸馏的进阶思考（毕业设计的加分项）
在毕业设计答辩时，有评委老师问：“有没有考虑过提升模型的鲁棒性？” 这引出了模型融合的思路。我们后来尝试了一个简单的方案：同时训练YOLOv5s和YOLOv5m两个模型。在推理时，采用加权框融合（Weighted Boxes Fusion, WBF）策略。具体来说，两个模型各自预测出人脸框，WBF算法会根据每个框的置信度分数进行加权平均，得到最终更稳定、更准确的检测框。实测在极端光照条件下，融合模型的漏检率比单一模型降低了约30%。当然，这会增加计算开销，属于用资源换精度的策略。如果答辩或项目汇报中能提及这样的对比实验和思考，会大大增加项目的深度。
5. 疲劳判定算法：从关键点到决策逻辑的深度实现
检测到人脸只是第一步，真正的核心在于如何从一张脸上判断出“疲劳”。这个项目采用了基于面部关键点几何特征的经典方法，虽然不如一些基于深度学习序列模型（如LSTM）的方法前沿，但其计算量小、解释性强的特点，非常适合实时系统和入门理解。
5.1 眼睛纵横比（EAR）的计算与阈值选取
我们使用Dlib提取的68个面部关键点中，每只眼睛由6个点（p1-p6）描述。眼睛纵横比（Eye Aspect Ratio, EAR）的计算公式如下：EAR = (||p2-p6|| + ||p3-p5||) / (2 * ||p1-p4||)其中，|| ||表示两点间的欧氏距离。分子是眼睛垂直方向的两组距离之和，分母是眼睛水平方向的距离。当眼睛睁开时，EAR值大致在0.25-0.35之间波动；当眼睛闭合时，分子趋近于0，EAR值会骤降到接近0。
阈值的设定不是拍脑袋决定的。我们通过录制一段包含正常眨眼和长时间闭眼的视频，手动标定每一帧的眼睛状态（睁开/闭合），然后计算对应的EAR值，绘制了分布直方图。发现睁开状态的EAR值主要分布在0.2以上，闭合状态则在0.15以下，中间有部分重叠区域（快速眨眼的过程）。因此，我们将判断阈值（EAR_THRESH）设为0.2。这是一个相对保守的值，旨在减少将眨眼误判为闭眼的可能。同时，我们设定了一个连续帧数阈值（CONSEC_FRAMES）为12（假设视频帧率为30fps，即0.4秒）。只有当EAR连续低于0.2的帧数超过12帧，才认为发生了一次有效的“闭眼事件”。
5.2 嘴巴纵横比（MAR）与哈欠检测
打哈欠是另一个重要的疲劳特征。我们使用嘴巴外轮廓的12个点（第48到第60点）来计算嘴巴纵横比（Mouth Aspect Ratio, MAR）。计算公式与EAR类似，但点不同。更常用的是计算嘴巴内部高度（例如，上唇中点与下唇中点的距离）与嘴角宽度的比值。当打哈欠时，这个比值会显著增大。
我们同样通过数据分析，设定了MAR的阈值（例如，MAR_THRESH = 0.6）和持续时间阈值。这里有一个重要的细节：说话、咳嗽等动作也会导致嘴巴张开。为了区分哈欠和这些动作，我们引入了哈欠的持续时间通常更长（1-3秒）的特点。因此，MAR的连续帧数阈值可以设得比EAR更长一些，例如20帧（约0.67秒），以过滤掉短暂的张嘴动作。
5.3 时序状态机与疲劳决策
系统内部维护着一个简单的状态机来跟踪驾驶员的状态。我们定义了两个计数器：eye_closed_counter和mouth_open_counter。每一帧的处理逻辑如下：
- 计算当前帧的EAR和MAR。
- 如果EAR < EAR_THRESH，则
eye_closed_counter加1；否则，将其清零。 - 如果MAR > MAR_THRESH，则
mouth_open_counter加1；否则，将其清零。 - 如果
eye_closed_counter超过CONSEC_FRAMES，则记录一次“疲劳事件（闭眼）”，并发出“请勿疲劳驾驶！”的语音或视觉警告，同时将该计数器重置，以避免同一段闭眼被重复报警。 - 对
mouth_open_counter进行类似判断，记录“疲劳事件（哈欠）”。
最终，系统会统计单位时间（例如一分钟）内“疲劳事件”的总数。如果超过某个阈值（例如，每分钟3次），则判定驾驶员进入疲劳驾驶状态，触发更高级别的警告（如持续蜂鸣）。这个多层次的判断机制，有效地将瞬时的、可能是误判的信号，通过时间窗口整合成可靠的疲劳状态评估。
6. 工程化与性能优化：让Demo变成可用的程序
毕业设计的代码往往侧重于功能实现，而在工程健壮性、效率和用户体验上有所欠缺。为了让这个项目更接近一个“可用”的状态，我们做了以下几项关键的优化工作。
6.1 多线程与帧缓存管理
原始的脚本可能是单线程的：读取帧 -> 处理 -> 显示结果。这在处理速度较慢时（例如，YOLOv5检测耗时100ms），会导致视频显示严重卡顿，且摄像头缓冲区堆积，看到的画面延迟巨大。我们的优化方案是引入生产者-消费者模型，使用两个线程：
- 生产者线程（摄像头线程）：专门负责从摄像头或视频文件高速读取帧，并将其放入一个大小固定的队列（Frame Queue）中。这个线程几乎不受处理速度影响，保证了视频源的流畅读取。
- 消费者线程（处理线程）：从队列中取出一帧，进行人脸检测、关键点定位、疲劳判断等耗时操作，然后将处理结果（标注框、警告信息）放入另一个结果队列（Result Queue）。
- 主线程（UI线程）：负责从结果队列中取出已处理好的帧，并实时显示到屏幕上。
这样做的好处是将I/O（读帧）与计算（模型推理）解耦，即使处理很慢，视频流也能保持流畅不卡死，只是显示的画面有延迟。我们使用Python的queue.Queue并设置最大长度，防止内存无限增长。这是构建实时视觉应用的一个基础且重要的模式。
6.2 模型推理加速技巧
在资源受限的边缘设备上，每一毫秒都至关重要。我们采用了以下几种加速策略：
- 半精度推理（FP16）：YOLOv5模型在推理时，可以使用
--half参数将模型权重和计算转换为半精度浮点数（FP16）。这几乎能在不损失精度的情况下，将推理速度提升1.5-2倍，同时减少显存占用。在支持Tensor Core的GPU上效果尤为显著。 - OpenCV DNN模块集成：虽然PyTorch方便，但有时为了极致性能或跨平台部署，我们会将训练好的PyTorch模型通过ONNX转换为OpenCV的DNN模块可读的格式。OpenCV DNN在某些CPU上的优化非常好。我们做过对比，在Intel CPU上，使用OpenCV推理YOLOv5，速度比直接使用PyTorch CPU模式快约30%。
- 图像预处理与后处理优化：将图像缩放、归一化等预处理步骤，以及非极大值抑制（NMS）等后处理步骤，尽可能使用向量化操作（如NumPy）或利用OpenCV的内置函数，避免低效的Python循环。
6.3 误报过滤与平滑处理
直接使用原始的关键点坐标计算EAR/MAR，会因头部轻微晃动、光照变化导致数值抖动，产生误报。我们引入了指数加权移动平均（EWMA）对EAR和MAR序列进行平滑滤波。EAR_smoothed[i] = alpha * EAR_current + (1 - alpha) * EAR_smoothed[i-1]其中，alpha是一个介于0和1之间的平滑因子（如0.3）。较小的alpha意味着更强的平滑效果，但也会引入延迟。这个简单的滤波能有效消除高频噪声，让状态判断更加稳定。此外，我们还增加了头部姿态的简单校验。如果检测到人脸的偏航角或俯仰角过大（通过solvePnP计算），我们会暂时降低该帧的置信度或直接跳过疲劳判断，因为此时关键点可能已严重变形，计算出的EAR/MAR不可靠。
7. 项目扩展与未来改进方向
这个基于YOLOv5和传统图像算法的疲劳检测项目，作为一个毕业设计或入门项目，已经具备了完整的闭环。但技术总是在发展，如果你有兴趣在此基础上进行深化，这里有几个明确的改进方向。
7.1 融合更多生理特征
眼睛和嘴巴是显性特征，但疲劳还有一些更细微的表现。可以尝试集成：
- 头部姿态分析：持续性的点头（头部前倾）是瞌睡的强烈信号。可以使用Dlib或MediaPipe输出的3D关键点，或者训练一个轻量级网络，实时估计头部的欧拉角（俯仰、偏航、翻滚）。当俯仰角（点头）在短时间内发生周期性的大幅度变化时，可作为疲劳判据。
- 心率变异性与血氧信号（远程光电体积描记术，rPPG）：这是一个更有挑战性但非常前沿的方向。通过分析人脸视频中皮肤颜色的细微周期性变化，可以非接触式地估计心率和心率变异性。疲劳状态下，HRV的某些频域指标会发生变化。虽然实现难度大，且对环境光敏感，但作为学术探索极具价值。
7.2 转向端到端的深度学习模型
当前方案是“检测->关键点->规则判断”的流水线，每个环节都可能出错且误差会累积。一个趋势是构建端到端的网络。例如，可以设计一个双分支或多任务网络：主干网络（如MobileNetV3）提取特征，一个分支做人脸/眼睛检测（边界框回归），另一个分支直接回归疲劳状态的概率（分类任务）。或者，使用时空网络（如3D CNN或CNN+LSTM）直接输入短时间的视频片段，让网络自己学习疲劳的时空模式。这需要更大规模、标注更精细的视频数据集。
7.3 面向边缘设备的轻量化与量化部署
如果目标是部署到车载嵌入式设备（如Jetson Nano、RK3568、地平线旭日X3等），则需要进一步的优化：
- 模型轻量化：可以考虑使用YOLOv5更小的变种（如nano版本），或使用神经网络架构搜索（NAS）技术搜索更适合特定硬件的超轻量模型。
- 模型量化：将FP32模型量化为INT8精度，可以大幅减少模型体积和提升推理速度。可以使用PyTorch的量化工具或TensorRT、OpenVINO等推理框架来完成。这个过程可能会带来轻微的精度损失，需要通过量化感知训练或校准来缓解。
- 推理引擎选择：在Jetson系列上，TensorRT是性能最优的选择；在Intel平台上，OpenVINO是首选；对于ARM CPU，可以考虑TFLite或MNN。需要将训练好的模型转换到对应的格式。
这个项目源码包的价值，在于它提供了一个完全可运行、可修改的基线系统。你可以把它当作一个坚实的起点，沿着上述任何一个方向进行探索，都能做出更有深度的工作。希望这份超详细的拆解，能帮你不仅跑通代码，更能理解背后的每一行设计逻辑，从而真正掌握这个项目，并创造出属于自己的改进版本。
本文还有配套的精品资源，点击获取
