简介：这份毕业设计资源面向计算机相关专业学生与Python初学者，提供一套基于卷积神经网络的人脸识别驾驶员疲劳检测与预警系统完整源码，可用于课程设计、毕设答辩或深度学习入门实践。压缩包共15个文件，约2.8MB，包含3个py主程序脚本、1个ui界面文件、1个whl离线安装包、4个xml工程配置、2个txt依赖与说明文档，以及md说明、png需求图等辅助材料，覆盖从界面搭建到模型调用的主要环节。资源中附带dlib离线安装包与requirements依赖清单，便于在Python 3.6环境下快速还原运行环境，main.py与main_ui.py分工明确，配合README可理清项目结构与调用逻辑。目前已有364人学习下载，适合需要参考疲劳检测实现思路、人脸识别工程组织方式或直接复用界面与检测流程的读者，也可作为二次开发与功能扩展的基础模板。
1. 从一张答辩现场照片说起：这套疲劳检测系统到底在做什么
答辩季我帮人看过不少毕设演示，最尴尬的一幕是：摄像头对着脸，PPT 上写着"疲劳检测准确率 98%"，结果演示者打了个哈欠，界面纹丝不动。问题不在模型，在于整条链路没打通——人脸没框准、眼睛开合度算错、报警阈值拍脑袋定的。这套「基于 Python 卷积神经网络的人脸识别驾驶员疲劳检测与预警系统」，本质就是把三件事串成一条流水线：先用 OpenCV 加人脸检测把人脸抠出来，再用一个轻量 CNN 判断眼睛和嘴巴的状态，最后按连续帧的闭眼/打哈欠时长触发预警。它适合两类人：一是做毕设、需要一套能跑通、能讲清原理、能现场演示的学生；二是想入门计算机视觉落地、拿一个完整小项目练手的 Python 开发者。下面我按自己搭这套东西的顺序，把选型、代码、参数和翻车点全摊开讲。
2. 疲劳检测的技术选型：为什么是 CNN 而不是传统特征
2.1 三种主流路线的取舍
做疲劳检测，业内常见三条路。第一条是传统图像特征法，用 Haar 级联检测人脸，再定位眼睛区域，算眼睛纵横比（EAR）和嘴巴纵横比（MAR），阈值判断。优点是快、代码短、CPU 就能跑；缺点是光照一变、戴眼镜、侧脸就崩，阈值还得手动调，玄学得很。第二条是 CNN 分类法，把人脸或眼睛区域裁出来，喂给卷积神经网络做"睁眼/闭眼""张嘴/闭嘴"二分类，鲁棒性明显好于纯几何特征。第三条是端到端回归，直接输入整帧输出疲劳分数，精度高但需要大量标注数据，毕设体量扛不住。
我一般推荐 CNN 分类法，理由很实在：数据好造（睁眼闭眼各拍几百张就行），模型小（几万参数就能到 95% 以上），训练在普通笔记本上十几分钟能跑完，答辩时还能画出卷积神经网络结构图讲清楚每一层在干嘛。标题里点名的"卷积神经网络"和"人脸识别"，落点就在这条路上。
2.2 整体流水线的四个环节
整条链路拆开是四步。第一步人脸检测，用 OpenCV 自带的 Haar 或 DNN 人脸检测器，把画面里的人脸框出来。第二步关键区域裁剪，按人脸框的比例切出左右眼和嘴巴三个小图。第三步 CNN 推理，三个小图分别过网络，输出睁闭眼、张闭嘴的概率。第四步时序判断与预警，维护一个滑动窗口，统计最近若干帧里闭眼和打哈欠的占比，超过阈值就报警。
这里有个容易被忽略的点：单帧判断一定会抖。某一帧刚好眨眼到一半，模型可能判成闭眼，如果直接报警就是误报。所以第四步的时序平滑才是决定这套系统"像不像样"的关键，很多毕设翻车就翻在这。
2.3 环境搭建与依赖安装
先把环境弄干净。我习惯用 Python 3.8 到 3.10 之间的版本，太新的版本有些库轮子还没跟上。建虚拟环境，装核心依赖：
# 创建并激活虚拟环境（Windows 用 venv\Scripts\activate） python -m venv drowsy_env source drowsy_env/bin/activate # 安装核心依赖，版本区间是实测比较稳的组合 pip install opencv-python==4.8.1.78 # 图像采集与人脸检测 pip install numpy==1.24.3 # 矩阵运算 pip install torch==2.0.1 torchvision==0.15.2 # CNN 训练与推理 pip install pygame==2.5.0 # 报警音播放装完先验证 OpenCV 能不能调起摄像头，这一步不过后面全白搭：
import cv2 # 0 表示默认摄像头，笔记本外接摄像头可能要改成 1 cap = cv2.VideoCapture(0) if not cap.isOpened(): raise RuntimeError("摄像头打不开，检查是否被其他程序占用") while True: ok, frame = cap.read() if not ok: break cv2.imshow("preview", frame) # 按 q 退出，避免死循环关不掉 if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()这段代码的逻辑很直白：打开摄像头，逐帧读取并显示，按 q 退出。参数上，VideoCapture(0)里的数字是设备索引，如果画面是黑的或者报错，先换 1 试试，再检查系统隐私设置里摄像头权限有没有开。waitKey(1)里的 1 是毫秒，值越小画面越流畅但 CPU 占用越高，一般 1 到 30 之间调。
提示：如果
pip install torch卡住或下载慢，先确认是不是网络问题，别急着换源乱装，装错版本后面报的错会非常难查。
3. 人脸检测与眼睛嘴巴区域裁剪的实操
3.1 用 Haar 还是 DNN 检测器
OpenCV 提供两种现成人脸检测方案。Haar 级联是经典方案，haarcascade_frontalface_default.xml这个文件随 OpenCV 一起装好，调用简单，CPU 上也能跑到实时。DNN 检测器精度更高，尤其是侧脸和小脸，但要多下一个模型文件，速度稍慢。
毕设场景我建议先用 Haar 跑通，因为它零额外依赖，答辩电脑上不会因为缺文件翻车。等主流程稳了，再考虑换 DNN 提精度。人脸检测的调用长这样：
import cv2 # 加载 OpenCV 自带的人脸级联检测器 face_cascade = cv2.CascadeClassifier( cv2.data.haarcascades + "haarcascade_frontalface_default.xml" ) def detect_faces(frame): # 转灰度能显著提速，检测本身不需要颜色信息 gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # scaleFactor 控制金字塔缩放步长，minNeighbors 控制误检抑制 faces = face_cascade.detectMultiScale( gray, scaleFactor=1.1, minNeighbors=5, minSize=(80, 80) ) return facesscaleFactor=1.1表示每次图像缩小 10% 再找，值越小越慢但越不容易漏；minNeighbors=5是每个候选框周围要多少个邻居才确认，调大能压误检但可能漏脸；minSize过滤掉太小的框，避免把远处杂物当脸。
3.2 按比例裁剪眼睛和嘴巴区域
拿到人脸框(x, y, w, h)后，眼睛和嘴巴的位置可以用经验比例切。左眼大致在x + 0.15w到x + 0.45w，纵向在y + 0.2h到y + 0.45h；右眼对称；嘴巴在x + 0.25w到x + 0.75w，纵向y + 0.6h到y + 0.9h。这套比例不是死的，跟人脸检测框的松紧有关，实际调的时候对着自己的脸微调。
def crop_regions(frame, face): x, y, w, h = face # 按经验比例切出三个区域，注意边界不能越界 left_eye = frame[int(y+0.2*h):int(y+0.45*h), int(x+0.15*w):int(x+0.45*w)] right_eye = frame[int(y+0.2*h):int(y+0.45*h), int(x+0.55*w):int(x+0.85*w)] mouth = frame[int(y+0.6*h):int(y+0.9*h), int(x+0.25*w):int(x+0.75*w)] return left_eye, right_eye, mouth裁剪完统一缩到24x24或32x32再送进网络，尺寸一致才好批量训练。这里有个血泪经验：裁剪区域如果切到了眉毛或者鼻梁，模型会把眉毛动作误判成闭眼，所以纵向起点别太靠上。
3.3 数据采集与标注的省事做法
训练数据不用去下公开数据集，自己拍最快。写个小脚本，按空格键保存当前帧的眼睛和嘴巴小图，分文件夹存成open、closed、yawn、normal四类。每类拍 300 到 500 张，换几个人、换几个光照条件拍，泛化性会好很多。
import cv2, os # 四个类别对应睁眼、闭眼、打哈欠、正常闭嘴 label = "closed" save_dir = f"dataset/{label}" os.makedirs(save_dir, exist_ok=True) cap = cv2.VideoCapture(0) count = 0 while True: ok, frame = cap.read() if not ok: break cv2.imshow("capture", frame) key = cv2.waitKey(1) & 0xFF if key == ord(' '): # 空格保存当前帧 cv2.imwrite(f"{save_dir}/{count}.jpg", frame) count += 1 elif key == ord('q'): break cap.release() cv2.destroyAllWindows()采集时注意：闭眼样本要包含"半闭"的过渡状态，不然模型遇到眯眼会犹豫；打哈欠样本要真的张嘴，别用微笑凑数。数据质量直接决定上限，这一步偷懒后面调参调到怀疑人生。
4. 卷积神经网络建模与训练的关键参数
4.1 一个够用的轻量 CNN 结构
毕设不需要 ResNet 那种大网络，一个三四层的 CNN 足够。输入32x32灰度图，两层卷积加池化，再接全连接输出类别。结构大致是：卷积(32 通道) → 池化 → 卷积(64 通道) → 池化 → 展平 → 全连接(128) → 输出。参数量几万，训练快，答辩时画结构图也清爽。
import torch import torch.nn as nn class EyeMouthCNN(nn.Module): def __init__(self, num_classes=2): super().__init__() self.features = nn.Sequential( # 第一层卷积：1 通道灰度输入，输出 32 通道，3x3 卷积核 nn.Conv2d(1, 32, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), # 32x32 -> 16x16 nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), # 16x16 -> 8x8 ) self.classifier = nn.Sequential( nn.Flatten(), nn.Linear(64 * 8 * 8, 128), nn.ReLU(), nn.Dropout(0.5), # 防过拟合，训练时随机丢一半 nn.Linear(128, num_classes) ) def forward(self, x): return self.classifier(self.features(x))padding=1保证卷积后尺寸不变，MaxPool2d(2)每次把长宽减半。Dropout(0.5)在小数据集上很关键，能明显压住过拟合。num_classes按任务设：眼睛任务设 2（睁/闭），嘴巴任务设 2（张/闭）。
4.2 训练循环与必调参数
训练用交叉熵损失加 Adam 优化器，这是最省心的组合。批大小 32，学习率 1e-3，跑 20 到 30 个 epoch 基本收敛。
from torch.utils.data import DataLoader from torchvision import datasets, transforms # 统一转灰度并缩到 32x32，和推理时保持一致 transform = transforms.Compose([ transforms.Grayscale(), transforms.Resize((32, 32)), transforms.ToTensor(), ]) train_set = datasets.ImageFolder("dataset/train", transform=transform) train_loader = DataLoader(train_set, batch_size=32, shuffle=True) model = EyeMouthCNN(num_classes=len(train_set.classes)) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(25): model.train() total_loss = 0 for imgs, labels in train_loader: optimizer.zero_grad() out = model(imgs) loss = criterion(out, labels) loss.backward() optimizer.step() total_loss += loss.item() print(f"epoch {epoch}, loss {total_loss/len(train_loader):.4f}") torch.save(model.state_dict(), "eye_mouth_cnn.pth")几个参数的作用：batch_size=32是显存和稳定性的折中，太小梯度抖，太大收敛慢；lr=1e-3是 Adam 的常用起点，如果 loss 震荡就降到 1e-4；epoch看验证集，验证 loss 开始上升就停，别硬跑。训练完把权重存下来，推理时加载。
4.3 训练结果的判断标准
别只看训练准确率，那玩意能到 99% 但没意义。要划出验证集，看验证准确率和混淆矩阵。眼睛分类验证准确率能到 95% 以上、闭眼召回率不低于 90%，就算合格。如果闭眼总被漏判，说明闭眼样本不够或者太单一，回去补数据比调网络管用。
5. 避坑与排查：这套系统最容易翻车的五个地方
5.1 摄像头画面卡顿、延迟越来越高
现象：跑几分钟后画面越来越卡，内存占用一路涨。原因：每帧都新建了图像对象，或者把大图存进了列表没释放。解决：确保循环里不累积帧，imshow后及时waitKey，需要保存的帧单独处理完就丢。另外把推理放到独立线程，别和采集抢主线程。
5.2 明明睁着眼却报警
现象：演示时正常睁眼，系统频繁报疲劳。原因：单帧误判加没有时序平滑，或者裁剪区域偏了把眉毛当眼睛。解决：加滑动窗口，比如最近 30 帧里闭眼占比超过 60% 才报警；同时打印裁剪出的小图看一眼，确认切的是眼睛不是眉毛。
5.3 换个人或换个光照就失灵
现象：自己测很准，换同学来测就乱报。原因：训练数据太单一，就一个人一个场景。解决：采集时至少找 3 个人、2 种光照，戴眼镜和不戴眼镜都要有。数据多样性是泛化性的唯一来源，没有捷径。
5.4 报警音不响或报错
现象：触发预警但没声音，或者pygame报设备错误。原因：音频文件路径不对，或者系统没有可用音频输出设备。解决：用绝对路径加载音频，先单独写个最小脚本测pygame.mixer能不能出声，确认没问题再集成进主流程。
5.5 打包成 exe 后跑不起来
现象：源码能跑，打包后闪退。原因：模型权重文件和音频文件没被打进去，或者 OpenCV 的级联文件路径变了。解决：用--add-data把.pth、.xml、音频一起打包，代码里用sys._MEIPASS处理资源路径。这一步坑最多，建议留到最后再做。
6. 让预警更靠谱：时序平滑与阈值调优的实战技巧
单帧模型再准，直接拿来报警也会抖。真正让这套系统"能用"的，是最后一层的时序逻辑。我的做法是维护两个计数器：闭眼计数和打哈欠计数，各自配一个滑动窗口。
具体实现上，用一个长度为 30 的队列存最近 30 帧的眼睛状态（0 睁 1 闭），每帧更新。当队列里 1 的比例超过 0.6，判定为"持续闭眼"，触发一级预警；嘴巴状态同理，张嘴比例超过 0.5 判定为打哈欠，触发二级预警。两个都触发就升级为重度疲劳。这样处理之后，正常眨眼（通常 2 到 3 帧）根本不会触发，误报率断崖式下降。
阈值怎么定？别拍脑袋。录一段自己正常工作的视频和一段故意打哈欠的视频，分别跑一遍，统计闭眼比例和哈欠比例的分布，取两者中间偏保守的值。我实测下来，闭眼比例阈值 0.6、哈欠比例阈值 0.5 是个不错的起点，但每个人眨眼频率不同，最好留个配置文件让用户能调。
from collections import deque # 两个滑动窗口分别记录眼睛和嘴巴状态 eye_window = deque(maxlen=30) mouth_window = deque(maxlen=30) def check_fatigue(eye_closed, mouth_open): eye_window.append(1 if eye_closed else 0) mouth_window.append(1 if mouth_open else 0) eye_ratio = sum(eye_window) / len(eye_window) mouth_ratio = sum(mouth_window) / len(mouth_window) # 两个条件都满足才算重度疲劳，避免单一指标误报 if eye_ratio > 0.6 and mouth_ratio > 0.5: return "重度疲劳" elif eye_ratio > 0.6: return "疑似疲劳" return "正常"maxlen=30决定窗口长度，按 30fps 算大约对应 1 秒，太长反应迟钝，太短又压不住抖动，1 秒左右比较合适。这套逻辑的好处是可解释：答辩时你能清楚说出"为什么这一帧报警"，而不是"模型说的"。
还有个进阶技巧：把眼睛和嘴巴两个 CNN 的输出概率也纳入判断，不只看硬分类结果。比如闭眼概率连续多帧高于 0.8 才算数，比单纯看分类标签更稳。另外预警方式别只用声音，加个界面边框变红、文字提示，演示效果会好很多。我踩过的最大坑是早期只用一个固定阈值，结果自己测完美，换人演示就翻车，后来改成可配置加双指标，才真正稳下来。做这类系统，模型只是上半场，时序逻辑和阈值调优才是决定成败的下半场。希望帮到你。
本文还有配套的精品资源，点击获取
