简介：这份资源是CVND（计算机视觉纳米学位）的第一个实战项目——面部关键点检测的完整代码与数据集，面向具备Python与深度学习基础、希望掌握CNN回归任务与经典人脸检测流程的学习者。项目围绕眼睛、鼻子、嘴部关键点展开，可应用于面部跟踪、姿态识别、滤镜与情感识别等场景。压缩包共约2000个文件、330.12MB，主体为5774张jpg人脸图像及配套标注，另有9个ipynb笔记本、8张png示意图、4个xml级联分类器、2个csv关键点坐标表、2个py脚本与若干说明文档，覆盖数据加载可视化、CNN网络定义与训练、Haar级联结合CNN的完整检测管线，以及趣味滤镜四个阶段。已有200人学习下载。借助这些素材，读者可完整复现从数据预处理、模型搭建到端到端人脸关键点预测的全流程，理解回归损失与检测管线的衔接方式，并在此基础上迁移到自定义数据集或扩展滤镜类应用。
1. 零基础也能上手：人脸关键点检测到底在做什么
你可能遇到过这种情况：手机相册自动把照片里每个人的脸都圈出来，还能给表情加个猫耳朵或者贴纸，位置刚好卡在眼睛和嘴巴上。这背后其实就一件事——先找到脸上那些关键位置，比如眼角、鼻尖、嘴角。这个“找位置”的过程，在计算机视觉里叫人脸关键点检测。
而 P1_Facial_Keypoints 就是带你做这件事的第一个项目。它不要求你懂深度学习框架的底层原理，也不要求你数学多好。你只需要会一点 Python，能在 Jupyter Notebook 里跑代码，就能跟着一步步把模型搭出来、训起来、最后在照片上画出关键点。说白了，这是计算机视觉方向最经典的入门练手项目之一，适合刚学完 Python 基础、想找个能看见结果的小项目来建立信心的人。你不需要先成为算法专家，只需要愿意打开 Notebook，一行一行往下走。
2. 为什么值得从它开始：先搞懂关键点检测能干嘛
2.1 关键点检测不是“识别脸”，而是“定位五官”
很多人第一次听到“人脸关键点”会以为是在做身份识别，其实不是。识别脸是判断“这是谁”，关键点检测是判断“眼睛在哪儿、鼻子在哪儿”。它输出的是一组坐标，比如左眼中心在图片的第 120 行、第 85 列。通常一张脸会取 68 个点，分布在眉毛、眼睛、鼻子、嘴巴和下巴轮廓上。
你可以把它想象成给脸画一张“简笔画骨架”。有了这 68 个点，就能做很多事：自动美颜时精准定位嘴唇位置、换脸时对齐两张脸、表情分析时看嘴角上扬还是下垂。这些应用的基础都是关键点检测。所以这个项目虽然叫“P1”，但它练的是计算机视觉里非常核心的一种思维：把图像问题转化成坐标回归问题。
2.2 为什么新手适合从 Jupyter Notebook 开始
Jupyter Notebook 最大的好处是“边写边看”。你不用写完一整个脚本再运行，而是可以一个格子一个格子地执行。比如先加载一张图片，下面立刻显示出来；再写几行代码画出关键点，下面立刻看到点有没有落在正确位置。这种即时反馈对新手特别重要，因为你能马上知道自己哪一步做错了。
另外，Notebook 里可以混着写代码、文字说明和图片，非常适合跟着教程一步步做。P1_Facial_Keypoints 这个项目本身就是以 Notebook 形式组织的，你打开之后不需要配置复杂的工程结构，直接从上往下运行就行。入门的话建议先熟悉几个快捷键：Shift+Enter 运行当前格子，Esc 进入命令模式，A 在上面插入新格子，B 在下面插入新格子。这几个够你跑完整个项目了。
2.3 第一个能跑的例子：加载一张图并画出关键点
下面这段代码假设你已经拿到了项目文件，并且图片和关键点数据都在对应文件夹里。你可以在 Notebook 里新建一个格子，把代码贴进去运行。
# 导入必要的库 import numpy as np import matplotlib.pyplot as plt import cv2 import glob # 读取一张人脸图片，路径根据你实际存放位置调整 image_path = 'data/training/face_01.jpg' image = cv2.imread(image_path) image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # OpenCV 默认是 BGR，转成 RGB 才能正常显示 # 读取对应的关键点数据，假设是 68 个点的坐标 keypoints = np.load('data/training/face_01.npy') # 形状通常是 (68, 2) # 在图片上画出关键点 plt.figure(figsize=(8, 8)) plt.imshow(image) plt.scatter(keypoints[:, 0], keypoints[:, 1], s=10, c='r', marker='.') # 横坐标和纵坐标分别取出来 plt.axis('off') plt.show()这段代码做了三件事：把图片读进来、把关键点数据读进来、把点画在图片上。keypoints[:, 0]取的是所有点的横坐标，keypoints[:, 1]取的是纵坐标。s=10控制点的大小，c='r'表示红色。运行之后你应该能看到一张人脸，上面有 68 个红点分布在五官周围。如果点全部挤在左上角或者完全看不见，多半是图片尺寸和关键点坐标没有对应上，这时候需要检查数据加载部分有没有做归一化或者缩放。
提示：第一次跑的时候建议先用项目里自带的一张示例图，不要急着换自己的照片。等确认流程能跑通，再换成自己的数据。
3. 从零跑通第一个训练流程：数据、模型、训练各走一步
3.1 先看懂数据长什么样
在动手写模型之前，你得先知道喂给模型的数据是什么格式。P1_Facial_Keypoints 通常用的是一种很直接的组织方式：一张图片对应一个关键点文件。图片是 JPG 或 PNG，关键点文件是 CSV 或 NPY。CSV 里一般有四列：图片名、点的序号、横坐标、纵坐标。NPY 则直接存成一个 68×2 的数组。
你可以用下面这几行快速看一眼数据：
import pandas as pd # 假设关键点存在 CSV 里 df = pd.read_csv('data/training/keypoints.csv') print(df.head()) # 看前几行长什么样 print(df.shape) # 看一共有多少行 print(df['image_name'].nunique()) # 看涉及多少张不同的图片如果df.head()显示出来的列名是image_name, point_index, x, y，那就说明数据格式没问题。nunique()告诉你一共有多少张脸，这个数字决定了你后面训练集和验证集怎么分。入门阶段不需要自己从头整理数据，项目里一般已经分好了训练集和测试集，你只需要知道怎么读、怎么检查有没有缺值就行。
3.2 搭一个最简模型：卷积层加全连接层
关键点检测的模型结构可以很简单：几层卷积负责从图片里提取特征，最后接一个全连接层输出 136 个数字（68 个点 × 2 个坐标）。下面是一个能跑通的最小示例，用的是 PyTorch。
import torch import torch.nn as nn class SimpleKeypointNet(nn.Module): def __init__(self): super(SimpleKeypointNet, self).__init__() # 卷积部分：逐步把图片变成特征图 self.conv = nn.Sequential( nn.Conv2d(3, 32, kernel_size=3, padding=1), # 输入 3 通道 RGB，输出 32 通道 nn.ReLU(), nn.MaxPool2d(2), # 宽高各减半 nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(2) ) # 全连接部分：把特征图拉平后回归出 136 个坐标值 self.fc = nn.Sequential( nn.Linear(128 * 16 * 16, 512), # 假设输入图片是 128×128，经过三次池化后是 16×16 nn.ReLU(), nn.Linear(512, 136) # 68 个点，每个点两个坐标 ) def forward(self, x): x = self.conv(x) x = x.view(x.size(0), -1) # 拉平 x = self.fc(x) return x model = SimpleKeypointNet() print(model)这个模型不复杂，但已经包含了关键点检测的基本套路：卷积提特征、池化降尺寸、全连接出坐标。128 * 16 * 16这个数字取决于你输入图片的大小，如果你把图片缩放到 128×128，经过三次 MaxPool2d(2) 之后特征图就是 16×16。如果输入尺寸变了，这个数字也要跟着改。入门的时候建议先用 128×128，跑通了再尝试更大的尺寸。
3.3 训练循环：让模型一步步学会看脸
有了模型和数据，接下来就是训练。训练的过程就是反复给模型看图片、算损失、更新参数。下面是一个最简训练循环：
import torch.optim as optim # 假设你已经有了 train_loader，每次吐出一批图片和对应的关键点 criterion = nn.MSELoss() # 回归问题用均方误差 optimizer = optim.Adam(model.parameters(), lr=0.001) for epoch in range(10): # 先跑 10 轮看看效果 running_loss = 0.0 for images, keypoints in train_loader: optimizer.zero_grad() # 清空上一轮梯度 outputs = model(images) # 前向传播 loss = criterion(outputs, keypoints) # 算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 running_loss += loss.item() print(f'Epoch {epoch+1}, Loss: {running_loss/len(train_loader):.4f}')MSELoss衡量的是模型预测的坐标和真实坐标之间的平均平方差。Adam是常用的优化器，lr=0.001是学习率，控制每次更新的步子有多大。跑完 10 轮之后，如果损失在下降，说明模型在学。如果损失不动或者变成 NaN，多半是学习率太大或者数据没有归一化。入门阶段先把损失降下去，不用急着追求多高的精度。
注意：训练之前记得把图片和关键点都转成 Tensor，并且把关键点坐标归一化到 0 到 1 之间。不然损失会非常大，模型很难收敛。
4. 避坑指南：新手最容易翻车的五个地方
4.1 图片显示颜色不对，人脸变成蓝色或红色
现象：用plt.imshow()显示图片时，人脸颜色很奇怪，偏蓝或者偏红。原因：OpenCV 读取图片默认是 BGR 顺序，而 Matplotlib 显示时按 RGB 解释。解决：在读图之后加一行image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)，把通道顺序换过来。
4.2 关键点全部挤在左上角
现象：画出来的红点没有分布在脸上，而是集中在图片左上角一小块。原因：关键点坐标没有根据图片实际尺寸做缩放，或者图片被 resize 了但关键点没跟着缩放。解决：检查图片尺寸和关键点坐标的范围。如果图片是 256×256，关键点坐标也应该在 0 到 256 之间。如果图片被缩放到 128×128，关键点坐标也要等比例缩小。
4.3 训练损失一直不下降
现象：跑了很多轮，Loss 几乎不变，或者上下波动很大。原因：常见的有三种——学习率太大、数据没有归一化、模型输出和标签形状不匹配。解决：先把学习率调到 0.0001 试试；再把关键点坐标除以图片宽度和高度，归一化到 0 到 1；最后打印一下outputs.shape和keypoints.shape，确认都是(batch_size, 136)。
4.4 Notebook 里变量太多，忘了之前定义过什么
现象：跑着跑着报错说某个变量未定义，或者用了同名的变量导致结果不对。原因：Notebook 的格子可以乱序执行，很容易出现“前面定义过，后面又覆盖了”的情况。解决：养成习惯，每次重新跑的时候从第一个格子开始按顺序执行。如果乱了，点菜单里的 Restart Kernel 清空所有变量，再从头跑一遍。
4.5 显存不够，跑一半报 CUDA out of memory
现象：训练到一半突然报错，说显存不足。原因：批次大小设得太大，或者图片尺寸太大。解决：先把batch_size降到 16 甚至 8，再把图片缩到 128×128。如果还是不够，就在 Notebook 里加torch.cuda.empty_cache()清一下缓存。入门阶段用 CPU 跑小图也完全可以，只是慢一点。
5. 下一步学什么：从跑通到跑好的三条路
跑通第一个训练循环之后，你可能会发现模型预测的点还不够准，或者训练速度太慢。这时候不用急着换更复杂的模型，先把下面三件事做一遍，效果往往比直接上大模型更明显。
第一件事是数据增强。关键点检测对图片的旋转、缩放、平移很敏感。你可以在训练时随机把图片旋转一个小角度，同时把关键点坐标也做同样的旋转。这样模型见到的变化更多，泛化能力会更好。在 PyTorch 里可以用torchvision.transforms配合自定义的关键点变换来实现，入门的话先手动写一个简单的旋转函数就行。
第二件事是换一个更强的骨干网络。你现在用的三层卷积很简单，可以换成 ResNet 的前几层。不用自己从头写，torchvision.models.resnet18(pretrained=True)直接拿来用，把最后的全连接层改成输出 136 个值就行。预训练权重能帮你省很多训练时间，精度也会明显提升。
第三件事是学会看验证集。训练损失下降不代表模型变好了，有可能只是记住了训练数据。你需要把一部分数据划出来做验证，每跑几轮就在验证集上算一次损失。如果训练损失降但验证损失升，说明过拟合了，这时候要加 Dropout 或者减少模型参数。
下面这张表可以帮你判断下一步该往哪个方向走：
| 你遇到的情况 | 优先尝试的方向 | 具体做法 |
|---|---|---|
| 训练损失降不下去 | 检查数据和学习率 | 归一化坐标，学习率调到 0.0001 |
| 训练损失降但验证损失升 | 加正则化 | 在全连接层后加 Dropout(0.5) |
| 预测的点整体偏移 | 检查数据对齐 | 确认图片 resize 后关键点也同步缩放 |
| 训练太慢 | 减小输入尺寸 | 把图片缩到 64×64 先跑通流程 |
我第一次做这个项目的时候，花了整整一个下午在调图片和关键点的对齐问题，最后发现是 resize 的时候只改了图片没改坐标。从那以后我每次加载数据都强制先打印一张带点的图看一眼，确认没问题再往下跑。这个习惯帮我省了很多后悔药。
希望帮到你。
本文还有配套的精品资源，点击获取
