Face Analysis WebUI模型训练教程：自定义人脸识别模型

Face Analysis WebUI模型训练教程：自定义人脸识别模型

你是不是也想过，能不能训练一个只认识你和你家人的专属人脸识别模型？比如，给家里的智能门锁装上，让它只给家人开门；或者给自己的照片库做个智能分类，自动把不同人的照片分开。

听起来挺酷的，但一想到要搞什么深度学习、模型训练，是不是就觉得头大？别担心，今天我就带你一步步搞定这件事。咱们不用从零开始造轮子，直接用现成的Face Analysis WebUI，加上一些简单的训练技巧，就能做出一个效果不错的自定义人脸识别模型。

我最近正好做了这么个项目，用来识别我们团队几个核心成员的脸。整个过程下来，感觉比想象中简单多了，效果也出乎意料的好。下面我就把完整的流程和踩过的坑都分享给你，保证你看完就能自己动手试试。

1. 先搞清楚人脸识别到底是怎么一回事

在开始动手之前，咱们先花几分钟了解一下人脸识别的基本原理。别担心，我不讲那些复杂的数学公式，就用大白话给你说明白。

你可以把人脸识别想象成四个步骤：

第一步：找到脸在哪就像你在一张集体照里找人一样，系统要先从图片里把所有人脸都找出来，并且用框框标出来。这一步现在用深度学习算法做得特别准，基本上不会漏掉。

第二步：把脸“摆正”找到脸之后，你会发现有的人脸是侧着的，有的人是低着头的。这一步就是把所有脸都调整成“标准姿势”，就像拍证件照那样正面朝前。这样后面处理起来就方便多了。

第三步：提取“人脸特征”这是最核心的一步。系统会从摆正的人脸里提取一个“特征向量”——你可以把它想象成人脸的“数字指纹”。这个指纹不是照片，而是一串数字（比如512个数字），它能唯一代表这张脸的特点。同一个人的不同照片，提取出来的指纹会很相似；不同人的指纹则会差得很远。

第四步：比对指纹最后一步就简单了。把新照片的指纹和你之前存好的指纹库进行比对，看看跟谁的指纹最像。如果相似度超过某个阈值（比如95%），就认为是同一个人。

现在主流的做法都是用InsightFace这个开源工具，它把上面四步都打包好了，我们直接用就行。它用的ArcFace算法特别厉害，能让同一个人的指纹更集中，不同人的指纹更分散，识别准确率很高。

2. 准备工作：环境搭建和数据收集

2.1 安装Face Analysis WebUI

首先你得有个能运行的环境。如果你已经有Python环境，可以直接用pip安装：

# 安装insightface pip install insightface # 安装opencv用于图像处理 pip install opencv-python # 安装其他可能需要的依赖 pip install numpy matplotlib

如果你不想折腾环境，也可以直接用一些云平台提供的镜像。有些平台已经预装了Face Analysis WebUI，直接启动就能用，省去了配置环境的麻烦。

2.2 收集训练数据

这是最关键的一步！模型训练得好不好，很大程度上取决于你的数据质量。我总结了几个要点：

数量要求

• 最少5张，建议10-20张
• 同一个人的照片越多越好，但不要超过50张（容易过拟合）

质量要求

• 人脸清晰，不要模糊
• 光线均匀，不要有太强的阴影
• 最好是正面或稍微侧一点（不要大侧脸）
• 表情自然，不要夸张的鬼脸
• 建议不要戴眼镜（如果戴了，最好有戴眼镜和不戴眼镜的混合）

多样性要求

• 不同的光线条件（室内、室外）
• 不同的表情（微笑、严肃）
• 稍微不同的角度（正面、左侧、右侧）
• 不同的时间（如果是同一个人，最好有不同时期的照片）

我建议你专门建个文件夹来存放训练数据，结构可以这样：

train_data/ ├── person_A/ │ ├── photo1.jpg │ ├── photo2.jpg │ └── ... ├── person_B/ │ ├── photo1.jpg │ └── ... └── person_C/ └── ...

每个人一个文件夹，里面放这个人的多张照片。文件名随意，系统会自动读取。

3. 开始训练：一步步打造专属模型

3.1 数据预处理

在训练之前，我们需要先把原始照片处理一下。主要是两个事情：检测人脸并裁剪，然后做标准化处理。

我写了一个简单的预处理脚本，你可以直接拿去用：

import cv2 import os from insightface.app import FaceAnalysis def preprocess_images(input_dir, output_dir, target_size=(112, 112)): """ 预处理人脸图片：检测、对齐、裁剪、调整大小 参数： - input_dir: 原始图片目录 - output_dir: 处理后的图片保存目录 - target_size: 目标图片大小，默认112x112 """ # 初始化人脸分析模型 app = FaceAnalysis(name='buffalo_l') app.prepare(ctx_id=0, det_size=(640, 640)) # 确保输出目录存在 os.makedirs(output_dir, exist_ok=True) processed_count = 0 skipped_count = 0 # 遍历所有图片 for person_name in os.listdir(input_dir): person_dir = os.path.join(input_dir, person_name) if not os.path.isdir(person_dir): continue output_person_dir = os.path.join(output_dir, person_name) os.makedirs(output_person_dir, exist_ok=True) for img_name in os.listdir(person_dir): if not img_name.lower().endswith(('.jpg', '.jpeg', '.png')): continue img_path = os.path.join(person_dir, img_name) img = cv2.imread(img_path) if img is None: print(f"无法读取图片: {img_path}") skipped_count += 1 continue # 检测人脸 faces = app.get(img) if len(faces) == 0: print(f"未检测到人脸: {img_path}") skipped_count += 1 continue if len(faces) > 1: print(f"检测到多个人脸，使用第一个: {img_path}") # 使用第一个人脸 face = faces[0] # 获取人脸边界框 bbox = face.bbox.astype(int) x1, y1, x2, y2 = bbox # 稍微扩大一点边界框 margin = 20 h, w = img.shape[:2] x1 = max(0, x1 - margin) y1 = max(0, y1 - margin) x2 = min(w, x2 + margin) y2 = min(h, y2 + margin) # 裁剪人脸 face_img = img[y1:y2, x1:x2] if face_img.size == 0: print(f"裁剪后图片为空: {img_path}") skipped_count += 1 continue # 调整大小 face_img = cv2.resize(face_img, target_size) # 保存处理后的图片 output_path = os.path.join(output_person_dir, f"processed_{img_name}") cv2.imwrite(output_path, face_img) processed_count += 1 print(f"已处理: {img_path} -> {output_path}") print(f"\n处理完成！") print(f"成功处理: {processed_count} 张") print(f"跳过: {skipped_count} 张") return processed_count # 使用示例 if __name__ == "__main__": # 你的原始数据目录 raw_data_dir = "train_data" # 处理后的数据保存目录 processed_data_dir = "processed_data" # 运行预处理 preprocess_images(raw_data_dir, processed_data_dir)

运行这个脚本后，你的原始照片就会被自动检测人脸、裁剪、调整大小，保存到新的目录里。这样处理后的数据质量更统一，训练效果会更好。

3.2 训练自定义识别模型

现在来到核心环节——训练模型。InsightFace提供了很方便的训练接口，我们只需要准备好数据，调用相应的函数就行。

下面是训练脚本：

import os import numpy as np import cv2 from insightface.app import FaceAnalysis from insightface.model_zoo import get_model from insightface.utils import face_align import pickle class FaceRecognitionTrainer: def __init__(self, model_name='buffalo_l'): """ 初始化训练器 参数： - model_name: 使用的模型名称，默认buffalo_l """ self.model_name = model_name self.app = FaceAnalysis(name=model_name) self.app.prepare(ctx_id=0, det_size=(640, 640)) # 用于存储人脸特征和对应的标签 self.face_embeddings = [] self.face_labels = [] self.label_to_name = {} self.name_to_label = {} def extract_face_embeddings(self, data_dir): """ 从预处理后的图片中提取人脸特征 参数： - data_dir: 预处理后的数据目录 """ print("开始提取人脸特征...") label_counter = 0 # 遍历每个人 for person_name in os.listdir(data_dir): person_dir = os.path.join(data_dir, person_name) if not os.path.isdir(person_dir): continue # 为每个人分配一个数字标签 if person_name not in self.name_to_label: self.name_to_label[person_name] = label_counter self.label_to_name[label_counter] = person_name label_counter += 1 label = self.name_to_label[person_name] # 遍历这个人的所有图片 for img_name in os.listdir(person_dir): if not img_name.lower().endswith(('.jpg', '.jpeg', '.png')): continue img_path = os.path.join(person_dir, img_name) img = cv2.imread(img_path) if img is None: print(f"无法读取图片: {img_path}") continue # 提取人脸特征 faces = self.app.get(img) if len(faces) == 0: print(f"未检测到人脸: {img_path}") continue # 使用第一个人脸的特征 face = faces[0] embedding = face.embedding # 保存特征和标签 self.face_embeddings.append(embedding) self.face_labels.append(label) print(f"提取特征: {person_name}/{img_name} -> 标签: {label}") # 转换为numpy数组 self.face_embeddings = np.array(self.face_embeddings) self.face_labels = np.array(self.face_labels) print(f"\n特征提取完成！") print(f"总样本数: {len(self.face_embeddings)}") print(f"总人数: {len(self.name_to_label)}") print(f"标签映射: {self.label_to_name}") def train_classifier(self): """ 训练一个简单的分类器 这里我们使用余弦相似度进行识别，也可以训练更复杂的分类器 """ print("\n训练分类器...") # 对于人脸识别，通常我们只需要保存特征向量和标签 # 在实际识别时，使用余弦相似度进行比对 # 计算每个人的平均特征向量（可选） self.person_centroids = {} for label in self.label_to_name.keys(): # 获取这个人的所有特征 mask = self.face_labels == label if np.sum(mask) > 0: embeddings = self.face_embeddings[mask] # 计算平均特征 centroid = np.mean(embeddings, axis=0) # 归一化 centroid = centroid / np.linalg.norm(centroid) self.person_centroids[label] = centroid print(f"计算 {self.label_to_name[label]} 的平均特征，样本数: {len(embeddings)}") print("分类器训练完成！") def save_model(self, save_path): """ 保存训练好的模型 参数： - save_path: 模型保存路径 """ model_data = { 'face_embeddings': self.face_embeddings, 'face_labels': self.face_labels, 'label_to_name': self.label_to_name, 'name_to_label': self.name_to_label, 'person_centroids': self.person_centroids, 'model_name': self.model_name } with open(save_path, 'wb') as f: pickle.dump(model_data, f) print(f"模型已保存到: {save_path}") def load_model(self, load_path): """ 加载训练好的模型 参数： - load_path: 模型加载路径 """ with open(load_path, 'rb') as f: model_data = pickle.load(f) self.face_embeddings = model_data['face_embeddings'] self.face_labels = model_data['face_labels'] self.label_to_name = model_data['label_to_name'] self.name_to_label = model_data['name_to_label'] self.person_centroids = model_data['person_centroids'] self.model_name = model_data['model_name'] print(f"模型已从 {load_path} 加载") print(f"加载了 {len(self.face_embeddings)} 个样本，{len(self.label_to_name)} 个人") # 使用示例 if __name__ == "__main__": # 初始化训练器 trainer = FaceRecognitionTrainer() # 提取特征（使用预处理后的数据） processed_data_dir = "processed_data" trainer.extract_face_embeddings(processed_data_dir) # 训练分类器 trainer.train_classifier() # 保存模型 trainer.save_model("my_face_recognition_model.pkl") print("\n训练完成！模型已保存为 my_face_recognition_model.pkl")

这个脚本做了几件事情：

1. 从预处理后的图片中提取人脸特征（就是前面说的“数字指纹”）
2. 为每个人分配一个数字标签
3. 计算每个人的平均特征（这样识别时更稳定）
4. 把所有的特征和标签保存到文件里

运行完这个脚本，你就得到了一个自定义的人脸识别模型！

3.3 测试模型效果

模型训练好了，总得试试效果怎么样吧？下面是一个测试脚本：

import cv2 import numpy as np from insightface.app import FaceAnalysis class FaceRecognitionTester: def __init__(self, model_path): """ 初始化测试器 参数： - model_path: 训练好的模型路径 """ import pickle # 加载训练好的模型 with open(model_path, 'rb') as f: self.model_data = pickle.load(f) # 初始化人脸分析模型 self.app = FaceAnalysis(name=self.model_data['model_name']) self.app.prepare(ctx_id=0, det_size=(640, 640)) # 获取模型数据 self.face_embeddings = self.model_data['face_embeddings'] self.face_labels = self.model_data['face_labels'] self.label_to_name = self.model_data['label_to_name'] self.person_centroids = self.model_data['person_centroids'] # 设置识别阈值 self.threshold = 0.5 # 余弦相似度阈值，可以调整 def recognize_face(self, image_path): """ 识别单张图片中的人脸 参数： - image_path: 图片路径 返回： - 识别结果列表，每个元素是 (人名, 置信度, 人脸位置) """ img = cv2.imread(image_path) if img is None: print(f"无法读取图片: {image_path}") return [] # 检测人脸 faces = self.app.get(img) results = [] for i, face in enumerate(faces): # 获取人脸特征 embedding = face.embedding embedding = embedding / np.linalg.norm(embedding) # 归一化 # 计算与每个人的相似度 best_match = None best_similarity = -1 for label, centroid in self.person_centroids.items(): # 计算余弦相似度 similarity = np.dot(embedding, centroid) if similarity > best_similarity: best_similarity = similarity best_match = label # 判断是否识别成功 if best_similarity > self.threshold: person_name = self.label_to_name[best_match] confidence = best_similarity else: person_name = "未知" confidence = best_similarity # 获取人脸位置 bbox = face.bbox.astype(int) results.append({ 'person': person_name, 'confidence': float(confidence), 'bbox': bbox.tolist(), 'face_index': i }) print(f"人脸 {i}: {person_name} (置信度: {confidence:.3f})") return results def draw_results(self, image_path, results, output_path=None): """ 在图片上绘制识别结果 参数： - image_path: 原始图片路径 - results: 识别结果 - output_path: 输出图片路径，如果为None则显示图片 返回： - 绘制后的图片 """ img = cv2.imread(image_path) for result in results: bbox = result['bbox'] person = result['person'] confidence = result['confidence'] # 绘制人脸框 x1, y1, x2, y2 = bbox color = (0, 255, 0) if person != "未知" else (0, 0, 255) # 绿色表示识别成功，红色表示未知 cv2.rectangle(img, (x1, y1), (x2, y2), color, 2) # 绘制标签 label = f"{person}: {confidence:.3f}" cv2.putText(img, label, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2) if output_path: cv2.imwrite(output_path, img) print(f"结果已保存到: {output_path}") else: cv2.imshow("识别结果", img) cv2.waitKey(0) cv2.destroyAllWindows() return img # 使用示例 if __name__ == "__main__": # 初始化测试器 tester = FaceRecognitionTester("my_face_recognition_model.pkl") # 测试单张图片 test_image = "test_photo.jpg" # 换成你的测试图片 results = tester.recognize_face(test_image) # 绘制结果 tester.draw_results(test_image, results, "test_result.jpg") print("\n测试完成！")

运行这个测试脚本，它会：

1. 加载你刚才训练好的模型
2. 对测试图片进行人脸识别
3. 在图片上框出人脸并显示识别结果
4. 保存或显示结果图片

4. 集成到Face Analysis WebUI

现在模型训练好了，测试也通过了，接下来就是把它集成到Face Analysis WebUI里，这样就能通过Web界面来使用了。

4.1 创建WebUI界面

Face Analysis WebUI通常已经提供了基础的人脸分析功能，我们需要添加自定义模型的支持。下面是一个简单的集成示例：

from flask import Flask, render_template, request, jsonify import cv2 import numpy as np import base64 from io import BytesIO from PIL import Image import json app = Flask(__name__) # 这里假设你已经有了训练好的模型 # 在实际项目中，你可能需要修改Face Analysis WebUI的源代码 # 或者创建新的路由来处理自定义模型 class CustomFaceRecognition: def __init__(self, model_path): """初始化自定义人脸识别""" import pickle from insightface.app import FaceAnalysis # 加载训练好的模型 with open(model_path, 'rb') as f: self.model_data = pickle.load(f) # 初始化人脸分析 self.app = FaceAnalysis(name=self.model_data['model_name']) self.app.prepare(ctx_id=0, det_size=(640, 640)) # 获取模型数据 self.person_centroids = self.model_data['person_centroids'] self.label_to_name = self.model_data['label_to_name'] # 识别阈值 self.threshold = 0.5 def recognize(self, image_data): """识别图片中的人脸""" # 将base64图片数据转换为numpy数组 img_bytes = base64.b64decode(image_data.split(',')[1]) img_array = np.frombuffer(img_bytes, np.uint8) img = cv2.imdecode(img_array, cv2.IMREAD_COLOR) # 检测人脸 faces = self.app.get(img) results = [] for face in faces: # 提取特征 embedding = face.embedding embedding = embedding / np.linalg.norm(embedding) # 寻找最匹配的人 best_match = None best_similarity = -1 for label, centroid in self.person_centroids.items(): similarity = np.dot(embedding, centroid) if similarity > best_similarity: best_similarity = similarity best_match = label # 判断识别结果 if best_similarity > self.threshold: person_name = self.label_to_name[best_match] confidence = best_similarity else: person_name = "未知" confidence = best_similarity # 获取人脸位置 bbox = face.bbox.astype(int).tolist() results.append({ 'name': person_name, 'confidence': float(confidence), 'bbox': bbox, 'landmarks': face.kps.tolist() if hasattr(face, 'kps') else [] }) return results # 初始化自定义识别器 custom_recognizer = CustomFaceRecognition("my_face_recognition_model.pkl") @app.route('/custom_recognize', methods=['POST']) def custom_recognize(): """自定义人脸识别接口""" try: data = request.json image_data = data.get('image', '') if not image_data: return jsonify({'error': '没有提供图片数据'}), 400 # 进行识别 results = custom_recognizer.recognize(image_data) return jsonify({ 'success': True, 'results': results, 'count': len(results) }) except Exception as e: return jsonify({'error': str(e)}), 500 @app.route('/') def index(): """主页""" return render_template('index.html') if __name__ == '__main__': app.run(host='0.0.0.0', port=5000, debug=True)

这个Web服务提供了一个简单的接口，可以通过HTTP请求上传图片进行人脸识别。前端页面可以通过JavaScript调用这个接口，实现实时识别。

4.2 添加新的人脸到现有模型

在实际使用中，你可能会想要添加新的人脸到已有的模型里，而不是重新训练整个模型。下面是一个增量学习的示例：

def add_new_person(model_path, new_person_name, new_images_dir): """ 向现有模型添加新的人 参数： - model_path: 现有模型路径 - new_person_name: 新人的名字 - new_images_dir: 新人图片目录 """ import pickle import os # 加载现有模型 with open(model_path, 'rb') as f: model_data = pickle.load(f) # 初始化人脸分析 app = FaceAnalysis(name=model_data['model_name']) app.prepare(ctx_id=0, det_size=(640, 640)) # 提取新人的特征 new_embeddings = [] for img_name in os.listdir(new_images_dir): if not img_name.lower().endswith(('.jpg', '.jpeg', '.png')): continue img_path = os.path.join(new_images_dir, img_name) img = cv2.imread(img_path) if img is None: continue faces = app.get(img) if len(faces) == 0: continue # 使用第一个人脸 face = faces[0] embedding = face.embedding new_embeddings.append(embedding) if not new_embeddings: print("未提取到有效的人脸特征") return False # 为新人生成标签 existing_labels = list(model_data['label_to_name'].keys()) new_label = max(existing_labels) + 1 if existing_labels else 0 # 更新模型数据 new_embeddings_array = np.array(new_embeddings) # 添加到现有特征中 if 'face_embeddings' in model_data: model_data['face_embeddings'] = np.vstack([ model_data['face_embeddings'], new_embeddings_array ]) # 添加对应的标签 new_labels = np.array([new_label] * len(new_embeddings)) model_data['face_labels'] = np.concatenate([ model_data['face_labels'], new_labels ]) else: model_data['face_embeddings'] = new_embeddings_array model_data['face_labels'] = np.array([new_label] * len(new_embeddings)) # 更新标签映射 model_data['label_to_name'][new_label] = new_person_name model_data['name_to_label'][new_person_name] = new_label # 计算新人的平均特征 centroid = np.mean(new_embeddings_array, axis=0) centroid = centroid / np.linalg.norm(centroid) model_data['person_centroids'][new_label] = centroid # 保存更新后的模型 with open(model_path, 'wb') as f: pickle.dump(model_data, f) print(f"成功添加新人: {new_person_name}") print(f"添加了 {len(new_embeddings)} 张图片") print(f"新标签: {new_label}") return True # 使用示例 add_new_person( model_path="my_face_recognition_model.pkl", new_person_name="张三", new_images_dir="new_person_photos" )

这个函数可以让你在不重新训练整个模型的情况下，添加新的人脸数据。这对于实际应用场景非常有用，比如公司来了新员工，只需要拍几张照片就能添加到门禁系统里。

5. 实际应用中的注意事项和优化建议

通过上面的步骤，你应该已经能够训练出一个可用的自定义人脸识别模型了。但在实际应用中，还有一些需要注意的地方和可以优化的点。

5.1 提高识别准确率

如果你的模型识别准确率不够高，可以尝试以下几个方法：

1. 增加训练数据质量

• 确保每张训练图片的人脸都清晰可见
• 包含不同的光线条件和角度
• 避免使用美颜过度的照片（会改变人脸特征）

2. 调整识别阈值在测试脚本里有个threshold参数，默认是0.5。你可以根据实际情况调整：

• 如果误识别太多（把A认成B），就调高阈值，比如0.6
• 如果漏识别太多（认识的人认不出来），就调低阈值，比如0.4

3. 使用更高质量的模型InsightFace提供了多个预训练模型，buffalo_l是平衡了精度和速度的版本。如果你需要更高的精度，可以尝试：

• buffalo_s: 更小更快，精度稍低
• buffalo_l: 平衡版本（默认）
• buffalo_m: 更大更准，但更慢

5.2 处理复杂场景

在实际应用中，你可能会遇到一些复杂情况：

多人脸识别上面的代码已经支持识别一张图片中的多个人脸。系统会为每个检测到的人脸单独提取特征并进行识别。

遮挡处理如果人脸被部分遮挡（比如戴口罩、戴墨镜），识别准确率会下降。这时可以考虑：

• 收集带遮挡的训练数据
• 使用专门处理遮挡的算法
• 在无法识别时给出“不确定”的结果，而不是强行识别

光照变化不同光线条件下的人脸看起来差异很大。解决方法：

• 训练数据中包含各种光照条件的照片
• 使用光照归一化技术
• 在实际应用环境中补充训练数据

5.3 性能优化

如果你的应用需要处理大量图片或实时视频，可能需要考虑性能优化：

1. 批量处理一次性处理多张图片，而不是一张一张处理，可以提高效率。

2. 模型量化将模型从FP32转换为INT8，可以大幅减少内存占用和提高推理速度，精度损失很小。

3. 使用GPU加速如果硬件支持，尽量使用GPU进行推理，速度可以提升10倍以上。

4. 缓存机制对于静态的人脸库（比如公司员工），可以预先计算所有人的特征向量并缓存，识别时直接比对缓存的特征，不需要每次都重新提取。

6. 总结

走完这一整套流程，你应该已经掌握了如何训练自定义人脸识别模型并集成到Face Analysis WebUI中。整个过程其实并不复杂，关键是理解每个步骤的目的和方法。

我自己的体会是，数据质量真的比算法更重要。花时间收集和整理好的训练数据，往往比调参带来的提升更明显。另外，实际应用中要考虑到各种边界情况，比如光线不好、角度不正、有遮挡等等，这些都需要在训练数据中有所体现。

现在你有了这个自定义的人脸识别模型，可以做的事情就很多了。比如给家庭相册做智能分类，给公司做个刷脸考勤系统，或者给自己的智能家居增加人脸识别开门功能。关键是先从小范围开始，验证效果，再逐步扩大应用。

训练过程中如果遇到问题，可以多看看InsightFace的官方文档和社区讨论，里面有很多实际案例和经验分享。人脸识别技术现在已经很成熟了，只要按照正确的方法来，做出一个可用的系统并不难。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。