微信小程序接入大模型实战 8：面相/手相健康扫描仪（含代码）-育师

1. 前言：当传统“望诊”遇见深度学习

在传统中医中，“望闻问切”是诊断的第一步。其中，“望”诊（观察面色、手掌色泽等）蕴含了丰富的生理信息。随着 AI 技术的发展，利用Computer Vision (CV)对人体特征进行数字化建模，实现亚健康状态的辅助提醒已成为可能。

本文将带你从技术视角拆解：如何构建一个 AI 面相/手相健康扫描仪，涵盖关键点检测、特征提取及健康映射模型。

2. 产品示意图

3. 技术架构概览

整个系统主要分为四个核心模块：图像采集、预处理、特征分析与逻辑推理。

前端/移动端：使用 Flutter 或 Uni-app 进行跨平台开发，调用摄像头拍摄高清图像。
后端服务：基于 Python FastAPI 搭建，负责逻辑中转与模型推理。
AI 核心层：
- 人脸特征检测：MediaPipe Face Mesh (468个关键点)。
- 手掌特征检测：MediaPipe Hands (21个关节点)。
- 色泽/纹理分析：OpenCV 颜色空间转换（RGB to LAB/HSV）。

3. 核心技术实现

3.1 人脸/手掌关键点提取

要分析健康，首先要精准定位。我们使用 MediaPipe 提供的预训练模型，它可以毫秒级定位面部和手部区域。

import mediapipe as mp import cv2 # 初始化 MediaPipe Hands mp_hands = mp.solutions.hands hands = mp_hands.Hands(static_image_mode=True, max_num_hands=1) def get_palm_landmarks(image): results = hands.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) if results.multi_hand_landmarks: # 提取手掌中心及边缘关键点 return results.multi_hand_landmarks[0] return None

3.2 区域分割与 ROI 提取

根据中医理论，面部不同的区域（如印堂、鼻尖、两颊）对应不同的脏腑。我们需要根据关键点坐标切分出ROI (Region of Interest)。

面部五色诊：通过 Delaunay 三角剖分，将面部划分为额头、眼周、口唇等子区域。
手掌分区：基于手掌关键点（0号腕部、5-17号指根），计算仿射变换矩阵，将手掌矫正为标准正视图。

代码示例

def get_roi_by_landmarks(image, landmarks, indices): """ 根据给定的关键点索引列表，裁剪出最小外接矩形区域 indices: 关键点索引列表，例如额头区域坐标索引 """ h, w, _ = image.shape points = [] for idx in indices: pt = landmarks.landmark[idx] points.append((int(pt.x * w), int(pt.y * h))) # 计算最小外接矩形 x, y, w_roi, h_roi = cv2.boundingRect(np.array(points)) roi = image[y:y+h_roi, x:x+w_roi] return roi # 示例：定义“额头”区域的索引（需对照 MediaPipe 索引图） FOREHEAD_INDICES = [10, 338, 297, 332, 284, 251, 21, 54, 103, 67, 109] # roi_forehead = get_roi_by_landmarks(img, face_landmarks, FOREHEAD_INDICES)

3.3 颜色与纹理特征分析

肤色分析：将图像转换至CIE Lab 颜色空间，其中 L 代表亮度，a 和 b 代表色度。通过计算 E 色差值来判断是否存在“异常面色”（如黄疸、贫血色等）。
纹理检测：利用Gabor 滤波器或Canny 算子提取手纹深度。中医认为手掌大鱼际处的纹理乱序可能提示代谢压力。

代码示例

def analyze_skin_health(roi): """ 分析区域皮肤颜色特征 L: 亮度, a: 红绿偏移(正值为红), b: 黄蓝偏移(正值为黄) """ # 1. 转换色彩空间 lab_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2Lab) # 2. 计算均值 l_mean, a_mean, b_mean = cv2.mean(lab_roi)[:3] # 3. 简单健康逻辑映射 (仅作技术演示) health_report = "" if a_mean < 135: # 经验阈值，a轴越小越偏绿/白 health_report += "检测到色泽偏淡，建议关注气血。 " if b_mean > 155: # b轴越大越偏黄 health_report += "检测到色泽偏黄，注意休息与肝脏代谢。 " return { "Lab_Values": (round(l_mean,2), round(a_mean,2), round(b_mean,2)), "Suggestion": health_report if health_report else "色泽红润，状态良好。" }

3.4 图像预处理：伽马校正（解决光照不均）

为了提高识别准确率，在分析前建议加入伽马校正，平衡照片的明暗。

def adjust_gamma(image, gamma=1.0): # 构建查找表 (LUT) invGamma = 1.0 / gamma table = np.array([((i / 255.0) ** invGamma) * 255 for i in np.arange(0, 256)]).astype("uint8") return cv2.LUT(image, table) # 使用示例：如果环境光太暗，gamma 调高 # fixed_img = adjust_gamma(raw_img, gamma=1.2)

4. 健康映射逻辑（知识库建设）

这是项目的难点。AI 提取的是特征，而“健康建议”需要知识库支撑：

检测特征	计算参数	潜在健康提示 (仅供参考)
面部唇色	HSV (V值较低, S值较高)	血液循环或血红蛋白含量观察
眼睑部	颜色 L* 均值下降	睡眠不足/黑眼圈
手掌大小鱼际	颜色 a* 值偏高 (发红)	肝火旺盛/肝掌风险
指甲月牙	图像分割面积比	基础代谢评估