基于ViT的儿童脸部分析：自闭症谱系障碍筛查实战

简介：这份资源面向医疗AI方向的学习者与研究者，提供一套基于视觉变换网络ViT实现自闭症谱系障碍ASD儿童脸部分析检测的完整项目实战代码，可用于理解如何用深度学习识别与自闭症相关的面部特征，如表情、注视模式与头部姿态，适合具备一定PyTorch与Transformer基础、希望切入医疗影像分类场景的开发者。压缩包共39个文件，约3.42MB，以17个Python脚本为核心，涵盖模型定义、训练与评估流程，辅以12个YAML配置文件管理不同规模实验参数，另有PNG可视化图、编译缓存及说明文档，目录按models、configs、datasets、tools等模块组织，结构清晰便于二次开发。目前已有158人学习。项目包含ViTASD多尺度模型实现、注意力可视化脚本与数据集加载逻辑，读者可据此复现训练流程、调整配置并迁移到其他面部相关神经发育疾病的分析任务中。

1. 从一张儿童正脸照说起：ViT 做自闭症谱系障碍筛查到底靠不靠谱

自闭症谱系障碍（ASD）的早期筛查，临床上长期依赖 ADOS-2、M-CHAT 这类量表加行为观察，一个孩子评估下来动辄四十分钟起步，还得靠有经验的儿科医生或心理师。问题在于，基层和家庭场景里根本没有这么多专业资源，很多孩子排到号已经三四岁，错过了两到六岁这个干预黄金窗口。于是「能不能用一张正脸照片做初筛」这个念头，就自然冒出来了——脸部分析本身不侵入、不需要孩子配合做任务、手机就能拍，天然适合做低成本前置筛查。

这个项目标题里的技术路线，就是用 Vision Transformer（ViT）对儿童正脸图像做特征提取，输出一个 ASD 相关的分类倾向。ViT 这几年在主流技术路线里已经是视觉任务的默认选项之一，它把图像切成 patch 序列后走自注意力，对全局面部构型（眼距、内眦褶皱、面中比例、嘴部形态）这类弱纹理但强结构的信号，比纯卷积更敏感。这篇笔记不吹「AI 诊断自闭症」，而是把「基于 ViT 的儿童脸部分析检测」当成一个可复现的深度学习实战项目案例来讲：数据怎么组织、ViT 怎么改、训练怎么不翻车、指标怎么读。适合已经会 PyTorch、想找一个真实医学影像方向练手的人，也适合做儿童发育筛查产品、想评估这条路可行性的工程师。

2. 数据与任务定义：把「脸部分析」翻译成模型能学的标签

2.1 先想清楚标签从哪来，别急着写 Dataset

这类项目最容易翻车的地方不是模型，是标签。ASD 是行为诊断，不是影像诊断，所以「脸」和「ASD」之间没有直接的因果链，模型学到的更可能是面部形态学特征与 ASD 的统计相关性，而不是诊断依据。常见做法是：标签来自临床量表（ADOS-2 或 CARS 评分）或家长填写的 M-CHAT-R，把「确诊 ASD」和「典型发育（TD）」两类儿童的正脸照配对。你要在项目一开始就把这件事写进 README，否则后面指标再漂亮也站不住。

数据组织上，我一般按下面这个结构放，方便后续做分层划分：

dataset/ ├── train/ │ ├── asd/ # 确诊 ASD 儿童正脸图 │ └── td/ # 典型发育儿童正脸图 ├── val/ │ ├── asd/ │ └── td/ └── test/ ├── asd/ └── td/

关键约束有三条：同一儿童不能同时出现在 train 和 test（否则就是数据泄漏，指标虚高到 0.99 你会以为模型神了）；按儿童 ID 分层划分而不是按图片随机划分；性别、年龄段要配平，因为 ASD 男女比例约 4:1，不配平模型会直接学「性别」这个捷径。下面这段代码就是按儿童 ID 做分组划分，避免同人跨集：

import pandas as pd from sklearn.model_selection import GroupShuffleSplit # meta.csv 至少包含: image_path, child_id, label, age_month, gender meta = pd.read_csv("meta.csv") gss = GroupShuffleSplit(n_splits=1, test_size=0.2, random_state=42) train_idx, test_idx = next(gss.split(meta, groups=meta["child_id"])) train_df = meta.iloc[train_idx] test_df = meta.iloc[test_idx] # 再在 train 内部切一份 val，同样按 child_id 分组 gss2 = GroupShuffleSplit(n_splits=1, test_size=0.15, random_state=42) tr_idx, val_idx = next(gss2.split(train_df, groups=train_df["child_id"])) train_df.iloc[tr_idx].to_csv("train.csv", index=False) train_df.iloc[val_idx].to_csv("val.csv", index=False) test_df.to_csv("test.csv", index=False)

GroupShuffleSplit的groups参数就是儿童 ID，它保证同一个 ID 的所有图片只会落在一个集合里。test_size=0.2是测试集比例，random_state固定住方便复现。这一步做完，你后面看到的准确率才是可信的。

2.2 人脸对齐与裁剪：比换模型更能涨点的预处理

ViT 对输入的空间布局很敏感，脸歪 15 度、下巴被裁掉一截，注意力就会跑到背景上去。所以预处理里人脸检测和对齐是必做项，常见做法是用 RetinaFace 或 MTCNN 检出人脸框和五个关键点（双眼、鼻尖、双嘴角），再做仿射变换把眼睛摆到水平位置，最后按固定比例裁剪成正方形。

import cv2 import numpy as np from insightface.app import FaceAnalysis app = FaceAnalysis(allowed_modules=['detection']) app.prepare(ctx_id=0, det_size=(640, 640)) def align_face(img_bgr, out_size=224): faces = app.get(img_bgr) if len(faces) == 0: return None face = max(faces, key=lambda f: (f.bbox[2]-f.bbox[0])*(f.bbox[3]-f.bbox[1])) # kps: 左眼, 右眼, 鼻, 左嘴角, 右嘴角 kps = face.kps.astype(np.float32) left_eye, right_eye = kps[0], kps[1] dy = right_eye[1] - left_eye[1] dx = right_eye[0] - left_eye[0] angle = np.degrees(np.arctan2(dy, dx)) eyes_center = ((left_eye[0]+right_eye[0])/2, (left_eye[1]+right_eye[1])/2) M = cv2.getRotationMatrix2D(eyes_center, angle, 1.0) rotated = cv2.warpAffine(img_bgr, M, (img_bgr.shape[1], img_bgr.shape[0]), flags=cv2.INTER_CUBIC) # 以眼睛中心为基准裁剪正方形 x, y = eyes_center half = out_size // 2 x1, y1 = int(x-half), int(y-half) crop = rotated[max(0,y1):y1+out_size, max(0,x1):x1+out_size] return cv2.resize(crop, (out_size, out_size)) # 批量处理 import os for split in ["train", "val", "test"]: for cls in ["asd", "td"]: src_dir = f"dataset/{split}/{cls}" dst_dir = f"aligned/{split}/{cls}" os.makedirs(dst_dir, exist_ok=True) for name in os.listdir(src_dir): img = cv2.imread(os.path.join(src_dir, name)) out = align_face(img) if out is not None: cv2.imwrite(os.path.join(dst_dir, name), out)

det_size=(640,640)是检测输入分辨率，儿童脸小的时候可以调到 1024。out_size=224是为了对齐 ViT-Base 的默认输入。注意align_face返回None时要记录日志，检出失败率超过 5% 说明你的数据里侧脸、遮挡太多，得回头筛数据，而不是硬训。

2.3 类别不平衡与年龄混淆因子

ASD 和 TD 样本量往往不对等，而且两组孩子的年龄分布经常错开（ASD 组偏大，因为确诊晚）。年龄本身会改变面部比例，模型很容易把「年龄」当成「ASD」来学。处理办法有两个：一是训练时用WeightedRandomSampler按类别加权采样；二是在划分数据时对年龄做匹配，让两组年龄分布尽量重叠。前者是代码层面，后者是数据层面，我一般两个都做。

from torch.utils.data import WeightedRandomSampler import numpy as np labels = train_df["label"].values # 0=td, 1=asd class_count = np.bincount(labels) class_weight = 1.0 / class_count sample_weight = class_weight[labels] sampler = WeightedRandomSampler(sample_weight, num_samples=len(sample_weight), replacement=True)

class_weight取类别频次的倒数，稀有类权重高，replacement=True表示有放回采样，保证每个 epoch 抽到的样本数一致。这个 sampler 直接塞进DataLoader(sampler=...)就行，注意此时不能再设shuffle=True，两者互斥。

3. ViT 模型改造：从 ImageNet 预训练到儿童脸部分类

3.1 为什么选 ViT 而不是 ResNet，以及它的代价

在儿童脸部分析这个任务上，ViT 的优势是自注意力能建模左右脸、眉眼嘴之间的长程关系，比如内眦距离和嘴宽的联合模式，卷积要靠堆层数才能拿到类似感受野。但代价也很实在：ViT 没有卷积的归纳偏置，小数据集上从头训基本必翻车，必须靠 ImageNet 或更大规模预训练权重迁移。所以选型结论是：数据量低于一万张时，用vit_base_patch16_224的预训练权重做微调；数据量再小，退到vit_small或干脆用 CNN 打底。

另一个现实约束是显存。ViT-Base 在 224 分辨率下单张前向约 1.5G 显存，batch size 32 训练要 12G 以上。显存不够就降 batch 到 16 并开梯度累积，或者用混合精度。下面这段是模型构建和微调策略：

import torch import torch.nn as nn import timm def build_model(num_classes=2, drop_rate=0.1, freeze_blocks=8): # 加载 ImageNet 预训练的 ViT-Base model = timm.create_model( "vit_base_patch16_224", pretrained=True, num_classes=num_classes, drop_rate=drop_rate, ) # 冻结前 freeze_blocks 个 Transformer block，只微调后段和分类头 for i, block in enumerate(model.blocks): if i < freeze_blocks: for p in block.parameters(): p.requires_grad = False return model model = build_model().cuda() criterion = nn.CrossEntropyLoss(label_smoothing=0.1) optimizer = torch.optim.AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr=2e-5, weight_decay=0.05 )

freeze_blocks=8表示冻结前 8 个 block，ViT-Base 一共 12 个，只训后 4 个加分类头。这样做的好处是小数据集上不容易过拟合，坏处是收敛慢，需要更多 epoch。lr=2e-5是微调的典型量级，比从头训的 1e-3 小两个数量级，weight_decay=0.05配合 AdamW 是 ViT 微调的标准组合。label_smoothing=0.1能缓解过拟合和标签噪声，医学数据标签噪声通常不小，这个参数别省。

3.2 数据增强：哪些能用，哪些会毁掉面部信号

通用图像增强里，水平翻转要慎用。面部有轻微不对称性，而 ASD 相关研究里恰恰关注面部对称性指标，翻转会把这个信号抹掉。颜色抖动、随机裁剪、旋转小角度（±10 度）是安全的。MixUp 和 CutMix 在医学小数据上有时能涨点，但会破坏面部结构，我一般只在数据量过万时才开。

from torchvision import transforms train_tf = transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomRotation(10), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.1), transforms.RandomAffine(degrees=0, translate=(0.05, 0.05), scale=(0.95, 1.05)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) val_tf = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ])

Normalize的均值方差是 ImageNet 统计值，因为用了 ImageNet 预训练权重，必须对齐。RandomAffine里degrees=0是因为旋转已经单独做了，这里只做平移和缩放。注意别加RandomHorizontalFlip，理由上面说了。

3.3 训练循环与早停：指标怎么选才不骗自己

医学筛查场景下，准确率是最没用的指标。ASD 检出率低、假阴性代价高（漏掉一个真 ASD 孩子），所以主指标应该看召回率（Recall / Sensitivity）和 AUC，同时盯住特异度（Specificity）别太低，否则健康孩子被误判一堆。下面训练循环里我按验证集 AUC 做模型选择：

from sklearn.metrics import roc_auc_score, recall_score import numpy as np def evaluate(model, loader): model.eval() all_probs, all_labels = [], [] with torch.no_grad(): for imgs, labels in loader: imgs = imgs.cuda() logits = model(imgs) probs = torch.softmax(logits, dim=1)[:, 1] all_probs.extend(probs.cpu().numpy()) all_labels.extend(labels.numpy()) auc = roc_auc_score(all_labels, all_probs) preds = (np.array(all_probs) > 0.5).astype(int) rec = recall_score(all_labels, preds) return auc, rec best_auc, patience, wait = 0.0, 5, 0 for epoch in range(50): model.train() for imgs, labels in train_loader: imgs, labels = imgs.cuda(), labels.cuda() optimizer.zero_grad() loss = criterion(model(imgs), labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() auc, rec = evaluate(model, val_loader) print(f"epoch {epoch} auc={auc:.4f} recall={rec:.4f}") if auc > best_auc: best_auc, wait = auc, 0 torch.save(model.state_dict(), "best_vit_asd.pth") else: wait += 1 if wait >= patience: print("early stop") break

clip_grad_norm_的max_norm=1.0是防梯度爆炸的后悔药，ViT 微调时偶尔会碰到 loss 突然飙到 nan，加上它稳很多。patience=5表示验证 AUC 连续 5 个 epoch 不涨就停。阈值 0.5 只是默认，实际部署时应该按验证集画 ROC 曲线，选一个召回优先的工作点，比如把阈值降到 0.35 换更高召回。

4. 避坑与排查：这类项目最容易踩的五个坑

4.1 指标高得离谱，先查数据泄漏

现象：测试集准确率 0.98，AUC 0.99，兴奋到以为发了顶会。原因：同一儿童的多张照片被随机分到了 train 和 test，模型记住了这张脸而不是学到了 ASD 特征。解决：回到 2.1 节，用GroupShuffleSplit按child_id分组划分，重新跑一遍，指标大概率掉到 0.7 附近，那才是真实水平。

4.2 模型只学性别和年龄，不看脸

现象：混淆矩阵里 ASD 组几乎全判对，但一看样本，ASD 组男孩占绝大多数，模型其实在学「男孩=ASD」。原因：性别、年龄分布不配平，模型走了捷径。解决：划分数据时对性别、年龄段做分层匹配；训练时把年龄作为辅助回归任务或多任务头，逼模型别只依赖年龄。也可以做消融，把性别标签从数据里去掉再训一次对比。

4.3 人脸检测失败率高，训练集里混进背景图

现象：训练 loss 降不下去，验证集波动大。原因：预处理时align_face返回None的样本被静默丢弃或塞了原图，导致输入里混入侧脸、遮挡、纯背景。解决：统计检出失败率，超过 5% 就回头筛数据；失败样本单独存一个failed/目录人工看，别让它们污染训练集。

4.4 显存爆了，batch size 只能开到 4

现象：CUDA out of memory，只能把 batch 降到 4，训练极慢且 BN/统计不稳。原因：ViT-Base 在 224 分辨率下显存占用高，加上没开混合精度。解决：开torch.cuda.amp混合精度，显存能省 40% 左右；再用梯度累积把等效 batch 补回来：

scaler = torch.cuda.amp.GradScaler() accum_steps = 4 for i, (imgs, labels) in enumerate(train_loader): imgs, labels = imgs.cuda(), labels.cuda() with torch.cuda.amp.autocast(): loss = criterion(model(imgs), labels) / accum_steps scaler.scale(loss).backward() if (i + 1) % accum_steps == 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad()

accum_steps=4表示每 4 个 mini-batch 更新一次参数，等效 batch 变成原来的 4 倍。autocast自动把部分算子降到 fp16，GradScaler负责防梯度下溢。

4.5 换台机器推理结果就变了

现象：本地跑出来 ASD 概率 0.8，部署到服务器变成 0.5。原因：预处理不一致，比如训练用了对齐裁剪，推理时直接 resize 原图；或者归一化参数写错。解决：把预处理封装成一个函数，训练和推理共用同一份代码，别在两处各写一遍。推理前打印输入张量的均值和方差，和训练时对比，对不上就是预处理出问题了。

5. 进阶玩法：用注意力图验证模型到底在看哪，以及一个可复现的评估习惯

模型训完只是开始，真正决定这个方向值不值得投入的，是你能不能解释它看了什么。ViT 的好处是注意力权重可以直接可视化，把最后一层[CLS]token 对各 patch 的注意力拿出来，叠回原图，就能看到模型关注的是眼睛、鼻子还是背景。如果注意力全在头发或背景上，说明模型没学到面部信号，指标再高也是玄学。

import matplotlib.pyplot as plt def visualize_attention(model, img_tensor, patch_size=16): model.eval() with torch.no_grad(): # timm 的 ViT 支持 forward_features 拿 token tokens = model.forward_features(img_tensor.unsqueeze(0).cuda()) # tokens: [1, 1+num_patches, dim]，第 0 个是 cls token num_patches = tokens.shape[1] - 1 grid = int(num_patches ** 0.5) # 取最后一层注意力的近似：用 cls token 与 patch token 的相似度代替 cls_token = tokens[:, 0, :] patch_tokens = tokens[:, 1:, :] attn = torch.softmax(cls_token @ patch_tokens.transpose(1, 2) / (cls_token.shape[-1] ** 0.5), dim=-1) attn_map = attn[0].reshape(grid, grid).cpu().numpy() plt.imshow(attn_map, cmap="jet") plt.colorbar() plt.title("CLS-Patch attention") plt.savefig("attn.png", dpi=150)

这段用[CLS]与 patch token 的点积相似度做近似注意力图，grid是 patch 网格边长（224/16=14）。真正的注意力权重需要 hook 每个 block 的attn模块，但近似图已经够判断模型有没有跑偏。跑几十张测试图，如果注意力稳定落在眼周和面中，说明模型学到了合理的面部区域；如果散在背景，就得回去查预处理和数据质量。

评估习惯上，我踩过最大的坑是「只看一个阈值下的指标」。正确做法是画 ROC 和 PR 曲线，把召回 0.85、0.90、0.95 三个工作点对应的阈值和特异度都列出来，交给临床或产品方去选。下面这张表是我一般会输出的评估摘要格式：

筛查场景通常选高召回那一行，宁可多转诊也别漏。这张表比一个孤零零的「准确率 0.81」有用得多，也是你判断这个方向能不能落地的最直接依据。

最后说个我自己的习惯：每做完一个医学相关的分类项目，我都会拿测试集里预测错得最离谱的十张图单独看一遍，逐张问「是数据问题、标签问题还是模型问题」。十次里有七八次能揪出预处理或标签的毛病，比调参有用得多。这个方向值不值得做，取决于你愿不愿意把数据质量当第一优先级，而不是把希望全押在换更大的 ViT 上。希望帮到你。

本文还有配套的精品资源，点击获取