Sipakmed宫颈细胞分类复现：从手工特征到深度学习的完整实战

1. 从数据集到分类器：Sipakmed复现的完整技术链路

Sipakmed这个数据集在细胞图像分类圈子里算是比较特殊的存在。它不像ImageNet那样动辄上千万张图，也不像某些医学数据集那样只有几百张样本，而是介于两者之间——大约4000多张宫颈细胞图像，分成了5个类别。我第一次拿到这个数据集的时候，第一反应是"这规模挺友好"，但真正跑起来才发现，坑远比想象中多。

这篇内容适合谁看？如果你正在做医学图像分类的课程项目、毕业设计，或者单纯想找一个中等规模的数据集练手，Sipakmed是个不错的选择。但如果你指望直接套一个ResNet就能刷到95%以上的准确率，那可能会失望。我会把从数据预处理到模型训练、从特征工程到结果分析的完整链路拆开讲，重点放在那些论文里不会写、但实际复现时一定会遇到的问题上。

整个复现过程我分成了三个阶段：第一阶段是数据集的深入理解和预处理，第二阶段是基于手工特征的分类尝试，第三阶段是基于深度学习的端到端分类。这三个阶段不是简单的递进关系，而是各有各的价值——手工特征能帮你理解数据本身的特点，深度学习能帮你拿到更好的指标，两者结合才能对这个问题有完整的认知。

2. Sipakmed数据集的真实面貌与预处理中的隐形陷阱

2.1 数据集结构解析：5个类别到底意味着什么

Sipakmed的全称是"Sipakmed: A New Dataset for Feature and Image Based Classification of Cervical Cells"，名字本身就点明了它的双重用途——既可以做基于特征的分类，也可以做基于图像的分类。数据集包含5个类别，分别是： superficial、intermediate、parabasal、metaplastic、koilocytotic。

这5个类别不是随便分的，它们对应的是宫颈细胞在不同生理状态下的形态。superficial和intermediate属于正常细胞的不同成熟阶段，parabasal是更原始的细胞形态，metaplastic是化生细胞，koilocytotic则与特定病理变化相关。理解这一点很重要，因为不同类别的细胞在形态上的差异程度是不一样的——有些类别之间差异明显，有些则非常微妙。

我实际打开数据集后发现，每个类别下的图像数量并不均衡。superficial和intermediate的样本相对较多，而koilocytotic的样本明显偏少。这种类别不平衡在医学图像数据集中非常常见，但如果不处理，模型会倾向于预测多数类，导致少数类的召回率惨不忍睹。

2.2 图像预处理的三个关键决策

第一个决策是图像尺寸。原始图像的尺寸并不统一，有的偏大有的偏小。我试过直接缩放到224×224，也试过先裁剪再缩放。实测下来，直接缩放到224×224会丢失一些细胞边缘的细节，尤其是对于koilocytotic这类需要观察细胞核形态的类别。后来我改成先做中心裁剪到512×512，再缩放到224×224，效果好了不少。

第二个决策是颜色空间。原始图像是RGB的，但细胞图像的核心信息其实在亮度通道里。我对比过RGB、灰度、HSV三种输入方式，发现灰度输入在手工特征阶段效果最好，但到了深度学习阶段，RGB反而略优于灰度——因为网络能自己学到颜色通道里的有用信息。这个结论和很多论文里说的"灰度就够了"不太一样，我猜测是因为深度学习模型有足够的容量去过滤颜色噪声。

第三个决策是数据增强策略。医学图像的数据增强不能乱来，水平翻转和垂直翻转是安全的，因为细胞没有固定的方向。但旋转就要小心了，小角度旋转（±15度）没问题，大角度旋转会改变细胞核与细胞质的相对位置关系，反而引入噪声。颜色抖动也要谨慎，过度的颜色变化会让模型学到与类别无关的特征。

# 我实际使用的预处理流程 import cv2 import numpy as np from albumentations import Compose, HorizontalFlip, VerticalFlip, Rotate, Resize, CenterCrop train_transform = Compose([ CenterCrop(512, 512), Resize(224, 224), HorizontalFlip(p=0.5), VerticalFlip(p=0.5), Rotate(limit=15, p=0.3), ]) # 注意：验证集和测试集不做增强，只做裁剪和缩放 val_transform = Compose([ CenterCrop(512, 512), Resize(224, 224), ])

提示：预处理阶段一定要把训练集、验证集、测试集分开处理。我见过有人把增强后的图像混进了验证集，导致验证指标虚高，实际部署时性能暴跌。

2.3 类别不平衡的处理：从采样到损失函数

前面提到koilocytotic类别样本偏少，我试过三种方案。第一种是简单过采样，把少数类复制多份。这种方法训练时容易过拟合，验证集上的表现波动很大。第二种是SMOTE，在特征空间做插值。但SMOTE对图像数据不太友好，因为像素空间的插值没有明确的物理意义。第三种是调整损失函数的类别权重，给少数类更高的权重。

最终我采用的是第三种方案，配合适度的过采样。具体来说，在交叉熵损失里给每个类别设置权重，权重与类别频率成反比。这样模型在训练时会更关注少数类，但不会像纯过采样那样过拟合。

# 计算类别权重 from sklearn.utils.class_weight import compute_class_weight class_weights = compute_class_weight( 'balanced', classes=np.unique(train_labels), y=train_labels ) # 将class_weights传入损失函数 criterion = nn.CrossEntropyLoss(weight=torch.FloatTensor(class_weights))

实测下来，这种组合方案在少数类上的召回率比基线提升了大约12个百分点，而多数类的准确率只下降了不到2个百分点。这个 trade-off 是值得的，因为在医学场景下，漏诊少数类（尤其是与病理相关的类别）的代价远高于多数类的轻微误判。

3. 手工特征工程：为什么在深度学习时代还要做这件事

3.1 形态学特征：从细胞轮廓到核质比

很多人觉得有了深度学习就不需要手工特征了，但在Sipakmed这个数据集上，手工特征有两个不可替代的价值。第一，它能帮你理解数据——当你把细胞的面积、周长、圆形度、核质比这些指标算出来之后，你会对类别之间的差异有直观的感受。第二，在某些样本量极少的类别上，手工特征配合简单的分类器（比如SVM）反而比深度学习更稳。

我提取的形态学特征包括：细胞区域的面积、周长、等效直径、圆形度、偏心率、实心度，以及细胞核区域的对应指标。核质比是一个特别重要的特征，因为细胞从parabasal到superficial的成熟过程中，核质比会逐渐降低。

from skimage.measure import label, regionprops from skimage.filters import threshold_otsu def extract_morphology_features(image): # 灰度化 gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY) # Otsu阈值分割 thresh = threshold_otsu(gray) binary = gray > thresh # 连通域分析 labeled = label(binary) regions = regionprops(labeled) # 取最大的区域作为细胞区域 if len(regions) == 0: return None cell_region = max(regions, key=lambda r: r.area) features = { 'area': cell_region.area, 'perimeter': cell_region.perimeter, 'eccentricity': cell_region.eccentricity, 'solidity': cell_region.solidity, 'circularity': 4 * np.pi * cell_region.area / (cell_region.perimeter ** 2) } return features

这里有个坑：Otsu阈值分割对光照变化很敏感。有些图像整体偏暗，Otsu会分割出大片背景；有些图像对比度低，分割出的细胞区域会残缺。我的解决方案是先做CLAHE（限制对比度自适应直方图均衡化），再做分割。CLAHE的参数（clipLimit和tileGridSize）需要根据图像特点调，我试下来clipLimit=2.0、tileGridSize=(8,8)是比较通用的设置。

3.2 纹理特征：GLCM和LBP的实战对比

纹理特征我主要用了两种：GLCM（灰度共生矩阵）和LBP（局部二值模式）。GLCM能捕捉像素对之间的空间关系，适合描述细胞质的颗粒感；LBP对光照变化更鲁棒，适合描述细胞核的纹理。

GLCM的关键参数是距离和方向。我试过距离1、2、3，方向0°、45°、90°、135°，最终发现距离1、四个方向取平均的效果最稳定。提取的统计量包括对比度、相关性、能量、同质性。

from skimage.feature import graycomatrix, graycoprops def extract_glcm_features(gray): # 量化到16级，减少计算量 gray_quantized = (gray / 16).astype(np.uint8) glcm = graycomatrix(gray_quantized, distances=[1], angles=[0, np.pi/4, np.pi/2, 3*np.pi/4], levels=16, symmetric=True, normed=True) features = {} for prop in ['contrast', 'correlation', 'energy', 'homogeneity']: features[prop] = graycoprops(glcm, prop).mean() return features

LBP我用了uniform模式，半径1、采样点8。这个配置下特征维度是10维，比原始LBP的256维低很多，但保留了大部分判别信息。实测下来，LBP在区分superficial和intermediate这两个类别上比GLCM更有效，因为这两个类别的差异主要体现在细胞核的细微纹理上。

3.3 特征融合与分类器选择：SVM还是随机森林

把形态学特征和纹理特征拼在一起，大概得到30维左右的向量。这个维度不算高，SVM和随机森林都能处理。我两个都试了，SVM（RBF核）在准确率上略胜一筹，但随机森林在可解释性上更好——你可以直接看特征重要性。

SVM的参数调优我用了网格搜索，C在[0.1, 1, 10, 100]里选，gamma在[0.001, 0.01, 0.1, 1]里选。最终C=10、gamma=0.01的组合在验证集上表现最好。这里要注意，SVM对特征尺度很敏感，一定要先做标准化。

from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline pipeline = Pipeline([ ('scaler', StandardScaler()), ('svm', SVC(C=10, gamma=0.01, kernel='rbf', class_weight='balanced')) ])

手工特征方案最终的准确率大概在78%左右，比深度学习低了十几个百分点。但它的训练时间只需要几秒钟，而且在小样本类别上的表现更稳定。如果你的计算资源有限，或者需要快速验证想法，手工特征方案是很好的起点。

4. 深度学习方案：从ResNet到注意力机制的演进

4.1 基线模型选择：为什么ResNet50不是最优起点

我一开始用的是ResNet50，预训练权重来自ImageNet。训练了50个epoch，准确率卡在85%左右上不去。分析混淆矩阵后发现，主要的错误集中在intermediate和parabasal之间，以及superficial和intermediate之间。这说明模型没有学到足够细粒度的特征。

后来我换成了EfficientNet-B0，参数量更少，但准确率反而提升到了88%。原因可能是EfficientNet的复合缩放策略让它在不同尺度上都有较好的特征提取能力，而细胞图像的判别信息恰恰分布在多个尺度上——细胞整体形态是粗尺度，细胞核纹理是细尺度。

再后来我试了ConvNeXt-Tiny，准确率到了89.5%。ConvNeXt的设计借鉴了Transformer的一些思路，比如大卷积核和LayerNorm，在细粒度分类上确实有优势。但它的训练时间比EfficientNet长了大约40%，需要权衡。

注意：ViT在小数据集上表现不如CNN，因为缺乏归纳偏置，需要更多数据或更强的增强才能发挥优势。Sipakmed的规模不足以让ViT充分发挥。

4.2 注意力机制的引入：CBAM和SE的对比

为了进一步提升性能，我在EfficientNet-B0的基础上加了注意力模块。试了两种：SE（Squeeze-and-Excitation）和CBAM（Convolutional Block Attention Module）。SE只关注通道注意力，CBAM同时关注通道和空间注意力。

在Sipakmed上，CBAM的效果略好于SE，准确率提升了约1.2个百分点。我分析原因是空间注意力帮助模型聚焦到了细胞核区域，而通道注意力帮助模型筛选了更有判别力的特征通道。但CBAM的参数量和计算量也更大，如果部署环境资源受限，SE是更务实的选择。

import torch.nn as nn class CBAM(nn.Module): def __init__(self, channels, reduction=16): super().__init__() self.channel_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, channels // reduction, 1), nn.ReLU(), nn.Conv2d(channels // reduction, channels, 1), nn.Sigmoid() ) self.spatial_att = nn.Sequential( nn.Conv2d(2, 1, 7, padding=3), nn.Sigmoid() ) def forward(self, x): ca = self.channel_att(x) x = x * ca sa = torch.cat([x.mean(dim=1, keepdim=True), x.max(dim=1, keepdim=True)[0]], dim=1) sa = self.spatial_att(sa) return x * sa

4.3 训练策略：学习率调度与早停的实战参数

学习率调度我用了余弦退火配合warmup。warmup的前5个epoch学习率从1e-6线性增加到1e-3，然后余弦退火到1e-6。这个策略比StepLR稳定很多，尤其是在训练初期，warmup能避免模型在预训练权重上"跑偏"。

早停的patience设的是10个epoch，监控指标是验证集的macro F1。为什么用macro F1而不是准确率？因为类别不平衡的情况下，准确率会被多数类主导，macro F1对每个类别一视同仁，更能反映模型的真实性能。

优化器用的AdamW，weight decay设0.01。这里有个细节：weight decay不要作用在LayerNorm和bias上，否则会影响模型的表达能力。PyTorch里可以通过参数分组来实现。

# 参数分组：不对LayerNorm和bias做weight decay no_decay = ['bias', 'LayerNorm.weight'] optimizer_grouped_parameters = [ {'params': [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], 'weight_decay': 0.01}, {'params': [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], 'weight_decay': 0.0} ] optimizer = torch.optim.AdamW(optimizer_grouped_parameters, lr=1e-3)

4.4 混合方案：深度学习特征+手工特征的融合分类

这是我在复现过程中发现的一个有意思的点。把深度学习模型倒数第二层的特征（比如EfficientNet-B0的1280维特征）和手工特征（30维）拼在一起，再训练一个简单的分类器（比如逻辑回归），准确率比纯深度学习高了约0.8个百分点。

为什么有效？因为深度学习特征擅长捕捉全局的、抽象的形态模式，而手工特征提供了精确的、可解释的局部测量。两者互补，尤其是在那些深度学习模型"犹豫不决"的样本上，手工特征能提供额外的判别信息。

融合时要注意特征尺度差异。深度学习特征的数值范围通常比手工特征大很多，直接拼接会让手工特征被"淹没"。我的做法是对两组特征分别做标准化，然后再拼接。

from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression # 假设deep_features是N×1280，handcrafted_features是N×30 scaler_deep = StandardScaler() scaler_hand = StandardScaler() deep_scaled = scaler_deep.fit_transform(deep_features) hand_scaled = scaler_hand.fit_transform(handcrafted_features) combined = np.concatenate([deep_scaled, hand_scaled], axis=1) clf = LogisticRegression(max_iter=1000, class_weight='balanced') clf.fit(combined, labels)

5. 复现过程中踩过的坑与排查实录

5.1 数据泄露：一个差点让我白干两周的错误

我第一次跑实验的时候，验证准确率到了92%，当时特别兴奋。但后来做测试集评估时，准确率只有76%。排查了半天才发现，我在划分数据集之前就做了全局的标准化——用整个数据集的均值和方差来标准化，导致验证集的信息"泄露"到了训练过程中。

正确的做法是：先划分训练集、验证集、测试集，然后只用训练集的统计量来做标准化，再应用到验证集和测试集。这个坑在图像分类里尤其隐蔽，因为很多人觉得"图像像素值本来就是0-255，不需要标准化"。但如果你用了Z-score标准化或者PCA降维，就一定要小心。

提示：任何涉及全局统计量的操作（标准化、PCA、特征选择）都必须在训练集上fit，然后transform到验证集和测试集。这是铁律。

5.2 学习率过大导致的"假收敛"

有一次我把学习率设成了1e-2，训练loss在前几个epoch下降得很快，但验证loss很快就反弹了。我一开始以为是过拟合，加了dropout和weight decay都没用。后来把学习率降到1e-3，问题就消失了。

这个现象叫"假收敛"——学习率太大时，模型会在损失曲面上跳来跳去，训练loss看起来在下降，但实际上模型没有找到好的局部最优。验证loss的反弹就是信号。我的经验是：如果验证loss在训练loss还在下降时就开始上升，先检查学习率是不是太大了，而不是急着加正则化。

5.3 图像读取的通道顺序问题

OpenCV读取图像默认是BGR顺序，而PyTorch的预训练模型期望RGB。我一开始忘了转换，导致模型的输入通道顺序反了。这个问题很隐蔽，因为模型仍然能训练，只是性能会下降几个百分点。后来我统一用PIL读取图像，或者在OpenCV读取后手动转换通道顺序。

# OpenCV读取后转RGB img = cv2.imread(path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 或者直接用PIL from PIL import Image img = np.array(Image.open(path).convert('RGB'))

5.4 类别标签的映射错误

Sipakmed的类别标签在文件夹名称里，但文件夹名称的排序和类别索引的映射需要手动确认。我有一次想当然地按字母顺序映射，结果superficial和parabasal的标签反了，导致混淆矩阵完全对不上。后来我写了一个脚本，打印每个类别的文件夹名称和对应的索引，确认无误后才开始训练。

这个坑的教训是：不要假设任何东西，尤其是标签映射。花五分钟写个检查脚本，能省下几小时的排查时间。

6. 结果分析与性能对比：数字背后的故事

6.1 混淆矩阵揭示的类别混淆模式

最终模型的混淆矩阵显示，主要的混淆发生在intermediate和parabasal之间（约15%的intermediate被误判为parabasal），以及superficial和intermediate之间（约10%的superficial被误判为intermediate）。koilocytotic的召回率最低，只有82%，但考虑到它的样本量最少，这个结果可以接受。

从生物学角度理解这些混淆：intermediate和parabasal都是未完全成熟的细胞，形态上有重叠；superficial和intermediate的差异主要在细胞核的固缩程度上，这个差异在低分辨率下不明显。这提示我们，如果要进一步提升性能，可能需要更高分辨率的图像，或者针对这些易混淆类别设计专门的判别特征。

6.2 不同方案的性能对比与适用场景

从表格可以看出，融合方案在准确率和Macro F1上都取得了最好的结果。但它的复杂度也最高，需要同时维护深度学习模型和手工特征提取流程。如果是在实际部署场景中，需要权衡性能和工程复杂度。

6.3 模型可解释性：Grad-CAM热力图告诉了我们什么

我用Grad-CAM生成了热力图，观察模型在判断时关注了哪些区域。对于superficial类别，模型主要关注细胞核区域；对于parabasal类别，模型关注的是整个细胞区域；对于koilocytotic，模型关注的是细胞核周围的空晕区域。这些关注区域和病理学家的判断依据基本一致，说明模型学到了有意义的特征，而不是靠背景或噪声来分类。

但也有一些样本，模型关注了图像边缘的背景区域。这些样本通常是分割不完整的，细胞被截断或者背景干扰严重。这提示我们在预处理阶段要更严格地筛选图像，剔除质量太差的样本。

7. 如果重新做一次，我会在哪些地方省下时间

如果让我重新复现一遍Sipakmed，我会在数据预处理阶段花更多时间做质量筛查。第一次做的时候，我直接把所有图像都扔进了训练流程，结果发现大约5%的图像存在严重的模糊、过曝或分割不完整问题。这些低质量样本不仅拖累了模型性能，还让错误分析变得困难。

第二个会改进的地方是实验记录。我一开始用Excel手动记录每次实验的参数和结果，后来实验多了就乱了。建议从一开始就用结构化的方式记录，比如用JSON文件或者简单的数据库，记录每次实验的超参数、随机种子、验证指标。这样后面做消融实验或者对比分析时，能省下大量翻记录的时间。

第三个是尽早建立可视化的评估流程。不要只看准确率一个数字，要同时看混淆矩阵、各类别的precision/recall、以及典型错误样本的可视化。这些信息能帮你快速定位问题，而不是盲目地调参。

最后分享一个小技巧：在训练深度学习模型之前，先用手工特征方案跑一个基线。这个基线可能只有75%左右的准确率，但它能帮你确认数据加载、标签映射、评估流程都是正确的。如果手工特征方案的结果合理，再上深度学习；如果手工特征方案的结果都很差，那大概率是数据或流程有问题，这时候调深度学习模型是浪费时间。