跨癌种病理AI通用化：癌症感知注意力与去偏机制实践

病理AI这几年卷得厉害，但真正把模型拉到医院里跑一跑，很多人会遇上同一堵墙：单一癌种训练出来的模型，在自己的“主场”上看着还行，一跨癌种、一换科室，准确率坠崖式下跌。我们团队在做跨癌种病理AI通用化项目时，在这堵墙上磕了好几个月，最后逼出了一个组合方案：给模型装“癌症感知注意力”，让它主动盯着可疑区域看；再配合“去偏”机制，把染色差异、器官背景这类干扰信息显式地从特征中剥掉。这套方案在我们内部的泛癌基准上跑通了，跨癌种AUC从原来的0.78附近拉到了0.86以上。这篇文章把整个方案的动机、设计、训练过程和踩坑记录都摊开聊，希望对正做病理AI通用化的朋友有实打实的参考价值。

1. 背景与痛点：单一癌种模型为什么一到现场就失灵

1.1 单癌模型的“偏科”困境

病理AI行业内最常见的落地路径，是针对每个癌种单独训一个模型：乳腺癌一个，肺癌一个，结直肠癌又一个。这种模型在对应癌种、对应来源的数据上表现确实不错，测试集AUC做到0.9以上不稀奇。但问题是，真实世界里的数据不是“铁板一块”。医院A扫描仪和医院B扫描仪的图像差异，实验室之间的染色差异，甚至同一医院不同批次的切片差异，都会让模型性能出现明显波动。

更扎心的是跨癌种。把只训过乳腺癌的模型拿去跑肺癌，AUC能低到0.7以下。很多人第一反应是“那我还不如把所有癌种放在一起训一个多癌种模型”，但这样做往往只在训练涵盖的癌种上管用，一旦碰到全新的癌种或全新的器官背景，模型还是会被轻易带偏。本质上，单一癌种模型学到的特征里，混杂了大量和“这个癌”无关的东西：器官结构、组织纹理、染色颜色分布。这些东西在不同癌种之间毫无迁移性，模型却偷偷把它们当成了判断依据。

1.2 病理图像的偏见到底从哪里来

做病理AI的人应该都有体会，偏见来源大致有三类。

第一类是染色差异。不同实验室、不同批次，甚至同一批切片的染色剂浓度和反应时间不完全一样。肉眼看还可以接受，但模型对颜色分布极敏感。如果训练集偏粉色，测试集偏紫色，模型很可能把“颜色”当成信号。

第二类是器官背景差异。肝脏有肝小叶，肺有空腔和大量免疫细胞浸润，结直肠黏膜有隐窝结构。一个模型如果没有被强制去关注病变细胞本身，就很容易学会用“这个区域看起来像肺”来推测“这是肺癌”。这种捷径在一开始效果很好，但换到新器官新癌种时，背景纹理完全不同，性能自然崩塌。

第三类是标签与样本偏差。病理标注依赖医生主观经验，不同医疗机构对分级和诊断标准的把握不完全一致。再加上各癌种可用的数据量差异巨大，训练时某些类别的样本特别多，模型天然会偏向高频类别。这种数据层面的不均匀，也会让模型学到的特征更偏向“大样本癌种”的特殊形态。

1.3 通用化为什么这么难搞

病理图像本身也是个硬骨头。一张全切片图像（WSI）动辄几万个patch，每个patch单独看可能只是某处组织的局部放大，很多patch里根本没有癌细胞。传统深度学习模型如果要处理全图，几乎不可能直接整图输入，只能切成小块。这就带来一个根本性问题：绝大多数patch是正常组织或背景，模型默认接收的信息里“癌症信号”非常稀疏。

如果用多示例学习（MIL）的框架，把所有patch当作包里的实例，聚合函数到底应该重点看哪几个patch，就成了决定泛化能力的关键。很多早期工作用最大池化或者平均注意力池化，前者容易被噪声patch干扰，后者把大量无效组织也平等看待了。更麻烦的是，模型在没有明确引导的情况下，很容易学会“在训练集癌种里寻找器官特征”这种取巧方式。所以，通用化的核心难点不是“模型容量不够”，而是“没有机制保证模型把注意力放到真正可迁移的癌变形态上”。

2. 方案设计：让模型知道“看哪里”，再把“杂音”拨开

2.1 总体思路：两件事缺一不可

我们一开始想得很简单：把多个癌种的数据混在一起训练不就行了？但实验做下来发现，混合数据只能缓解一小部分问题，换到新癌种时模型依然会依赖某种“最显眼的域特征”。真正管用的做法，是从机制上同时解决两个问题：第一，让模型有意识地去关注那些与癌症形态强相关的区域，而不是被器官结构或背景牵着走；第二，让模型学到的特征表示里，不携带那些无法跨癌种迁移的“域偏见”。

对应地，我们设计了两个核心模块：癌症感知注意力机制，以及基于对抗学习和正交约束的去偏模块。两个模块在训练时联合工作，但各自承担不同的任务。癌症感知注意力负责“选对地点”，去偏模块负责“净化特征”。少了任何一个，性能都会打折扣。

2.2 癌症感知注意力：用“癌的先验”引导模型看对地方

病理图像没有patch级的精确标签，只有整张切片的阳性/阴性标签。要在这种弱标签下让注意力关注到真正的癌区域，最直接的办法是制造一个“癌症先验分数”。我们的做法是先用一个预训练分类模型，在多个癌种的公开数据上做过一轮弱监督训练，然后让这个模型给每个patch输出一个癌症置信度。这个置信度本身不是完美标注，但它能大概区分“像癌的区域”和“像正常解剖结构的区域”。

更重要的是，我们不把这个先验分数当成硬标签去卡注意力，而是把它作为一种辅助信号融入注意力计算。具体来说，每个patch的特征向量会同时产生两个分数：一个来自当前聚合网络自身对patch特征的自注意力评分，另一个来自先验癌症概率映射。最终注意力权重由两者相加后再做归一化得到。为了不让错误的先验主导整个训练，我们给先验权重加了一个随时间变化的系数λ。训练早期，模型对癌区域的位置还没有感知，λ设置高一些，让先验带路；训练后期，模型逐步学会自己判断，λ慢慢降下来，等于把主导权交还给特征自学习。

这种设计的微妙之处在于：模型从“别人指路”变成“自己找路”，但一路上始终用癌症形态先验约束搜索范围。实际效果是，即使换到一个全新的癌种，只要切片里存在异型细胞区域，注意力也会倾向落在那里，而不是落在器官背景上。

2.3 去偏模块：把“域身份”从特征里剥掉

有了注意力之后，模型已经能把目光聚焦到可疑区域，但聚焦并不等于特征就不含域偏见了。一个在乳腺癌上训练的模型，如果它用于区分乳腺组织中的病变和正常的特征是“乳腺导管结构”这类器官特征，那么把它拿到肝组织上同样失效。所以还需要一个显式的去偏过程。

我们采用的是对抗学习框架。在特征提取器的末端，除了接一个癌症分类头之外，还接了一个域判别头。域判别头的任务是从特征里判断样本来自哪个来源：癌种、中心、染色批次等等。训练时，我们让域判别头尽量准确地预测域标签，同时通过梯度反转层让特征提取器朝着“骗过判别器”的方向更新。这样，特征提取器会被迫丢掉那些“只要看特征就知道来自哪个域”的信息，留下的是跨域稳定、与诊断任务真正相关的特征。

但直接做对抗很容易出问题：特征彻底混乱，分类性能崩掉。我们加了两个稳定措施。第一，只对特征中一个残差分支做对抗，而不是对全部分类特征做对抗，这样保住诊断信息。第二，加入正交约束，要求分类特征和域特征向量之间的余弦相似度尽量小。正交约束的意义在于，即使对抗训练没完全消除域信号，模型也不能用域信号来做癌症分类，从源头上切断捷径。

2.4 两套模块怎么协同

整体流程可以概括为：输入一组patch，先用卷积骨干网络提取特征，再经过一层轻量Transformer捕捉patch之间的相互关联，随后进入癌症感知注意力聚合模块，得到整个切片的聚合表示。聚合表示一分为二：一条路径通往癌症分类头，直接输出该切片的诊断结果；另一条路径通往去偏模块，和域判别头对抗，并通过正交正则约束让分类路径不触碰到域信息。

训练时，癌症感知注意力模块提供空间选择性，去偏模块提供特征选择性。一个管“看哪里”，一个管“记住什么”，分工明确。这种解耦式的设计，也让整个模型在调试时更容易定位问题。

3. 实操过程与关键实现

3.1 数据准备与预处理

我们实验用的数据来自多个公开病理数据平台，覆盖了5个常见癌种作为训练集，另外留了2个相对少见的癌种作为跨癌种测试集。只有一个硬性规定：划分训练集和测试集必须按病人分，不能按patch分。同一个病人的多张切片之间高度相关，如果混在一起，模型可能靠“见过这个人”来得分，跨癌种评估会虚高得离谱。

Patch提取我们统一在20倍放大倍率下进行，尺寸固定为224×224。每张WSI往往有上万个patches，但多数都是背景或空腔，直接全塞进模型既浪费计算也会引入大量噪声。我们的做法是先用一个简单的颜色阈值过滤掉背景占比超过50%的patch，然后对剩余patch做随机采样，每张WSI最多保留2000个patch。对于癌性切片，如果肿瘤区域很小，这样采样可能漏掉关键信息，所以我们额外做了一步：用前面提到的预训练模型对每个patch打分，在采样时强制保留一部分高癌症得分的patch。这可以看作是一个“困难样本挖掘”策略。

染色归一化方面，我们初期尝试了完整的染色分离算法，但后来发现效果与简单的颜色标准化差距不大，反而增加了计算量。最终方案是：把每个patch的RGB通道均值方差归一化到一组参考值上，让整体颜色分布大致对齐。为什么不像很多论文那样把归一化做得很彻底？因为我们希望保留一部分真实的染色差异，让去偏模块能在训练中见到足够多的域变化。如果训练时把颜色差异抹得太干净，模型到了真实场景依然会被新鲜的颜色变化打个措手不及。

3.2 模型结构细节

骨干网络选了ResNet-50，理由很实际：病理patch分别提特征时，ResNet-50的性能够用，显存开销适中，而且在ImageNet上预训练过的权重迁移到病理图像上比从零开始训练要稳得多。如果你想追求更高性能，也可以用轻量级ViT，但对硬件要求更高，训练细调也更敏感。我们最终在ResNet-50上加了一层单层Transformer，让每个patch在聚合之前能互相“看一眼”上下文，这一步对跨癌种泛化帮助不小。

癌症感知注意力聚合模块的核心代码可以写成下面这个思路：

class CancerAwareAttentionPooling(nn.Module): def __init__(self, feat_dim): super().__init__() self.self_attn = nn.Sequential( nn.Linear(feat_dim, 256), nn.ReLU(), nn.Linear(256, 1) ) self.prior_proj = nn.Sequential( nn.Linear(feat_dim, 128), nn.ReLU(), nn.Linear(128, 1) ) def forward(self, patch_feats, prior_scores, lambda_prior): self_scores = self.self_attn(patch_feats).squeeze(-1) prior_proj = self.prior_proj(patch_feats).squeeze(-1) prior_scores = prior_scores.squeeze(-1) combined = self_scores + lambda_prior * (prior_proj + prior_scores) attn_weights = torch.softmax(combined, dim=0) pooled = torch.sum(patch_feats * attn_weights.unsqueeze(-1), dim=0) return pooled, attn_weights

这里的prior_scores就是前面提到的癌症置信度先验，lambda_prior是随训练步数变化的系数。我们让lambda_prior从1.0开始，经过若干epoch线性降到0.3左右，保留一部分先验约束但不过度干涉。

去偏模块的域判别头采用了一个两层的MLP，最后一层输出的类别数等于我们预设的域标签数量。域标签可以组合很多信息：癌种+来源中心+扫描仪编号。我们只保留“癌种”作为域标签，因为我们的目标是泛癌，跨中心问题暂时靠染色归一化和对抗训练来缓解。梯度反转层我们用的是经典的lambda * grad反向传播，lambda从0.1起步，最大到0.3，超过0.3后特征容易崩。

3.3 训练策略与超参数

训练分成两个阶段。第一阶段，冻结癌症感知注意力中的prior_proj模块，只用分类损失正常训练骨干和自注意力几个epoch，让模型对输入patch有一个基本判别能力。第二阶段，打开全部模块，同时加上去偏损失和正交正则，进行联合训练。如果一开始就上对抗，模型连癌症分类都还没学好，特征很容易被对抗信号搅浑。

总损失函数为：

L = L_cls + α * L_orth + β * L_domain

L_cls是带类别平衡权重的交叉熵，因为各癌种样本数量差异较大，直接放一起训练小样本癌种会吃亏。L_orth是分类特征和域特征之间的余弦相似度绝对值，我们希望它们尽量正交。L_domain是域判别头的交叉熵。经过网格搜索，α取0.1、β取0.02左右效果比较好，β太大会让对抗压力过大。

训练时每个batch采用了“域平衡采样”策略：从每个癌种各取等量WSI，每张WSI再取固定数量的patch。这样域判别头不会因为某个癌种数量大而把决策边界学偏。学习率用warmup加余弦衰减，初始学习率2e-4，batch size在32张WSI左右，也就是大约32000个patch，多卡训练时注意同步批量归一化，否则小batch下统计量会不稳定。

3.4 评估指标不只是AUC

最终评价不能只看单一AUC。我们报告三组指标：训练癌种内AUC、新癌种测试AUC、以及跨中心/跨扫描仪测试AUC。这三组分别反映模型的拟合能力、泛化能力和鲁棒性。为了让“去偏”的效果可量化，我们额外设计了一个域混淆分数：把训练好的特征全部投影到二维空间，然后训练一个临时小区分器去预测域标签，如果这个区分器准确率低于随机水平越多，说明域信息被剥得越干净。这个分数不参与训练，只用于评估分析。

4. 实验结果与效果分析

4.1 单癌模型、混合模型和我们方案的对比

我们对比了三类模型：只在一个癌种上训练的单癌模型、把所有训练癌种简单混合训练的“多癌模型”、以及加上了癌症感知注意力和去偏的完整方案。为保证公平，所有模型使用同样的骨干网络和patch提取流程。

单癌模型在新癌种上的0.62基本接近随机猜测，这直观展示了“偏科”的严重程度。简单混合模型把新癌种AUC提到0.74，说明多癌种数据本身有信息增益，但提升有限。完整方案把新癌种AUC拉到0.87，跨中心AUC到0.88，这说明不是“见得多”在起作用，而是“会看能去偏”在起作用。

4.2 消融实验：哪个模块更值钱

我们还分别去掉了癌症感知注意力和去偏模块，看看谁对提升贡献大。

有意思的是，去掉两个模块的模型在训练癌种内AUC反而比完整方案高一点，这其实正常：模型一旦不再被约束，很容易在训练集里“背答案”，测试时原形毕露。去掉癌症感知注意力和去掉去偏模块后，新癌种AUC分别回到0.81和0.80，说明这两个模块各自都有独立贡献，而且叠加使用效果最好。

4.3 注意力热图：模型到底在看什么

可视化结果让我印象很深。简单混合多癌模型的注意力热图，在乳腺癌数据上还能聚焦到导管区域，但放到肺癌切片上就开始零散，经常落在富含免疫细胞和肺间质的区域。而完整模型在肺癌切片上的注意力，几乎一致落在细胞核异型明显、结构紊乱的区域——这种区域在形态学上是跨癌种共通的恶变特征。去偏模块也发挥作用之后，热图在高频背景纹理上的亮度明显下降，器官特异性结构的关注度被压制得很低。

我们尝试过一个更直观的测试：把肝切片和肺切片分别用同一个模型处理，对比注意力热图。完整模型在两个器官上关注的位置高度相似，都是偏向“细胞密度高、异型明显”的区域；而没去过偏的模型在肝上会额外关注肝小叶边界，在肺上会额外关注支气管结构。这说明去偏确实让模型从“认器官”转向了“认癌症”。

5. 常见问题与避坑指南

5.1 染色归一化和对抗去偏会不会重复？

很多朋友会问，既然对抗能去掉域信息，还要染色归一化做什么？我们的经验是两者并不重复。染色归一化主要处理的是低层颜色分布的偏移，比如把平均颜色拉齐。对抗去偏针对的是中高层特征层面的域信息，比如器官背景、组织纹理风格。只做染色归一化，模型依然会依赖组织背景来分类；只做对抗，底层颜色差异会加大训练不稳定。两个都保留时，对抗训练的收敛速度会快不少。

但注意，染色归一化不要做过头。如果你的归一化太强，训练数据里看不到真实的染色变化，去偏模块就没有样本用来学习“剥离颜色差异”的能力，测试时遇到新染色风格反而更脆弱。保留一些温和的变化，反而能增强鲁棒性。

5.2 对抗训练总导致模型崩溃怎么办

这是我们在项目里踩得最深的坑。梯度反转系数一开始就设成0.5，结果特征被彻底搅乱，分类AUC掉到0.6以下。后来把梯度反转系数改成从一个极小值开始，比如0.01，随着训练步数慢慢上升到0.3，稳定多了。另外，域判别头本身也要做正则化，我们用谱归一化约束判别头的权重范数，避免它训练过快、过早饱和。

如果你发现对抗训练还是不稳定，另一个技巧是给域判别头加标签平滑。因为域标签本身不是绝对固定的，比如同一个癌种的不同形态差异可能比不同癌种的差异还大，让判别头不要过度自信，对抗信号会温和不少。这个改动虽小，但有效减少了训练初期的震荡。

5.3 癌症先验网络出错怎么办

癌症先验网络毕竟是用弱监督方法训练的，在某些癌种上准确率可能不行。如果先验给了一个错误的“高癌症分数”给正常patch，注意力就会被带偏。我们的解决思路是：先验网络训练时不要用全部patch，只留高置信度样本，比如癌症置信度大于0.7的阳性patch和小于0.3的阴性patch。同时，先验网络在多个癌种联合数据上训练，保证它见多识广，而不是只对某一个癌种敏感。

在注意力机制里，我们也做了防御性设计。lambda_prior在训练后期降到0.3，这意味着模型不能完全依赖先验，它必须逐渐学会自己找目标。这样即使先验在某些样本上的分数不准，模型自身的自注意力也可以对冲错误。这个设计让系统整体更鲁棒，而不是某个模块的错误直接带走整个模型。

5.4 类别不均衡怎么影响去偏

各癌种样本数量天然不均衡，比如肺癌数据远多于某些罕见癌种，这会让域判别头在预测域标签时天然偏向大样本癌种。我们用标签平滑和focal loss来训练判别头，重点让小样本域的样本不被忽略。同时，每个batch强制从每个域都采样等量WSI，属于动态过采样。这样即便某个癌种数据少，域判别头在每个batch里都能见到它，不会把它当成干扰噪声。

5.5 跨癌种评估中的两个致命陷阱

先说说数据划分。病理切片经常来自同一个病人的多个切面，或者随访切片，如果按切片划分而不按病人划分，模型可能在训练时见过同一个病人的其他切片，在测试时通过“记忆病人特征”来诊断，导致跨癌种性能虚高。我们项目早期就因为这个问题得到过一个漂亮的测试AUC，后来按病人重划数据之后，数值瞬间掉了6个点。血泪教训。

第二个陷阱是评估集中混入了新癌种的独特组织形态。如果你测试的新癌种带着非常明显的器官特异结构，而去偏模型恰好没见过的结构，模型可能会把它们当成正常组织。所以评估时最好同时报告“同癌种跨中心”和“新癌种”两类数字，不能只看一个。否则模型可能只是碰运气。

我们最后复盘时有个强烈体会：跨癌种病理AI通不到终点，但“让模型看癌而不是看背景，再把无关干扰剥离掉”这个大方向，是真的能带来实打实提升。现在团队还在继续把这套方案往更多癌种和更多中心数据上推，每次换数据源都会发现新的偏见来源，去偏模块也在持续打磨。如果你也在做类似工作，希望这篇记录能帮你避开我们踩过的那几个大坑。