CrossFormer实战：跨尺度注意力图像分类微调指南

简介：这份资源面向希望上手视觉Transformer的开发者与图像分类学习者，围绕CrossFormer这一引入跨尺度注意力机制的新型架构，提供从模型实现到分类任务落地的完整实战素材。压缩包共2000个文件，约835.34MB，其中1986个png为训练与验证图像样本，7个py脚本承载模型定义、训练与推理流程，另有pth权重文件、json类别映射、txt说明及pyc缓存，结构清晰便于直接复现。已有191人学习下载，适合具备一定PyTorch基础、想深入理解多尺度特征交互的读者。通过这份资料，读者可掌握CrossFormer的代码组织方式、数据加载与类别配置、模型训练与评估的完整链路，并借助预训练权重快速验证图像分类效果，为后续迁移到自动驾驶、医疗影像等场景提供可参考的工程模板与排错思路。

1. 从 CNN 到 CrossFormer：图像分类的跨尺度注意力到底解决了什么

如果你最近在刷最新的图像分类模型榜单，大概率会反复看到一个名字：CrossFormer。它属于 Transformer 图像分类这条技术路线里比较有代表性的一支，核心卖点是用跨尺度注意力（Cross-Scale Attention）把不同尺度的特征串起来。传统 ViT 把图像切成固定大小的 patch，全局自注意力一把梭，显存和计算量随分辨率平方增长；Swin 用窗口注意力把计算量压下来，但窗口之间要靠移位操作间接通信。CrossFormer 的思路更直接：既然图像里物体大小差异巨大，那就显式地建一个跨尺度的注意力模块，让大 patch 和小 patch 之间直接交换信息。

这篇实战笔记要解决的问题很具体：拿到 CrossFormer 这个结构，怎么在自己的图像分类数据集上把它跑起来、跑稳、跑出能看的精度。适合两类人：一类是已经用过 ResNet、EfficientNet 做分类，想试试 Transformer 路线但被各种实现细节卡住的工程师；另一类是做森林图像分类、遥感图像分类这类类间差异细、尺度变化大的任务，想找一个对多尺度友好的骨干网络。下面从结构选型讲到数据准备、训练配置、避坑排查，最后给一个提升精度的具体技巧。全程按能复现的标准写，参数给到能直接抄的程度。

2. CrossFormer 的结构拆解与选型理由：为什么它适合多尺度图像分类

2.1 跨尺度注意力与双流基座到底在做什么

CrossFormer 的整体骨架是分阶段的层级结构，和 Swin、PVT 一样把网络分成四个 stage，每个 stage 输出不同分辨率的特征图。真正让它区别于其他 Transformer 分类模型的是两个设计：跨尺度嵌入层（Cross-scale Embedding Layer，CEL）和长短距离注意力（Long Short Distance Attention，LSDA）。

跨尺度嵌入层在切 patch 的时候不是只用一种尺寸，而是同时用 4x4、8x8、16x16、32x32 等多种核去采样同一块区域，然后把结果拼接投影。这样每个 token 从一开始就携带了多尺度的信息，而不是等到深层才靠感受野堆出来。对于森林图像分类这种同一张图里既有整片林冠又有单株树叶纹理的任务，这个设计在输入端就保留了尺度多样性。

长短距离注意力把注意力计算拆成两组：一组在局部窗口内做短距离注意力，捕捉细粒度纹理；另一组在稀疏采样的长距离位置上做注意力，捕捉全局结构。两组结果拼接后再融合。这就是热词里说的“双流基座”的来源——它本质上是两条注意力支路并行，而不是单一的自注意力。

选它的理由很直接：如果你的数据集里目标尺度变化大，CNN 靠堆深度和空洞卷积来扩感受野，效率不高；标准 ViT 在中小数据集上又容易过拟合。CrossFormer 的层级结构加跨尺度设计，在 ImageNet 级别以下的数据集上微调时，通常比同参数量的 ViT 更稳。

2.2 四个规格怎么选：Tiny 到 Large 的参数对照

CrossFormer 常见的有四个规格，参数量和计算量差异很大，选错了要么显存爆要么欠拟合。下面这张表是我实际用过的配置对照，输入分辨率统一按 224x224 算。

选型原则：自建数据集样本量在 1 万到 5 万张之间，优先 Tiny 或 Small；样本量超过 10 万张且类别数超过 100，再考虑 Base。Large 基本只在从头训练或者有大规模预训练权重时才划算，微调小数据集用 Large 是典型的翻车操作，验证集精度会卡在随机猜附近上不去。

提示：上表的显存数字是混合精度训练下的经验值，实际会随 dataloader 的 worker 数、是否开启梯度检查点而浮动。显存吃紧时先开梯度检查点，再降 batch，最后才动分辨率。

2.3 环境搭建与依赖版本

CrossFormer 的官方实现依赖 timm 的部分组件和 einops，环境不对会出现各种 import 报错。我一般用 conda 建一个干净环境，避免和已有的 torch 版本打架。

conda create -n crossformer python=3.9 -y conda activate crossformer # torch 版本要和 CUDA 驱动匹配，这里以 CUDA 11.8 为例 pip install torch==2.0.1 torchvision==0.15.2 --index-url https://download.pytorch.org/whl/cu118 pip install timm==0.9.2 einops==0.6.1 opencv-python==4.8.0.74 pip install tensorboard==2.13.0 pyyaml==6.0

逻辑说明：torch 2.0 之后的版本对 Transformer 类模型的 scaled_dot_product_attention 有原生支持，能省显存；timm 用来加载预训练权重和做数据增强；einops 是 CrossFormer 源码里做张量重排的硬依赖，版本太低会报rearrange参数不识别。参数上，python 3.9 是兼容性最稳的版本，3.11 在部分 einops 版本上会有编译问题。

装完后跑一句验证：

python -c "import torch, timm, einops; print(torch.__version__, timm.__version__, einops.__version__)"

输出三个版本号且无报错，环境就算通了。如果报libGL.so.1找不到，是 opencv 的系统依赖缺失，装apt install libgl1即可，这个坑在无桌面环境的服务器上很常见。

3. 数据准备与训练流程：从数据集组织到第一个能跑的 epoch

3.1 图像分类数据集的组织与增强策略

CrossFormer 对数据格式的要求和标准 ImageNet 一致，按类别分文件夹即可。假设你的数据集叫forest_cls，目录结构应该是这样：

forest_cls/ ├── train/ │ ├── pine/ │ ├── oak/ │ └── birch/ ├── val/ │ ├── pine/ │ ├── oak/ │ └── birch/

训练集和验证集按 8:2 或 9:1 切分，每个类别至少保证验证集有 30 张以上，否则精度波动会大到没法判断模型好坏。森林图像分类这类任务常见的问题是类间样本不均衡，某个树种只有几十张，这时候要么过采样，要么在 loss 里加类别权重。

数据增强用 timm 的create_transform最省事，但要注意 CrossFormer 的预训练权重对输入归一化有特定要求。下面是我常用的增强配置：

from timm.data import create_transform from timm.data.constants import IMAGENET_DEFAULT_MEAN, IMAGENET_DEFAULT_STD train_transform = create_transform( input_size=224, is_training=True, color_jitter=0.4, # 颜色抖动强度，森林图像光照差异大，适当调高 auto_augment='rand-m9-mstd0.5-inc1', # RandAugment 策略 interpolation='bicubic', re_prob=0.25, # Random Erasing 概率，防止过拟合 re_mode='pixel', mean=IMAGENET_DEFAULT_MEAN, std=IMAGENET_DEFAULT_STD, ) val_transform = create_transform( input_size=224, is_training=False, interpolation='bicubic', mean=IMAGENET_DEFAULT_MEAN, std=IMAGENET_DEFAULT_STD, )

逻辑说明：color_jitter=0.4比默认的 0.4 略高，是因为森林图像在不同季节、不同光照下颜色差异极大，增强不够会导致模型把颜色当捷径。auto_augment用 RandAugment 的 m9 配置，在中小数据集上比默认的 m9 更激进一点，配合re_prob=0.25的随机擦除，能明显压低过拟合。参数上，re_mode='pixel'比'const'更自然，但计算稍慢，样本量小于 5000 时建议用'const'省时间。

3.2 模型构建与预训练权重加载

CrossFormer 的模型定义在官方仓库的models/crossformer.py里，用 timm 的create_model接口可以统一调用。如果你已经把源码放到本地，构建方式如下：

import torch from timm.models import create_model import models.crossformer # 导入后注册到 timm 的模型库 def build_model(num_classes, model_name='crossformer_tiny', pretrained=True): model = create_model( model_name, pretrained=pretrained, num_classes=num_classes, drop_rate=0.1, # 分类头 dropout drop_path_rate=0.1, # 随机深度，层级越深越大 ) return model model = build_model(num_classes=10, model_name='crossformer_tiny') model.cuda()

逻辑说明：drop_path_rate=0.1是微调时的安全值，从头训练可以调到 0.2 到 0.3。drop_rate只作用在最后的分类头，对 Transformer 主干影响不大。加载预训练权重时，如果类别数和预训练不一致，分类头的权重会被自动跳过，这是 timm 的默认行为，不用手动处理。

参数上，model_name要和源码里注册的名字完全一致，常见的是crossformer_tiny、crossformer_small、crossformer_base。写错名字会报Unknown model，这时候去源码的register_model装饰器附近确认一下。

注意：如果预训练权重是 224 分辨率训练的，而你打算用 384 微调，位置编码需要插值。CrossFormer 的位置编码是按 stage 动态生成的，通常不用手动插值，但分辨率变化太大时精度会掉，建议先在 224 上微调几个 epoch 再升分辨率。

3.3 训练循环与关键超参设置

CrossFormer 微调的学习率策略和 CNN 不一样，Transformer 对学习率更敏感，太大直接发散，太小收敛慢。我一般用 AdamW，主干学习率设 5e-5，分类头设 5e-4，配合余弦退火和 5 个 epoch 的 warmup。

from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR, LinearLR, SequentialLR # 主干和分类头分组，分类头学习率更高 backbone_params = [p for n, p in model.named_parameters() if 'head' not in n] head_params = [p for n, p in model.named_parameters() if 'head' in n] optimizer = AdamW([ {'params': backbone_params, 'lr': 5e-5}, {'params': head_params, 'lr': 5e-4}, ], weight_decay=0.05) warmup = LinearLR(optimizer, start_factor=0.01, total_iters=5) cosine = CosineAnnealingLR(optimizer, T_max=95, eta_min=1e-6) scheduler = SequentialLR(optimizer, schedulers=[warmup, cosine], milestones=[5]) criterion = torch.nn.CrossEntropyLoss(label_smoothing=0.1)

逻辑说明：分组学习率是微调 Transformer 的标准操作，主干已经预训练过，只需要小步调整；分类头是随机初始化的，需要大步学。weight_decay=0.05是 AdamW 在 Transformer 上的常用值，比 CNN 的 1e-4 大很多，因为 Transformer 参数多、容易过拟合。label_smoothing=0.1对类别边界模糊的森林图像分类特别有用，能缓解模型对错误标签的过度自信。

训练循环本身用标准的 PyTorch 写法，每个 epoch 记录训练 loss、验证精度和当前学习率。混合精度用torch.cuda.amp包一下，显存能省 30% 左右，速度提升 20% 到 40%。

scaler = torch.cuda.amp.GradScaler() for epoch in range(100): model.train() for images, labels in train_loader: images, labels = images.cuda(), labels.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs = model(images) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() scheduler.step() # 验证逻辑略，按标准 accuracy 计算即可

参数上，GradScaler不需要手动调，它会自适应。如果训练中出现 loss 变成 nan，先检查学习率是不是太大，再检查数据里有没有损坏的图片。混合精度下偶尔会有梯度溢出，scaler会自动跳过那一步，不用干预。

4. 避坑与排查：CrossFormer 微调时最容易翻车的五个地方

4.1 现象：训练 loss 正常下降，验证精度始终在随机猜附近

原因：最常见的是数据标签和文件夹名对不上，或者val集的 transform 误用了训练增强。另一个高频原因是预训练权重根本没加载成功，模型从随机初始化开始训，小数据集上表现就是随机猜。

解决：先打印模型分类头的权重，看是不是随机初始化的值。再检查create_model的pretrained参数是否真的生效，有些本地源码版本需要手动指定checkpoint_path。最后确认验证集的 transform 里is_training=False，且没有 RandAugment 和 Random Erasing。

4.2 现象：显存溢出，报 CUDA out of memory

原因：CrossFormer 的跨尺度嵌入层在浅层会产生较多 token，显存占用比同参数量的 Swin 高。batch 设太大、分辨率设太高、或者没开混合精度都会触发。

解决：按顺序试——先开torch.cuda.amp，再把 batch 减半，再开梯度检查点（model.set_grad_checkpointing(True)，部分实现支持），最后才降分辨率。不要一上来就降分辨率，224 降到 192 对精度的影响比 batch 减半大得多。

4.3 现象：训练速度极慢，一个 epoch 要几个小时

原因：dataloader 的num_workers设成 0，或者数据放在机械硬盘上，GPU 一直在等数据。另一个原因是没开pin_memory和persistent_workers。

解决：num_workers设成 CPU 核数的 1/4 到 1/2，pin_memory=True，persistent_workers=True。如果数据集小，可以先把所有图片解码后缓存到内存或 SSD。实测这些设置能把 GPU 利用率从 30% 拉到 80% 以上。

4.4 现象：验证精度波动大，相邻两个 epoch 差 5 个点以上

原因：验证集太小，或者 batch norm 在小 batch 下统计量不稳。CrossFormer 主干用的是 LayerNorm，但分类头和部分实现里可能有 BN。另外学习率太大也会导致这种震荡。

解决：验证集每个类别至少 30 张，最好 50 张以上。学习率降一半试试，warmup 从 5 个 epoch 加到 10 个。如果还震荡，检查drop_path_rate是不是设得太高，微调时超过 0.2 会导致训练不稳定。

4.5 现象：加载预训练权重时报 key 不匹配，大量 missing keys

原因：模型定义的名字和预训练权重的 key 前缀不一致，常见于自己改了源码里的模块命名，或者用了不同版本的 timm。

解决：先用model.state_dict().keys()打印模型的所有 key，再和权重文件的 key 对比。如果只是前缀差异，写个脚本批量替换。如果是结构差异，比如分类头类别数不同，那部分 missing 是正常的，只要主干 key 匹配上就行。不要强行strict=True加载，会直接报错退出。

5. 进阶技巧：用分层学习率和 EMA 把 CrossFormer 的精度再抬一档

前面讲的配置能让你跑出一个可用的模型，但如果想把精度再往上推 1 到 2 个点，有两个技巧值得试：分层学习率衰减和指数移动平均（EMA）。

分层学习率衰减的思路是，越靠近输入的层，特征越通用，学习率应该越小；越靠近分类头的层，越任务相关，学习率应该越大。CrossFormer 有四个 stage，我一般给 stage1 到 stage4 分别设 0.25x、0.5x、0.75x、1.0x 的倍率，分类头单独 10x。实现上就是在优化器里多分几组：

def get_layer_lr(model, base_lr=5e-5): groups = [] for name, param in model.named_parameters(): if 'head' in name: lr = base_lr * 10 elif 'stage1' in name: lr = base_lr * 0.25 elif 'stage2' in name: lr = base_lr * 0.5 elif 'stage3' in name: lr = base_lr * 0.75 else: lr = base_lr groups.append({'params': param, 'lr': lr}) return groups optimizer = AdamW(get_layer_lr(model), weight_decay=0.05)

逻辑说明：这个分组方式假设源码里的模块命名包含stage1到stage4，如果你的实现命名不同，按实际名字调整。分层学习率在数据量小于 2 万张时效果最明显，因为浅层特征不需要大改，改多了反而破坏预训练学到的通用表示。

EMA 的做法是维护一份模型参数的滑动平均副本，验证和推理时用这份副本。它对小数据集上的精度提升很稳定，通常能涨 0.5 到 1 个点。实现上用一个简单的 EMA 类：

class ModelEMA: def __init__(self, model, decay=0.999): self.ema = copy.deepcopy(model).eval() self.decay = decay for p in self.ema.parameters(): p.requires_grad_(False) @torch.no_grad() def update(self, model): for ema_p, p in zip(self.ema.parameters(), model.parameters()): ema_p.mul_(self.decay).add_(p, alpha=1 - self.decay) ema = ModelEMA(model, decay=0.999) # 每个训练 step 后调用 ema.update(model) # 验证时用 ema.ema 代替 model

参数上，decay=0.999适合训练步数在 1 万到 10 万之间的场景；步数更多可以调到 0.9999，步数更少调到 0.99。EMA 的副本会额外占一份显存，如果显存紧张，可以在验证前才把参数拷过去，验证完再恢复。

这两个技巧叠加使用时，注意 EMA 的更新要在scaler.update()之后，确保用的是更新后的参数。另外分层学习率和余弦退火可以共存，把每组的初始学习率按倍率设好，退火时整体按比例降。

我自己踩过的一个坑是：EMA 的 decay 设成 0.9999 但训练只有 30 个 epoch，结果 EMA 副本还停留在接近初始权重的状态，验证精度反而比原模型低。后来改成按训练总步数动态算 decay，才稳定下来。所以别迷信固定值，按自己的训练规模调。

希望帮到你。

本文还有配套的精品资源，点击获取