ResNet18迁移学习实战：云端GPU+预训练模型省时90%-育师

ResNet18迁移学习实战：云端GPU+预训练模型省时90%

引言

参加Kaggle比赛时，你是否遇到过这样的困境：从零开始训练一个深度学习模型需要耗费数天时间，而比赛截止日期却近在眼前？这就是为什么迁移学习会成为计算机视觉竞赛中的"秘密武器"。今天我要分享的ResNet18迁移学习方案，能让你用1/10的训练时间达到top20%的成绩。

ResNet18是深度学习领域的经典模型，全称Residual Network 18层。它通过独特的"残差连接"设计，解决了深层网络训练时的梯度消失问题。想象一下，这就像给神经网络装上了"记忆电梯"——当信息需要传递很多层时，可以直接坐电梯跳过中间楼层，避免在楼梯间迷路。这种设计让ResNet18在保持轻量级的同时，具备了出色的特征提取能力。

更棒的是，借助云端GPU和预训练模型，我们不需要从头开始训练。就像厨师不用从种菜开始准备晚餐，而是直接使用半成品食材，我们也能利用模型已经学到的通用图像特征，快速适配到新任务上。接下来，我将带你一步步实现这个高效方案。

1. 环境准备：5分钟搭建GPU训练平台

1.1 选择云GPU环境

对于Kaggle比赛这类计算密集型任务，本地电脑往往力不从心。我推荐使用云端GPU环境，原因有三：

免去本地安装CUDA、cuDNN等驱动环境的繁琐过程
按需付费，比赛期间可以随时扩展算力
预置环境包含常用深度学习框架和工具链

在CSDN星图镜像广场，你可以找到预装PyTorch和ResNet18的镜像，一键部署即可使用。

1.2 准备Python环境

部署完成后，我们需要确保环境中的关键库版本匹配：

pip install torch==1.12.1 torchvision==0.13.1 pip install pandas matplotlib tqdm

这些库将分别提供： - torch：PyTorch深度学习框架核心 - torchvision：包含ResNet18等预训练模型 - pandas：数据处理工具 - matplotlib：可视化训练过程 - tqdm：进度条显示

2. 数据准备与预处理

2.1 加载Kaggle数据集

假设你正在参加一个植物病害分类比赛，数据集结构如下：

plant_disease/ ├── train/ │ ├── healthy/ │ ├── disease1/ │ └── disease2/ └── test/ ├── unknown1.jpg └── unknown2.jpg

使用torchvision的ImageFolder可以自动构建标签：

from torchvision.datasets import ImageFolder from torchvision import transforms train_transform = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) train_data = ImageFolder('plant_disease/train', transform=train_transform)

2.2 创建数据加载器

将数据分成训练集和验证集，并创建数据加载器：

from torch.utils.data import DataLoader, random_split val_size = int(0.2 * len(train_data)) train_size = len(train_data) - val_size train_dataset, val_dataset = random_split(train_data, [train_size, val_size]) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) val_loader = DataLoader(val_dataset, batch_size=32)

这里我们使用了20%的数据作为验证集，batch_size设为32是个不错的起点。如果你的GPU内存较小，可以适当调小这个值。

3. 迁移学习实战：三步改造ResNet18

3.1 加载预训练模型

这是迁移学习的核心步骤——我们直接使用在ImageNet上预训练好的权重：

import torchvision.models as models model = models.resnet18(pretrained=True)

这个预训练模型已经学会了识别边缘、纹理、形状等基础视觉特征，就像一位经验丰富的画家已经掌握了调色和构图的基本功。

3.2 替换最后一层全连接

原始ResNet18是为1000类ImageNet设计的，我们需要调整最后一层来匹配我们的分类任务：

import torch.nn as nn num_classes = 3 # 假设我们的植物病害数据集有3类 model.fc = nn.Linear(model.fc.in_features, num_classes)

这相当于只更换了画家的"专业方向"——从画各种物体变成专门画植物病害。

3.3 选择优化器和损失函数

我们使用交叉熵损失和带动量的SGD优化器：

import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)

学习率(lr)设为0.001是个安全的起点，后续可以根据训练情况调整。

4. 模型训练与验证

4.1 训练循环实现

下面是标准的PyTorch训练循环，我添加了进度条和验证步骤：

from tqdm import tqdm def train_model(model, train_loader, val_loader, criterion, optimizer, num_epochs=10): for epoch in range(num_epochs): model.train() running_loss = 0.0 # 训练阶段 for inputs, labels in tqdm(train_loader, desc=f'Epoch {epoch+1}/{num_epochs}'): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() # 验证阶段 model.eval() val_loss = 0.0 correct = 0 total = 0 with torch.no_grad(): for inputs, labels in val_loader: outputs = model(inputs) loss = criterion(outputs, labels) val_loss += loss.item() _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print(f'Epoch {epoch+1} - Train Loss: {running_loss/len(train_loader):.4f}, ' f'Val Loss: {val_loss/len(val_loader):.4f}, ' f'Val Acc: {100*correct/total:.2f}%') return model

4.2 关键训练技巧

在云端GPU上训练时，我总结了几个实用技巧：

学习率预热：前几个epoch使用较小的学习率，之后逐步增大
早停机制：当验证集准确率连续3个epoch不提升时停止训练
混合精度训练：使用apex库可以显著减少显存占用

以下是混合精度训练的改造示例：

from apex import amp model, optimizer = amp.initialize(model, optimizer, opt_level="O1") # 在训练循环中替换 loss.backward() 为： with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward()

5. 模型优化与部署

5.1 模型微调策略

当基础迁移学习效果不够理想时，可以尝试以下策略：

解冻部分层：逐渐解冻更底层的网络层 ```python # 先冻结所有层 for param in model.parameters(): param.requires_grad = False

# 解冻最后两个残差块 for param in model.layer3.parameters(): param.requires_grad = True for param in model.layer4.parameters(): param.requires_grad = True ```

学习率分层：不同层使用不同的学习率python optimizer = optim.SGD([ {'params': model.layer3.parameters(), 'lr': 0.001}, {'params': model.layer4.parameters(), 'lr': 0.001}, {'params': model.fc.parameters(), 'lr': 0.01} ], momentum=0.9)

5.2 模型保存与提交

训练完成后，保存模型权重用于推理：

torch.save(model.state_dict(), 'plant_disease_resnet18.pth')

对于Kaggle提交，通常需要生成测试集的预测结果：

model.eval() test_preds = [] with torch.no_grad(): for image in test_loader: output = model(image) _, pred = torch.max(output, 1) test_preds.extend(pred.cpu().numpy())