基于迁移学习的图像分类系统：从选型到部署的完整实战指南

简介：这份人工智能期末大型作业与结课作业精选合集，面向高校学生及自学者，用于课程设计、期末大作业与算法入门实践。内容按搜索算法、智能优化算法、深度学习三大模块组织：搜索部分用深度优先、广度优先与A*解决八数码问题，并对比三者性能；优化部分以遗传算法、粒子群、蚁群求解att48的TSP问题，给出伪欧氏距离10628与欧氏距离33523等最优解；深度学习部分基于TensorFlow实现BP神经网络与卷积神经网络的手写体识别，侧重原理理解与框架使用。资源包共69个文件，含14个py源码、9个md说明、34张png结果图及8个gz数据文件，约23.49MB，每个算法均配有介绍、代码、运行结果与总结，便于对照复现与撰写报告。目前已有55人学习，适合需要完整项目方案与排错参考的读者。

1. 从“人工智能期末大型作业汇总”里挑出一个能跑通的项目

每到期末，总有人在搜索框里敲下“人工智能期末大型作业汇总”或者“人工智能结课作业精选”，翻了几十个仓库之后发现，真正能跑通的没几个。要么是数据集下载链接失效，要么是环境依赖版本对不上，要么是代码里写死了作者本机的绝对路径。我见过太多同学把时间耗在配环境上，最后交上去的作业连训练日志都跑不出来。

这个标题背后真正的问题不是“有没有项目”，而是“怎么从一堆高分项目合集里筛出适合自己、能在有限时间内复现、还能写出报告的那个”。适合读这篇的人有三类：期末需要交大作业的本科生、想用完整项目练手的转行者、以及需要快速验证某个方向可行性的研究生。接下来的内容会围绕一个具体可复现的项目展开——基于迁移学习的图像分类系统，从选型、数据准备、训练、调参到避坑，每一步都有可抄的代码和参数说明。

2. 选型：为什么迁移学习是期末作业的最优解

2.1 从零训练和迁移学习的成本对比

期末作业的时间窗口通常只有两到三周，从零训练一个卷积网络在ImageNet级别数据上需要几十个GPU小时，这显然不现实。迁移学习的思路是拿一个在大规模数据集上预训练好的模型，把它的特征提取能力迁移到自己的任务上。常见做法是冻结骨干网络，只训练最后的分类头；如果数据量稍多，也可以解冻部分高层做微调。

我一般会推荐ResNet18或MobileNetV3作为骨干。ResNet18参数量约1100万，在CPU上也能跑推理，适合演示；MobileNetV3更轻，适合部署到边缘设备的场景。选哪个取决于你的作业要求里有没有“模型轻量化”或“实时推理”这类关键词。

2.2 数据集的选择和预处理流程

期末作业常见的数据集有CIFAR-10、Fashion-MNIST、猫狗大战、花卉分类。CIFAR-10只有6万张32x32的图，跑起来快但精度天花板低；猫狗大战有2.5万张，适合做二分类；花卉分类有102类，适合展示多分类能力。如果老师没有指定数据集，我建议用CIFAR-10先跑通流程，再换成自己爬的小数据集做对比实验。

预处理的核心是归一化和数据增强。归一化用ImageNet的均值和标准差，因为预训练权重是在那个分布上学的。数据增强在训练集上用随机裁剪、水平翻转、颜色抖动，验证集只做中心裁剪和归一化。

import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader # 训练集增强：随机裁剪+翻转+颜色抖动 train_transform = transforms.Compose([ transforms.RandomResizedCrop(224), # 随机裁剪到224x224 transforms.RandomHorizontalFlip(p=0.5), # 50%概率水平翻转 transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], # ImageNet均值 std=[0.229, 0.224, 0.225]) # ImageNet标准差 ]) # 验证集只做尺寸调整和归一化 val_transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=train_transform) val_dataset = datasets.CIFAR10(root='./data', train=False, download=True, transform=val_transform) train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True) val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False, num_workers=4, pin_memory=True)

RandomResizedCrop(224)把图像随机缩放裁剪到224x224，这是ResNet的标准输入尺寸。ColorJitter里的三个参数分别控制亮度、对比度、饱和度的扰动幅度，0.2是一个温和的值，再大可能让颜色失真。Normalize的均值和标准差必须和预训练权重一致，否则特征分布偏移会导致收敛变慢。num_workers=4在Linux上没问题，Windows上如果报错就改成0。

3. 训练流程：从加载预训练权重到保存最优模型

3.1 模型构建与层冻结策略

加载预训练权重的标准做法是用torchvision的models接口，把pretrained=True传进去。然后替换最后的全连接层，输出维度改成自己的类别数。冻结策略有两种：只训练fc层，或者解冻layer4和fc一起训练。前者收敛快但精度低，后者精度高但容易过拟合。我的经验是数据量少于5000张就只训fc，超过1万张就解冻layer4。

import torch.nn as nn from torchvision import models def build_model(num_classes=10, freeze_backbone=True): # 加载ResNet18预训练权重 model = models.resnet18(pretrained=True) if freeze_backbone: # 冻结所有骨干参数 for param in model.parameters(): param.requires_grad = False # 替换最后的全连接层 in_features = model.fc.in_features # ResNet18是512 model.fc = nn.Sequential( nn.Dropout(p=0.3), # 防止过拟合 nn.Linear(in_features, num_classes) ) return model model = build_model(num_classes=10, freeze_backbone=True) device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = model.to(device)

requires_grad = False把骨干参数的梯度关掉，反向传播时不会更新它们，显存占用和计算量都大幅下降。Dropout(0.3)加在fc前面，因为fc参数量相对大，容易记住训练集的噪声。如果解冻layer4，就把freeze_backbone设成False，但学习率要调小，通常设成fc层的十分之一。

3.2 损失函数、优化器和学习率调度

分类任务用交叉熵损失，优化器用AdamW或SGD。AdamW对学习率不那么敏感，适合新手；SGD配合动量在调好的情况下泛化更好。学习率调度用CosineAnnealingLR，让学习率按余弦曲线从初始值降到接近零，比StepLR更平滑。

import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR criterion = nn.CrossEntropyLoss() # 只优化需要梯度的参数 optimizer = optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3, weight_decay=1e-4) scheduler = CosineAnnealingLR(optimizer, T_max=20, eta_min=1e-6) def train_one_epoch(model, loader, criterion, optimizer, device): model.train() running_loss = 0.0 correct = 0 total = 0 for images, labels in loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() * images.size(0) _, predicted = outputs.max(1) total += labels.size(0) correct += predicted.eq(labels).sum().item() return running_loss / total, correct / total def validate(model, loader, criterion, device): model.eval() running_loss = 0.0 correct = 0 total = 0 with torch.no_grad(): for images, labels in loader: images, labels = images.to(device), labels.to(device) outputs = model(images) loss = criterion(outputs, labels) running_loss += loss.item() * images.size(0) _, predicted = outputs.max(1) total += labels.size(0) correct += predicted.eq(labels).sum().item() return running_loss / total, correct / total

filter(lambda p: p.requires_grad, ...)只把需要更新的参数传给优化器，冻结的骨干不会浪费优化器状态。weight_decay=1e-4是L2正则，抑制过拟合。T_max=20表示20个epoch走完半个余弦周期，eta_min=1e-6是学习率下限。训练循环里model.train()和model.eval()必须成对出现，后者会关掉Dropout和BatchNorm的训练行为。

3.3 完整训练脚本与模型保存

把上面的模块串起来，加上早停和最优模型保存。早停的耐心值设5，验证损失连续5轮不降就停。

best_acc = 0.0 patience = 5 counter = 0 for epoch in range(20): train_loss, train_acc = train_one_epoch(model, train_loader, criterion, optimizer, device) val_loss, val_acc = validate(model, val_loader, criterion, device) scheduler.step() print(f'Epoch {epoch+1:02d} | Train Loss: {train_loss:.4f} Acc: {train_acc:.4f} | ' f'Val Loss: {val_loss:.4f} Acc: {val_acc:.4f}') if val_acc > best_acc: best_acc = val_acc torch.save(model.state_dict(), 'best_model.pth') counter = 0 else: counter += 1 if counter >= patience: print(f'Early stopping at epoch {epoch+1}') break print(f'Best validation accuracy: {best_acc:.4f}')

torch.save(model.state_dict(), ...)只保存参数，不保存模型结构，加载时需要先实例化模型再load_state_dict。早停的counter在验证精度提升时归零，否则累加，达到patience就跳出循环。这个脚本在CIFAR-10上冻结骨干跑20轮，验证精度大概能到85%左右；解冻layer4能到92%以上，但需要更多轮次。

4. 避坑与排查：期末作业里最容易翻车的五个地方

4.1 现象：训练loss不降，准确率卡在10%

原因通常是归一化参数用错了。有人把CIFAR-10的均值和标准差（0.4914, 0.4822, 0.4465）套到ImageNet预训练模型上，导致输入分布和权重不匹配。解决方法是统一用ImageNet的均值和标准差，或者干脆不做归一化只做ToTensor，但后者收敛会慢一些。

4.2 现象：验证集准确率远高于训练集

这听起来反直觉，但确实会发生。原因是验证集的CenterCrop比训练集的RandomResizedCrop更“简单”，模型在验证集上看到的图像更完整、更居中。解决方法是让验证集的预处理和训练集保持一致，或者至少在报告里说明这个差异，不要把它当成模型泛化好的证据。

4.3 现象：显存溢出，batch_size降到1还是报错

检查是不是在训练循环里累积了计算图。常见错误是total_loss += loss而不是total_loss += loss.item()，前者保留了计算图导致显存不断增长。另一个可能是num_workers设太大，每个worker都会复制一份数据到显存。解决方法是把loss.item()写对，num_workers设成CPU核心数的一半。

4.4 现象：加载预训练权重时报KeyError

模型结构改了但权重文件还是旧的。比如把ResNet18的fc换成Sequential之后，原来的fc.weight和fc.bias就对不上了。解决方法是先用model.load_state_dict(state_dict, strict=False)忽略不匹配的键，或者手动过滤掉fc层的权重再加载。

4.5 现象：Windows上DataLoader报BrokenPipeError

这是Windows下多进程的经典问题。num_workers大于0时，子进程和主进程的通信在某些Python版本上会出问题。解决方法是在if __name__ == '__main__':下面写训练代码，或者直接把num_workers设成0。后者会慢一些但稳定。

提示：如果以上方法都试过还是跑不通，先把batch_size设成4、num_workers设成0、学习率设成1e-4，用最保守的参数跑一个epoch，确认流程能走通再逐步调回去。

5. 进阶技巧：用混淆矩阵和Grad-CAM把报告写出差异化

5.1 混淆矩阵定位分类短板

期末作业的报告里如果只有准确率曲线，很难拿到高分。加一个混淆矩阵能直观看出哪些类别容易混。用sklearn的confusion_matrix和seaborn的heatmap，十行代码就能出图。

import numpy as np import seaborn as sns import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix model.eval() all_preds = [] all_labels = [] with torch.no_grad(): for images, labels in val_loader: images = images.to(device) outputs = model(images) _, preds = outputs.max(1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm = confusion_matrix(all_labels, all_preds) plt.figure(figsize=(10, 8)) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=train_dataset.classes, yticklabels=train_dataset.classes) plt.xlabel('Predicted') plt.ylabel('True') plt.title('Confusion Matrix on Validation Set') plt.tight_layout() plt.savefig('confusion_matrix.png', dpi=150)

confusion_matrix的输入是两个一维数组，all_preds和all_labels在验证集上按顺序收集。annot=True在格子里显示数值，fmt='d'保证显示整数。CIFAR-10的类别名存在train_dataset.classes里，直接传给坐标轴标签。这张图能看出“猫”和“狗”是不是经常互认，如果某一类召回率特别低，就在报告里分析原因。

5.2 Grad-CAM可视化模型关注区域

Grad-CAM通过计算目标类别对最后一个卷积层特征图的梯度，生成热力图叠加在原图上。这能解释模型到底在看哪里，是报告里很加分的部分。用pytorch-grad-cam库，几行代码就能出图。

from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image import numpy as np # 目标层选ResNet18的最后一个卷积块 target_layers = [model.layer4[-1]] cam = GradCAM(model=model, target_layers=target_layers) # 取一张验证集图片 img_tensor, label = val_dataset[0] input_tensor = img_tensor.unsqueeze(0).to(device) grayscale_cam = cam(input_tensor=input_tensor, targets=None) grayscale_cam = grayscale_cam[0, :] # 反归一化用于显示 img_display = img_tensor.permute(1, 2, 0).numpy() img_display = img_display * np.array([0.229, 0.224, 0.225]) + np.array([0.485, 0.456, 0.406]) img_display = np.clip(img_display, 0, 1) visualization = show_cam_on_image(img_display, grayscale_cam, use_rgb=True) plt.imshow(visualization) plt.axis('off') plt.savefig('gradcam.png', dpi=150, bbox_inches='tight')

target_layers指定要可视化的卷积层，ResNet18的layer4[-1]是最后一个残差块，感受野最大。targets=None表示用预测分数最高的类别作为目标。反归一化那一步是把标准化后的图像还原到0-1范围，否则显示出来是偏色的。热力图越红表示模型越关注那个区域，如果红色集中在背景而不是主体上，说明模型学到了错误的关联。

5.3 把实验对比做成表格放进报告

报告里至少要有三组对比：冻结骨干vs解冻layer4、不同学习率、不同batch_size。每组跑三次取平均，记录验证准确率和训练时间。下面是一个示例表格的格式。

这张表能让老师一眼看出你做了控制变量实验，而不是随便跑了一个模型就交差。训练时间用time.time()在epoch前后打点计算，取平均值。

我自己的习惯是每做完一组实验就把结果记到表格里，不要等全部跑完再回忆。有一次我跑了五组配置，最后写报告时发现忘了记录学习率，只能重新跑一遍，白白浪费了两个小时。另外，随机种子一定要固定，torch.manual_seed(42)和np.random.seed(42)都加上，否则每次跑的结果都不一样，对比实验就没有意义了。希望帮到你。

本文还有配套的精品资源，点击获取