PyTorch 1.6 CNN实战：LeNet-5与AlexNet完整训练部署指南

简介：本资源是一份面向深度学习初学者与高校课程实践者的CNN卷积神经网络实战教学包，聚焦图像分类任务的核心实现与工程落地。完整覆盖LeNet-5在MNIST手写数字数据集、AlexNet在CIFAR-10自然图像数据集上的训练、验证与识别全流程，配套详细设计报告（Word）、可复现代码（3个Python主程序）、预训练模型权重（.pth）、可视化辅助脚本及环境配置说明（README.md），兼顾理论理解与动手调试。压缩包共7个文件，含3个核心训练/推理脚本、1个模型权重、1个Markdown文档、1个Word设计报告和1个LICENSE协议文件，总大小872KB，轻量易下载，结构清晰便于分模块学习。已有1798人学习下载，提供从环境搭建（Python 3.7 + PyTorch 1.6.0 + CUDA 10.2）到结果可视化的端到端参考，特别适合课程设计、课程实验及深度学习入门项目复现。

1. 这不是又一个“Hello World”式CNN demo：它把LeNet-5跑通在MNIST上、AlexNet训熟在CIFAR-10里，且所有代码可直接在Win10+VS Code+PyTorch 1.6环境复现——适合刚跑完torchvision.datasets加载示例、正卡在模型定义→数据预处理→训练循环闭环里的Python深度学习实践者

你可能已经试过用torchvision.models.alexnet(pretrained=True)做迁移学习，也写过三行nn.Conv2d堆叠的玩具网络，但真正卡住你的，从来不是“怎么写卷积层”，而是：为什么验证准确率卡在68%不动？为什么GPU显存爆了却报错说CUDA out of memory而不是显存不足？为什么.pth文件加载后模型输出全为nan？这份资源不讲反向传播数学推导，也不画结构图凑篇幅，它是一份带血迹的工程快照——包含两个完整可运行的CNN训练链路（LeNet-5 on MNIST / AlexNet on CIFAR-10），每个环节都经过Windows 10 + VS Code + PyTorch 1.6.0 + CUDA 10.2真实环境锤炼。设计报告.docx不是格式模板，而是记录了作者在调整batch_size=64时发现DataLoader线程阻塞、将num_workers=4改为0才解决的原始日志；LeNet5.pth不是随便保存的权重，而是训练30轮后在测试集达到99.2%准确率的checkpoint；LeNetVis.py不是装饰性脚本，它用torchvision.utils.make_grid可视化每一层特征图，帮你肉眼确认ReLU是否真的截断了负值。如果你正在被“模型能跑但效果差”、“训练能启但收敛慢”、“GPU能认但加速无效”这三座山压着，这份资源就是你该拆开的第一块砖。

2. 从零启动：环境配置与项目结构解剖——为什么必须用PyTorch 1.6.0 + CUDA 10.2，而不是最新版？

2.1 环境依赖的硬性约束：版本锁死不是保守，是避坑刚需

这份资源明确要求torch 1.6.0+torchvision 0.7.0+CUDA 10.2，这不是历史包袱，而是三个关键兼容点决定的：

• torch.nn.functional.interpolate行为变更：PyTorch 1.7+ 将align_corners=False设为默认，而LeNet-5中nn.Upsample层在原始论文实现里隐含align_corners=True逻辑，版本错配会导致特征图尺寸计算偏移，最终分类头输入维度报错；
• torchvision.transforms.Normalize参数精度：CIFAR-10的均值/标准差在torchvision 0.7.0中为[0.4914, 0.4822, 0.4465]，新版已微调，直接替换会导致AlexNet输入分布偏移，训练初期loss震荡剧烈；
• CUDA 10.2与VS Code调试器兼容性：Windows下PyTorch 1.6.0的CUDA扩展与VS Code Python插件（v2020.8.0及之前）存在符号解析冲突，升级CUDA或PyTorch反而触发ImportError: DLL load failed——这是作者在requirements.txt里锁死版本的真实原因。

提示：不要尝试用pip install torch --upgrade覆盖安装。正确做法是创建独立conda环境：

conda create -n cnn_env python=3.7 conda activate cnn_env pip install torch==1.6.0+cu102 torchvision==0.7.0+cu102 -f https://download.pytorch.org/whl/torch_stable.html

2.2 项目文件树的实战语义：每个文件都是一个决策点

解压后目录结构看似简单，但每个文件名背后都是架构权衡：

2.3 数据加载的隐性陷阱：MNIST与CIFAR-10的transform差异必须手写

很多人以为torchvision.datasets封装了全部预处理，但实际这两个数据集的归一化参数完全不同，且必须分开展开：

# LeNet5.py 中的MNIST transform（注意：仅对灰度图生效） transform_mnist = transforms.Compose([ transforms.ToTensor(), # 自动将PIL Image转为[0,1]浮点tensor transforms.Normalize((0.1307,), (0.3081,)) # MNIST全局均值/标准差，单通道 ]) # AlexNet.py 中的CIFAR-10 transform（注意：三通道RGB） transform_cifar = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)) # CIFAR-10三通道参数 ])

参数说明：

• transforms.Normalize的mean和std必须与数据集统计值严格匹配，否则模型输入分布偏移，导致BN层失效、梯度爆炸；
• MNIST的(0.1307, 0.3081)是单通道值，传入元组(0.1307,)而非(0.1307, 0.1307, 0.1307)，否则会触发ValueError: Expected channel to be 3, but got 1；
• CIFAR-10的std值极小（约0.2），若误用MNIST的0.3081，会导致输入方差被过度压缩，特征区分度下降。

3. 训练闭环实操：从LeNet-5到AlexNet，两套训练脚本的参数逻辑与收敛监控

3.1 LeNet-5 on MNIST：小模型也要防过拟合的三重保险

LeNet5.py中的训练循环不是简单for epoch in range(30)，而是嵌入了针对小数据集的防御机制：

# 关键片段：LeNet5.py 中的训练主循环（简化版） criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1) # 每10轮衰减学习率 for epoch in range(30): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() # 验证阶段：每轮结束强制评估，避免过拟合 model.eval() val_loss = 0 correct = 0 with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) val_loss += criterion(output, target).item() pred = output.argmax(dim=1, keepdim=True) correct += pred.eq(target.view_as(pred)).sum().item() # 手动保存最佳模型（非最后轮） acc = 100. * correct / len(test_loader.dataset) if acc > best_acc: best_acc = acc torch.save(model.state_dict(), 'LeNet5_best.pth') # 注意：不是LeNet5.pth！

逻辑说明：

• StepLR学习率调度器在第10、20轮将lr从0.001→0.0001→0.00001，防止后期震荡；
• best_acc跟踪机制确保保存的是验证集最高准确率模型，而非最后一轮模型——这是作者在第22轮发现准确率已达99.2%，后续轮次开始轻微下降的关键决策；
• val_loss累加时使用.item()转为标量，避免GPU内存持续增长。

3.2 AlexNet on CIFAR-10：大模型训练的显存管理与数据增强实战

AlexNet.py面对32×32图像和1000类（实际CIFAR-10为10类）结构，必须启用数据增强和梯度裁剪：

# AlexNet.py 中的数据增强与训练配置 train_transform = transforms.Compose([ transforms.RandomHorizontalFlip(), # 随机水平翻转，提升泛化 transforms.RandomCrop(32, padding=4), # 边缘填充后随机裁剪，模拟尺度变化 transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)) ]) # 训练循环中的梯度裁剪（关键！） optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=5e-4) for epoch in range(50): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # 防止梯度爆炸 optimizer.step()

参数说明：

• RandomCrop(32, padding=4)：先对32×32图像边缘补4像素（值为0），再随机裁剪出32×32区域，等效于在更大感受野中采样，缓解CIFAR-10样本单一问题；
• weight_decay=5e-4：L2正则化系数，抑制AlexNet庞大参数量带来的过拟合；
• clip_grad_norm_阈值设为1.0：实测发现CIFAR-10上梯度范数常超5.0，不裁剪会导致权重更新失真，loss曲线出现尖刺。

3.3 训练过程可视化：用LeNetVis.py看懂每一层在学什么

LeNetVis.py不是花哨展示，而是诊断工具。它通过hook机制捕获中间层输出：

# LeNetVis.py 核心逻辑 def register_hook(model, layer_name): features = {} def hook_fn(module, input, output): features[layer_name] = output.cpu().data layer = getattr(model, layer_name) layer.register_forward_hook(hook_fn) return features # 调用示例 features = register_hook(model, 'conv1') output = model(img_tensor) # 此时features['conv1']已存入第一层卷积输出 # 可视化：取batch中第0张图的前8个通道 grid = torchvision.utils.make_grid(features['conv1'][0][:8], nrow=4, normalize=True) plt.imshow(grid.permute(1, 2, 0)) plt.title('Conv1 Features (8 channels)') plt.show()

为什么这比tensorboard更直接：

• make_grid自动处理[C,H,W]到[H,W,C]的维度转换，省去numpy.transpose；
• normalize=True将特征图值域拉伸至[0,1]，否则ReLU后大量0值导致图像全黑；
• 观察conv1输出若出现大面积纯黑（除边缘外），说明该层权重初始化不当或学习率过高。

4. 避坑指南：Windows+PyTorch 1.6环境下五个真实翻车现场与血泪解法

4.1 现象：CUDA out of memory报错，但nvidia-smi显示显存占用仅30%

原因：PyTorch 1.6.0在Windows下存在显存碎片化问题，torch.cuda.empty_cache()无法释放被缓存的临时张量，尤其在DataLoader多进程模式下。
解决：

• 将DataLoader的num_workers从4改为0（单进程），牺牲速度保稳定性；
• 在每个epoch开始前手动清空缓存：torch.cuda.empty_cache()；
• 若仍失败，在model.train()前添加torch.backends.cudnn.benchmark = False，禁用cudnn自动优化（此操作会降低训练速度约15%，但消除显存抖动）。

4.2 现象：LeNet5.pth加载后model(data)输出全为nan

原因：权重文件保存时使用了torch.save(model.state_dict(), ...)，但加载时未指定map_location，导致CPU加载GPU训练的权重，NaN在跨设备传输中产生。
解决：

# 正确加载方式（无论当前设备是CPU还是GPU） device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.load_state_dict(torch.load('LeNet5.pth', map_location=device)) model.to(device) # 再将模型移到目标设备

4.3 现象：AlexNet.py训练时loss从第1轮就为inf

原因：CIFAR-10数据集中存在极少数损坏图像（如全黑或噪声极大），transforms.ToTensor()将其转为全0或异常值，经Normalize后产生极大负值，输入Softmax导致exp(x)溢出。
解决：

• 在DataLoader中启用drop_last=True，丢弃最后一个不完整batch；
• 添加数据清洗步骤（在__getitem__中）：

  def __getitem__(self, idx): img, target = super().__getitem__(idx) if torch.isnan(img).any() or torch.isinf(img).any(): # 返回一个合法占位图像 img = torch.zeros_like(img) return img, target

4.4 现象：VS Code调试时断点无法进入forward()函数

原因：PyTorch 1.6.0的torch.nn.Module在Windows下与VS Code Python调试器存在符号解析冲突，forward方法被内联优化。
解决：

• 在launch.json中添加配置：

  "configurations": [{ "name": "Python: Current File", "type": "python", "request": "launch", "module": "torch", "justMyCode": false, // 关键！允许进入PyTorch源码 "env": {"PYTHONPATH": "${workspaceFolder}"} }]

• 或改用print()调试：在forward开头插入print(f"Input shape: {x.shape}")，比断点更可靠。

4.5 现象：LeNetVis.py运行时报错PIL.Image.fromarray() cannot handle this data type

原因：make_grid输出为torch.float32，而PIL.Image.fromarray()要求uint8或float32且值域[0,1]，但特征图值域常为[-1,2]。
解决：

# 替换LeNetVis.py中可视化部分 grid = torchvision.utils.make_grid(features['conv1'][0][:8], nrow=4, normalize=True) # 转换为numpy并确保uint8 grid_np = grid.permute(1, 2, 0).numpy() grid_uint8 = (grid_np * 255).astype(np.uint8) # 强制映射到[0,255] plt.imshow(grid_uint8)

5. 模型部署与推理提速：如何把训练好的.pth文件变成可执行的识别服务？

5.1 从训练模型到推理模型：torch.jit.trace的边界条件

LeNet5.pth是训练态模型，含Dropout、BN等训练专用层，直接用于推理会引入不确定性。必须转换为ScriptModule：

# convert_to_inference.py import torch from LeNet5 import LeNet5 model = LeNet5() model.load_state_dict(torch.load('LeNet5.pth')) model.eval() # 关键！切换为评估模式 # 构造示例输入（必须与训练时batch_size一致） example_input = torch.randn(1, 1, 28, 28) # 单张MNIST图像 traced_model = torch.jit.trace(model, example_input) # 保存为独立文件，无需Python环境即可加载 traced_model.save('LeNet5_inference.pt') # 验证：加载后直接推理 inference_model = torch.jit.load('LeNet5_inference.pt') inference_model.eval() output = inference_model(example_input) print(f"Predicted class: {output.argmax().item()}")

为什么必须用trace而非script：

• LeNet5无控制流（if/for），trace更稳定；
• example_input尺寸必须严格匹配训练时输入（1×1×28×28），否则traced_model会报错Expected hidden size；
• traced_model.save()生成的.pt文件可在无PyTorch环境的嵌入式设备运行（需libtorch C++ API）。

5.2 CPU推理性能压测：量化带来的真实收益

在无GPU的Windows笔记本上，原始LeNet5.pth单图推理耗时约12ms，经动态量化后降至3.2ms：

# quantize_model.py model_quantized = torch.quantization.quantize_dynamic( model, {nn.Linear, nn.Conv2d}, dtype=torch.qint8 ) # 保存量化模型 torch.save(model_quantized.state_dict(), 'LeNet5_quantized.pth') # 推理时加载量化模型 model_quantized.load_state_dict(torch.load('LeNet5_quantized.pth')) model_quantized.eval() with torch.no_grad(): output = model_quantized(example_input) # 耗时下降73%

量化代价与收益平衡点：

• qint8量化使模型体积缩小4倍（从1.2MB→300KB），但准确率从99.2%→98.7%（下降0.5个百分点）；
• 对MNIST这种高信噪比任务可接受，但CIFAR-10上AlexNet量化后准确率掉至72%（原82%），故AlexNet.py未启用量化——这是作者在design_report.docx第12页明确标注的取舍。

5.3 构建最小可执行识别服务：用Flask暴露HTTP接口

将LeNet5_inference.pt包装为Web服务，只需3个文件：

# app.py from flask import Flask, request, jsonify import torch import torchvision.transforms as transforms from PIL import Image import io app = Flask(__name__) model = torch.jit.load('LeNet5_inference.pt') model.eval() @app.route('/predict', methods=['POST']) def predict(): file = request.files['image'] img = Image.open(io.BytesIO(file.read())).convert('L') # 强制灰度 transform = transforms.Compose([ transforms.Resize((28, 28)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) tensor = transform(img).unsqueeze(0) # 添加batch维度 with torch.no_grad(): output = model(tensor) pred = output.argmax().item() return jsonify({'prediction': pred}) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

部署注意事项：

• convert('L')确保输入为单通道，避免RGB图像触发size mismatch；
• unsqueeze(0)补全batch维度，因traced_model期望输入为[N,C,H,W]；
• 生产环境需添加gunicorn进程管理，但开发阶段flask run足够验证流程。

从那以后我每次拿到新的.pth文件，都强制走一遍torch.jit.trace → torch.jit.load → 单图推理验证三步，哪怕只是本地测试——因为90%的部署失败，根源都在训练态模型直接挪用。这份资源里LeNet5.pth和LeNet5_inference.pt并存，正是作者踩过坑后留下的“后悔药”。希望帮到你。

本文还有配套的精品资源，点击获取