华为云ModelArts模型训练与部署实战：从零基础到API上线全流程

1. 这不是“云上点点鼠标”的速成课，而是带你亲手把模型从训练到上线跑通的实战路径

你搜“华为云ModelArts模型训练与部署：零基础考点精讲”，大概率是被几个关键词戳中了：华为云、ModelArts、模型训练、模型部署、零基础。但现实很骨感——很多所谓“零基础教程”一上来就让你创建OBS桶、配置VPC、填一堆IAM权限策略，三分钟还没进控制台，人已经懵在“访问密钥AK/SK怎么生成”这一步。这不是教学，这是劝退。我带过37个从没写过Python的学员（有财务、有HR、有中学物理老师），他们最终都能独立完成一个图像分类模型的全流程上线。关键不在于你有没有“AI背景”，而在于你能不能立刻抓住这条主线：数据怎么喂进去、模型怎么调出来、服务怎么接出去。ModelArts不是魔法盒子，它是一套高度封装但逻辑清晰的流水线工具链。它的“零基础友好”，体现在把底层复杂的分布式训练调度、GPU资源隔离、模型服务编排这些脏活累活全包了，但你必须亲手操作每一道工序——不是点“一键训练”，而是理解为什么选这个算法框架、为什么这张图要标注为“cat”而不是“kitten”、为什么部署时要选“在线服务”而非“批量推理”。这篇文章不讲概念定义，不堆术语，只拆解你打开ModelArts控制台后，从第一个鼠标点击到API返回“{'label': 'dog', 'score': 0.982}'”这整个过程里，每一个按钮背后的真实动作、每一个参数背后的工程权衡、每一个报错背后最可能的三处疏漏。你不需要懂CUDA，但得知道为什么训练卡在“Preparing environment”超过5分钟就得去查日志；你不需要会写TensorFlow底层op，但得明白resnet预训练模型加载时，num_classes=2这个参数改错，模型输出层就会直接报废。这才是真正的“考点”——不是考你背命令，而是考你在真实场景里，能否快速定位问题、切换方案、让模型真正跑起来。

2. 整体设计思路：为什么放弃“保姆式引导”，选择“手术刀式拆解”

2.1 拒绝“点点点”幻觉，直击ModelArts三大核心能力边界

很多人误以为ModelArts是“AI版Word”，上传数据→选算法→点训练→等结果。实际使用中，90%的卡点根本不在训练本身，而在数据准备的隐性成本、环境配置的权限陷阱、服务部署的网络穿透这三道坎上。我见过太多学员，在“创建训练作业”页面反复失败，最后发现根源是OBS桶没开“公共读”权限，导致训练容器根本拉不到数据；也见过有人模型训练成功，但部署时API始终404，排查半天才发现VPC子网没绑定弹性公网IP。所以本方案的设计起点，就是把ModelArts当成一个需要你亲手调试的精密仪器，而不是一个黑箱。我们不回避复杂度，而是把复杂度拆解成可验证的原子操作：

• 数据层：不教你怎么用LabelImg打标，而是告诉你ModelArts要求的标注文件格式（COCO JSON vs VOC XML）如何用5行Python脚本自动转换，以及为什么OBS路径必须是obs://bucket-name/path/而非https://开头；
• 训练层：不罗列所有算法镜像，而是聚焦pytorch-1.11.0-cuda11.3和tensorflow-2.11.0-cpu这两个最稳的基线镜像，实测它们在ResNet50微调任务中的显存占用曲线；
• 部署层：不泛泛而谈“在线服务”，而是明确区分AI Gallery预置模型（开箱即用）、自定义镜像部署（完全可控）、Notebook直连（调试专用）三种模式的适用场景和成本差异。

这种设计不是为了炫技，而是因为华为云的计费模型决定了：一次无效的训练作业，可能比你本地跑10小时还贵。ModelArts按GPU小时计费，A800实例1.2元/小时，一个配置错误导致训练中断重试三次，就是3.6元白花。所以“零基础”的本质，是帮你建立一套防错前置检查清单，而不是给你一个永远正确的标准答案。

2.2 “考点精讲”的真实含义：聚焦高频失效场景，而非功能罗列

网络热词里反复出现的resnet预训练模型、easyocr训练自己的模型、yolov11训练自己的模型，暴露了一个事实：用户真正卡住的，从来不是“怎么用”，而是“为什么不行”。比如resnet预训练模型，官方文档说“支持迁移学习”，但没人告诉你：如果你的数据集只有50张图，直接加载ImageNet预训练权重，最后一层全连接层fc的in_features是2048，而你设num_classes=3，模型结构就对不上，训练会直接报size mismatch。这就是典型的“考点”——不是考你会不会加载模型，而是考你是否理解预训练权重与新任务输出维度的耦合关系。再比如gpustack部署模型windows这个热词，其实指向一个深层矛盾：ModelArts是云服务，而GPUsStack是本地容器编排工具，两者根本不在同一技术栈。用户搜索它，往往是因为想把云上训好的模型拿回本地部署，却不知道ModelArts导出的.pb或.onnx模型，需要额外做TensorRT优化才能在Windows本地高效运行。所以本方案的“精讲”，全部围绕这些血泪教训总结的失效点展开：

• 数据上传后训练作业卡在“Initializing”状态超10分钟？90%概率是OBS桶策略未放通GetObject权限；
• 训练日志里反复出现CUDA out of memory？不是显存不够，而是batch_size设为32时，A10实例显存峰值达23GB，必须调到16；
• 部署服务后curl返回{"error_code":"ModelArts.400001","error_msg":"Service not found"}？八成是服务名称里用了下划线_，而ModelArts服务名只支持小写字母、数字、短横线-。

这些不是边角料，而是决定你当天能否跑通模型的生死线。我把它们称为“硬考点”，因为它们不随版本更新而消失，是ModelArts底层架构决定的刚性约束。

2.3 为什么坚持“手写代码”而非“拖拽式建模”

华为云确实提供了“自动学习”这种零代码方案，上传图片→选场景→点训练→导出模型。但它有致命缺陷：不可解释、不可调试、不可迁移。你训练一个猫狗分类器，自动学习会给你一个黑盒模型，但当你想加一个“幼犬”子类时，它无法增量训练，只能重来。而手写PyTorch代码，哪怕只有20行，你也能随时修改transforms.Resize((224,224))的尺寸，或把nn.CrossEntropyLoss()换成FocalLoss解决样本不均衡。更重要的是，ModelArts的“代码目录”机制，让你能精确控制每个环节：

# train.py 关键片段 import torch from torch.utils.data import DataLoader from torchvision import models, transforms # 1. 数据增强必须显式声明，自动学习默认的resize会破坏小目标 train_transform = transforms.Compose([ transforms.Resize((256, 256)), # 先放大再裁剪，保留细节 transforms.RandomCrop(224), # 随机裁剪增加泛化 transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 2. 预训练模型加载必须冻结前几层，否则小数据集会过拟合 model = models.resnet18(pretrained=True) for param in model.parameters(): param.requires_grad = False # 冻结特征提取层 model.fc = torch.nn.Linear(model.fc.in_features, 2) # 替换输出层 # 3. 学习率必须阶梯衰减，固定lr=0.001在第3轮就会震荡 optimizer = torch.optim.Adam(model.fc.parameters(), lr=0.001) scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=3, gamma=0.1)

这段代码里，每一行都是一个“考点”：RandomCrop的位置影响数据分布、requires_grad=False决定微调深度、StepLR的step_size需匹配epoch数。自动学习把这些全隐藏了，而你一旦遇到效果不佳，就彻底失去调试抓手。所以本方案强制手写，不是为难你，而是给你一把真实的手术刀——当模型准确率卡在82%不上升时，你能立刻定位是数据增强太强、还是学习率太高、或是标签噪声太多。

3. 核心细节解析：从数据准备到服务上线的七道硬工序

3.1 数据准备：OBS桶不是网盘，而是模型的“血液供应系统”

很多人把OBS桶当成百度网盘用：上传zip→解压→开始训练。这是最大误区。ModelArts训练容器启动时，会以只读方式挂载OBS路径，它不执行解压，也不识别zip包。你上传一个dataset.zip，训练脚本里os.listdir('/home/work/dataset/')返回空列表，因为容器看到的只是zip文件本身。正确流程必须是：

1. 本地预处理：用Python脚本把原始数据转成ModelArts要求的结构。以图像分类为例，必须是：

   obs://my-bucket/dataset/ ├── train/ │ ├── cat/ │ │ ├── 001.jpg │ │ └── 002.jpg │ └── dog/ │ ├── 001.jpg │ └── 002.jpg └── val/ ├── cat/ └── dog/

   注意：train/和val/是固定目录名，不能写成training/；子目录名cat/dog会自动成为类别标签。

2. OBS权限三步走：创建桶后，必须依次配置：

   • 桶策略（Bucket Policy）：放通GetObject（读取）、ListBucket（列出文件）权限，禁止PutObject（写入）以防误覆盖；
   • IAM策略（Identity and Access Management）：给ModelArts服务角色ModelArtsFullAccess权限，否则训练作业无法访问OBS；
   • VPC终端节点（VPC Endpoint）：如果OBS桶在私有VPC内，必须创建obs.cn-north-1.myhuaweicloud.com的终端节点，否则训练容器走公网，速度慢且有安全风险。

提示：OBS路径必须用obs://bucket-name/path/格式，不能用https://。我在测试中发现，即使控制台显示“路径正确”，如果路径末尾少了/，训练容器会报No such file or directory，因为ModelArts把obs://bucket/data解析为文件，而obs://bucket/data/才解析为目录。

3. 数据校验脚本：每次上传后，务必运行以下脚本验证结构：

   # check_dataset.py import os from obs import ObsClient client = ObsClient(access_key_id='YOUR_AK', secret_access_key='YOUR_SK', server='https://obs.cn-north-1.myhuaweicloud.com') resp = client.listObjects('your-bucket-name', prefix='dataset/train/') for obj in resp.body.objectList: print(obj.key) # 应看到 cat/001.jpg, dog/001.jpg 等

3.2 环境配置：GPU实例不是“越贵越好”，而是“够用即止”

ModelArts提供多种GPU规格：p1（单P100）、p2（单V100）、p3（单A100）、p4（双A100）。新手常犯的错是直接选p4，结果发现训练速度没提升，费用翻倍。真实情况是：模型大小和batch_size决定GPU选型，而非“越新越好”。

• ResNet50微调：输入尺寸224x224，batch_size=32时，A10实例（24GB显存）显存占用85%，训练速度1.2s/step；A100实例（40GB显存）显存占用仅45%，但速度仅快8%，不值得多付60%费用；
• YOLOv5s训练：输入640x640，batch_size=16时，A10显存爆满，必须降为8，此时A100的显存优势才体现；
• BERT-base中文微调：纯CPU实例（c7.large.2）比GPU实例快30%，因为Transformer计算瓶颈在内存带宽，而非浮点运算。

所以本方案的GPU选型原则是：先用CPU实例跑通流程，再根据显存监控数据升级。具体步骤：

1. 创建训练作业时，先选c7.large.2（4核8G，0.28元/小时）；
2. 在训练脚本中加入显存监控：

   if torch.cuda.is_available(): print(f"GPU Memory: {torch.cuda.memory_allocated()/1024**3:.2f}GB / {torch.cuda.get_device_properties(0).total_memory/1024**3:.2f}GB")

3. 观察日志：若memory_allocated持续>90%，再升级GPU实例。

实操心得：A10实例的性价比最高。它比P100便宜35%，比A100便宜52%，且对PyTorch 1.11+支持最完善。我实测过，在ResNet50训练中，A10的FP16加速比达2.1x，而P100仅1.4x。

3.3 训练脚本：不是复制粘贴，而是理解每一行的“副作用”

ModelArts要求训练脚本必须包含if __name__ == '__main__':入口，且所有路径必须用环境变量，不能写死。常见错误是把数据路径写成/home/work/dataset/，但实际OBS挂载路径是/home/work/workspace/dataset/。正确写法：

import os import argparse def parse_args(): parser = argparse.ArgumentParser() parser.add_argument('--data_url', type=str, default=os.getenv('DATA_URL', '/home/work/workspace/dataset')) # OBS挂载路径 parser.add_argument('--train_url', type=str, default=os.getenv('TRAIN_URL', '/home/work/workspace/output')) # 输出路径 return parser.parse_args() if __name__ == '__main__': args = parse_args() print(f"Data path: {args.data_url}") # 日志里能看到真实路径，方便调试 # 后续训练逻辑...

这里DATA_URL和TRAIN_URL是ModelArts预设环境变量，值由你在创建训练作业时填写的OBS路径决定。如果不使用，训练会找不到数据，且无法把模型保存到指定OBS位置。

另一个关键点是模型保存格式。ModelArts部署服务要求模型必须是SavedModel（TF）或torchscript（PyTorch）格式。很多教程教保存.pth文件，这是错的。正确做法：

# PyTorch保存为TorchScript example_input = torch.randn(1, 3, 224, 224) # 构造示例输入 traced_model = torch.jit.trace(model, example_input) traced_model.save(os.path.join(args.train_url, 'model.pt')) # 保存到OBS输出路径

注意：torch.jit.trace要求模型所有分支在example_input下都能执行，如果模型有if x > 0.5:判断，必须确保example_input满足条件，否则trace失败。这是高频报错点。

3.4 模型评估：不是看accuracy，而是看confusion matrix里的“沉默错误”

训练完成后，ModelArts会生成output/evaluation/目录，里面有accuracy.txt。但accuracy=92%可能掩盖严重问题。比如你的猫狗数据集里，30%的“狗”图其实是狼，模型把狼判成狗，accuracy虚高，但实际业务中会出大事故。所以必须手动分析混淆矩阵：

1. 在训练脚本末尾添加评估代码：

   from sklearn.metrics import confusion_matrix, classification_report import seaborn as sns import matplotlib.pyplot as plt y_true = [] y_pred = [] for images, labels in val_loader: outputs = model(images) _, preds = torch.max(outputs, 1) y_true.extend(labels.cpu().numpy()) y_pred.extend(preds.cpu().numpy()) cm = confusion_matrix(y_true, y_pred) plt.figure(figsize=(8,6)) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues') plt.savefig(os.path.join(args.train_url, 'confusion_matrix.png'))

2. 下载confusion_matrix.png到本地查看：如果对角线外有大量数值，说明类别间存在歧义。例如cat行里dog列有20个，意味着模型把20只猫认成了狗，这时要检查数据标注质量，而非调参。

实操心得：我处理过一个医疗影像项目，accuracy=95%，但混淆矩阵显示“良性”样本有12%被判为“恶性”，这在临床是不可接受的。最终通过调整损失函数（加权交叉熵），把假阳性率降到2%以下，accuracy反而降到91%。业务指标永远优先于accuracy。

3.5 模型导出：不是“导出模型”，而是“构建可部署的推理管道”

ModelArts训练作业输出的model.pt只是权重，不能直接部署。必须构建完整的推理管道，包含：

• 预处理（Preprocess）：把原始图片转成模型输入张量；
• 模型推理（Inference）：加载权重，执行forward；
• 后处理（Postprocess）：把输出logits转成业务可读的label和score。

这个管道必须打包成model目录，结构如下：

model/ ├── config.json # 模型配置，指定输入输出shape ├── model.pt # TorchScript模型 └── customize_service.py # 自定义服务入口，必须包含predict()函数

其中customize_service.py是核心：

import torch import numpy as np from PIL import Image from torchvision import transforms class Service: def __init__(self, model_path): self.model = torch.jit.load(model_path) self.model.eval() self.transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) def _preprocess(self, image_bytes): image = Image.open(image_bytes).convert('RGB') return self.transform(image).unsqueeze(0) # 加batch维度 def _postprocess(self, output): probabilities = torch.nn.functional.softmax(output[0], dim=0) top_prob, top_class = torch.topk(probabilities, 2) return { 'label': ['cat', 'dog'][top_class[0].item()], 'score': top_prob[0].item() } def predict(self, data): input_tensor = self._preprocess(data) with torch.no_grad(): output = self.model(input_tensor) return self._postprocess(output)

提示：config.json必须严格匹配，否则部署失败：

{ "model_type": "pytorch", "input_shape": [[1,3,224,224]], "output_shape": [[1,2]], "framework": "pytorch" }

input_shape里的1是batch_size，必须和_preprocess中unsqueeze(0)一致；output_shape的2是类别数，必须和模型输出层一致。

3.6 服务部署：不是“创建服务”，而是“打通网络链路”

部署时选择“在线服务”，填完参数后，你以为结束了？不，这只是开始。ModelArts部署的服务，默认在VPC内网运行，没有公网IP，外部无法访问。必须手动配置：

1. 服务配置：

   • 实例规格：选c3.large.2（2核4G）足够，推理服务CPU密集，GPU浪费；
   • 弹性伸缩：初始实例数设为1，最大实例数设为3，避免突发流量打垮服务；
   • 健康检查：路径填/healthz，端口填8080（ModelArts默认端口）。

2. 网络配置：

   • 绑定EIP（弹性公网IP）：在“网络设置”里勾选“分配弹性公网IP”，否则curl会超时；
   • 安全组规则：入方向放通TCP:8080，源地址设为0.0.0.0/0（或你的办公IP）；
   • DNS解析：服务域名形如https://service-xxxxx.cn-north-1.modelarts.ai，但这是内部域名，外部访问要用EIP。

3. API调用验证：

   curl -X POST \ https://YOUR_EIP:8080/invocations \ -H "Content-Type: image/jpeg" \ --data-binary "@test.jpg"

   注意：-H "Content-Type: image/jpeg"必须和customize_service.py中_preprocess接收的格式一致，否则报415 Unsupported Media Type。

实操心得：我曾因安全组没开8080端口，折腾3小时。ModelArts控制台显示“服务运行中”，但curl一直Connection refused。后来发现，安全组规则里只开了80和443，忘了8080。服务状态正常 ≠ 网络可达，这是最隐蔽的坑。

3.7 API联调：不是“调通就行”，而是“模拟真实业务流”

最后一步，用真实业务代码调用API。很多教程到此结束，但真实场景中，你要处理：

• 认证：ModelArts API需要IAM签名，不能直接curl。必须用SDK：

  from huaweicloudsdkcore.auth.credentials import BasicCredentials from huaweicloudsdkaom.v1 import AomClient, ListMetricsRequest credentials = BasicCredentials("YOUR_AK", "YOUR_SK", "YOUR_PROJECT_ID") client = AomClient.new_builder() \ .with_credentials(credentials) \ .with_region("cn-north-1") \ .build()

• 容错：网络抖动时，API可能返回503。必须加重试：

  import time import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session = requests.Session() retry_strategy = Retry( total=3, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504], ) adapter = HTTPAdapter(max_retries=retry_strategy) session.mount("http://", adapter) session.mount("https://", adapter) response = session.post("https://YOUR_EIP:8080/invocations", data=image_bytes)

• 性能压测：单实例QPS上限约15（A10 GPU），超了会排队。用locust模拟100并发：

  from locust import HttpUser, task, between class ModelArtsUser(HttpUser): wait_time = between(1, 3) @task def predict(self): with open('test.jpg', 'rb') as f: self.client.post('/invocations', data=f, headers={'Content-Type': 'image/jpeg'})

4. 实操过程全记录：从创建OBS桶到API返回结果的逐帧拆解

4.1 第1小时：OBS桶创建与数据上传（耗时35分钟）

我新建一个名为modelarts-demo-2024的OBS桶，区域选华北-北京四（与ModelArts同Region，避免跨Region流量费）。上传前，用Python脚本整理本地数据：

# prepare_data.py import os import shutil from pathlib import Path # 原始数据在 ./raw_data/ raw_path = Path('./raw_data') train_path = Path('./dataset/train') val_path = Path('./dataset/val') # 按8:2划分训练集/验证集 for cls in ['cat', 'dog']: cls_files = list((raw_path / cls).glob('*.jpg')) train_files = cls_files[:int(0.8 * len(cls_files))] val_files = cls_files[int(0.8 * len(cls_files)):] for f in train_files: shutil.copy(f, train_path / cls / f.name) for f in val_files: shutil.copy(f, val_path / cls / f.name) # 打包为tar.gz，便于OBS上传 os.system('tar -czf dataset.tar.gz dataset/')

上传dataset.tar.gz到OBS后，在控制台解压（OBS控制台右键→“解压”）。然后配置桶策略：

{ "Version": "1.0", "Statement": [ { "Effect": "Allow", "Principal": "*", "Action": ["obs:GetObject"], "Resource": ["obs://modelarts-demo-2024/*"] } ] }

注意：Principal设为*表示公开读，但Resource路径必须精确到/*，否则权限不生效。

4.2 第2小时：训练作业创建与首次运行（耗时28分钟）

登录ModelArts控制台→“开发环境”→“训练管理”→“创建训练作业”。关键参数：

• 算法来源：选择“自定义镜像”，镜像地址填swr.cn-north-1.myhuaweicloud.com/modelarts/pytorch-1.11.0-cuda11.3:latest；
• 数据输入：obs://modelarts-demo-2024/dataset/；
• 训练输出：obs://modelarts-demo-2024/output/；
• 启动文件：train.py（已上传到OBS的code/目录）；
• 代码目录：obs://modelarts-demo-2024/code/；
• 资源规格：c7.large.2（CPU实例）。

提交后，作业状态变为“运行中”。5分钟后，日志显示：

INFO:root:Data path: /home/work/workspace/dataset INFO:root:GPU Memory: 0.00GB / 0.00GB # CPU实例，无GPU ... INFO:root:Epoch [1/10], Loss: 0.6721

证明数据路径正确，训练启动成功。此时我暂停作业，升级为a10.2xlarge实例（1GPU），重新提交。

4.3 第3小时：模型调试与精度提升（耗时42分钟）

第二次运行，日志出现CUDA out of memory。我登录训练作业的“日志查询”，找到报错行：

RuntimeError: CUDA out of memory. Tried to allocate 2.12 GiB (GPU 0; 23.65 GiB total capacity)

显存23.65GB，尝试分配2.12GB失败，说明batch_size太大。我修改train.py，把batch_size=32改为16，重新提交。这次训练顺利，10轮后accuracy.txt显示0.892。

但混淆矩阵显示cat类有15%被判为dog。我检查数据，发现部分猫图背景是草地，和狗图相似。于是增强数据增强：

train_transform = transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomHorizontalFlip(p=0.5), # 加水平翻转 transforms.ColorJitter(brightness=0.2, contrast=0.2), # 加色彩扰动 transforms.RandomCrop(224), transforms.ToTensor(), transforms.Normalize(...) ])

第三次训练，accuracy升至0.921，混淆矩阵对角线更纯净。

4.4 第4小时：模型导出与服务部署（耗时37分钟）

训练完成后，OBSoutput/目录下有model.pt。我创建model/目录，放入：

• config.json（按前述格式）；
• model.pt（从OBS下载，重命名）；
• customize_service.py（含完整预处理/后处理）。

然后在ModelArts控制台→“部署上线”→“在线服务”→“创建服务”。填：

• 服务名称：cat-dog-classifier（全小写，无下划线）；
• 模型来源：选择OBS路径obs://modelarts-demo-2024/model/；
• 实例规格：c3.large.2；
• 网络配置：勾选“分配弹性公网IP”，安全组选已有规则（已开8080）。

提交后，服务状态变为“运行中”，但域名service-xxx.cn-north-1.modelarts.ai无法解析。我意识到：EIP是动态分配的，必须在服务详情页复制“弹性公网IP”地址，用它调用。

4.5 第5小时：API联调与压测（耗时25分钟）

用curl测试：

curl -X POST \ http://121.43.123.45:8080/invocations \ # 用EIP，非域名 -H "Content-Type: image/jpeg" \ --data-binary "@test_cat.jpg"

返回：

{"label": "cat", "score": 0.973}

成功！接着用Python SDK写业务调用：

import requests with open('test_cat.jpg', 'rb') as f: response = requests.post( 'http://121.43.123.45:8080/invocations', data=f, headers={'Content-Type': 'image/jpeg'} ) print(response.json()) # {'label': 'cat', 'score': 0.973}

最后用locust压测，100并发下QPS稳定在14.2，平均延迟210ms，符合预期。

5. 常见问题与排查技巧实录：那些让我凌晨三点还在看日志的坑

5.1 数据相关问题：90%的训练失败源于OBS路径

独家技巧：在训练脚本第一行加print("OBS PATH:", os.getenv('DATA_URL'))，日志里立刻看到ModelArts传入的真实路径，比猜强100倍。

5.2 训练过程问题：显存、精度、收敛的三角博弈

实操心得：ResNet系列模型，lr=0.001配StepLR(step_size=3)是黄金组合。我试过lr=0.01，loss震荡剧烈；lr=0.0001，收敛太慢。没有万能参数，只有适配你数据的参数。

5.3 部署服务问题：网络、权限、格式的死亡三连