【AI大模型】Checkpoint 保存策略：训练到一半断电了也不怕

【AI大模型】Checkpoint 保存策略：训练到一半断电了也不怕

写在前面：训练是长跑，随时能“存进度”才安心

大模型微调常常要跑几个小时甚至几天。最怕的就是训练到一半断电、断网、显存 OOM，进度全部清零。解决办法就是 Checkpoint（检查点）——定时把训练进度存盘，断了也能从最近保存点接着跑。

本文讲透 Checkpoint 策略：保存什么 → 多久存一次 → 保留哪些 → 怎么断点续训 → 一段可运行配置。

一、Checkpoint 里到底存了什么

Checkpoint 不是只存“模型权重”，要能恢复训练，需要存：

• 模型参数——当前模型权重。

• 优化器状态——Adam 的动量等，丢了会影响收敛。

• 学习率调度器状态——当前在调度曲线的哪个位置。

• 训练轮次/步数——从第几步继续。

一句话：完整的 Checkpoint 是“训练现场快照”，能无损恢复整个训练状态。

二、保存频率怎么定

保存频率是“恢复粒度”和“磁盘/时间开销”的折中：