用Vimeo90K训练自己的插帧模型：ECCV2022-RIFE多卡分布式训练完整指南

• 深度学习
• 计算机视觉

ECCV2022-RIFE 是一个基于 PyTorch 的视频插帧开源项目，已完成 Ascend NPU 硬件加速适配。本文带你用 Vimeo90K 数据集完整走通"多卡分布式训练插帧模型"的全流程：数据准备 → 环境搭建 → 一条命令启动多卡训练 → 看懂训练日志 → 训练后评估与推理，最终得到一个能把视频流畅度翻倍甚至翻四倍（24fps → 96fps）的自定义插帧模型 🎬。

一、为什么选 Vimeo90K 训练视频插帧模型？

核心关键词长尾：Vimeo90K 插帧数据集 / RIFE 插帧模型训练

Vimeo90K 是视频插帧领域最经典的基准数据集，上图展示了 RIFE 系列模型在 Vimeo90K 上的 PSNR 与推理速度表现——它在速度和精度之间取得了很好的平衡，这也是本项目的"老本行"。

它对插帧任务友好，原因很简单：天然的"三段式"结构。每个样本是一组三连帧：

vimeo_triplet/ ├── sequences/ │ └── 00001/0001/ │ ├── im1.png ← 第 1 帧（输入 I0） │ ├── im2.png ← 第 2 帧（真值 GT，要插出来的那帧） │ └── im3.png ← 第 3 帧（输入 I1） ├── tri_trainlist.txt └── tri_testlist.txt

训练时的逻辑非常直观：给模型看im1和im3，让它预测出im2。这份数据加载逻辑封装在 dataset.py 的VimeoDataset类中，帮你做了不少"脏活"：

💡 你只需要把下载好的 Vimeo90K-T 解压并整理成上面这个vimeo_triplet/目录结构（放在项目根目录下），训练脚本就能直接跑起来。

二、训练环境快速准备

环境要求：Python 3.8+、PyTorch（GPU 版本，NPU 请安装 torch_npu）、4 张以上 GPU（或等量 NPU）。

第 1 步，克隆仓库并安装依赖：

git clone https://gitcode.com/Ascend-SACT/ECCV2022-RIFE cd ECCV2022-RIFE pip3 install -r requirements.txt

requirements.txt 里的依赖很轻量，核心就这几样：

🔍 值得一提的是，本仓库是 Ascend NPU 亲和适配版：model/RIFE.py 中的设备选择逻辑会自动在 NPU 可用时优先使用 NPU，因此同一套代码在 GPU 和 NPU 环境都能工作。

三、多卡分布式训练：一条命令启动

这是全文最关键的一步。train.py 已经内置了完整的分布式训练框架：

• torch.distributed.init_process_group(backend="nccl")—— 多卡通信
• DistributedSampler—— 把数据均匀切分到每张卡，且每个 epoch 自动打乱
• DistributedDataParallel (DDP)—— 梯度同步（见 model/RIFE.py 中DDP包装）

可配置参数只有 4 个，都非常直观：

按"每张卡起一个进程"的方式启动（4 卡示例）：

for i in 0 1 2 3; do python3 train.py --local_rank $i --world_size 4 --batch_size 16 & done wait

启动成功后，你会看到training...字样，以及 rank 0 进程每步打印的epoch / step / loss_l1日志。整个过程无需人工干预，模型会自动保存（见下一节）。

四、训练过程中发生了什么？（看懂日志不慌）

长尾关键词：RIFE 训练日志解读 / 学习率调度 / PSNR 监控

train.py里的训练逻辑值得新手了解 3 件事，心里就有底了：

1️⃣ 学习率自动调度（warmup + 余弦退火）

get_learning_rate函数实现了一个经典策略：

• 前 2000 步：从 0 线性升温到3e-4（防止初期参数剧烈震荡）
• 之后：按余弦曲线缓慢降到3e-6
• 注意：总学习率会按world_size / 4自动缩放——你换 8 卡训练时，学习率会自动加倍补偿，不需要手动调

2️⃣ TensorBoard 双日志目录

rank 0 进程会写两个日志目录，用tensorboard --logdir .打开即可查看：

• train/：学习率、三种损失（loss_l1主损失、loss_tea教师损失、loss_distill蒸馏损失），每 1000 步还会记录"预测图 vs 真值"的对比图和光流可视化
• validate/：每 5 个 epoch 自动在验证集上算PSNR，这条曲线就是你判断模型好坏的核心依据——它应该稳步上升、后期趋于平稳

3️⃣ 权重自动保存

每个 epoch 结束，rank 0 会把模型存到 train_log/flownet.pkl。这个文件就是推理时加载的权重（仓库里自带一份预训练权重，你也可以用它直接做推理再回头对比自己训练的效果）。

五、训练完成：评估自己的插帧模型

模型训好后，有两件事必做：

1. 在 Vimeo90K 测试集上测 PSNR / SSIM

把 Vimeo90K 的vimeo_interp_test放到项目根目录（内含tri_testlist.txt和target/xxx/im1~im3.png），然后运行：

python3 benchmark/Vimeo90K.py

benchmark/Vimeo90K.py 会对测试集中每一组三连帧做"取首尾帧 → 模型插中间帧 → 与真值比较"，并滚动打印平均 PSNR 和 SSIM。PSNR 一般越高越好，可以和仓库自带的预训练模型对比，验证自己的训练是否收敛 📈。

同目录下的 benchmark/HD.py、benchmark/UCF101.py 还支持在其他数据集上评测，供进阶玩家使用。

2. 用自己的模型跑真实视频

python3 inference_video.py --exp=1 --video=video.mp4 # 2 倍帧率 python3 inference_video.py --exp=2 --video=video.mp4 # 4 倍帧率

--exp是"翻倍次数"：exp=1插 2× 帧，exp=2插 4× 帧。输出视频默认自动合并回原音频。图片两帧插帧则用inference_img.py。

⚠️ 小提示：inference_video.py 中通过--model参数指定权重目录，默认读train_log，正好就是你训练时保存的位置，无需额外操作。

六、新手常见问题与调参建议

七、总结

用 Vimeo90K 训练 RIFE 插帧模型的路线其实非常清晰：

1. ✅ 数据整理成vimeo_triplet/结构
2. ✅pip3 install -r requirements.txt装好依赖
3. ✅for i in 0 1 2 3; do python3 train.py --local_rank $i & done启动多卡训练
4. ✅ 盯住validate/里的 PSNR 曲线
5. ✅benchmark/Vimeo90K.py评测 +inference_video.py实战验收

多卡分布式训练的全部复杂细节（NCCL 通信、DDP、采样器、学习率缩放）都封装在 train.py 和 model/RIFE.py 里，作为新手你真正要关心的只有：数据放对位置、batch_size 别太大、耐心等 PSNR 爬升。祝训练顺利，期待你插出的丝滑视频 🚀

• 深度学习
• 计算机视觉