如何用LLaMA-Factory微调MiniCPM-o-2_6：全模态模型领域适配完整教程

如何用LLaMA-Factory微调MiniCPM-o-2_6：全模态模型领域适配完整教程

【免费下载链接】MiniCPM-o-2_6项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-o-2_6

MiniCPM-o-2_6 是 OpenBMB 开源的 8B 全模态多模态模型，支持图像、视频、音频理解与实时语音对话。想让它在你的行业场景（医疗问答、客服语音、文档 OCR）上表现更好？本文带你用 LLaMA-Factory 对 MiniCPM-o-2_6 做领域适配微调：从环境搭建、数据准备到一键启动训练，新手也能跟着跑通完整流程。

先认识 MiniCPM-o-2_6：一个"全能"的 8B 模型

在开始微调之前，先搞清楚我们在"驯服"什么动物。MiniCPM-o 2.6 采用端到端的全模态架构，把四块"器官"拼成了一个整体：

这些结构在 config.json 中完整定义，模型主干类在 modeling_minicpmo.py 中的MiniCPMO实现，配置类MiniCPMOConfig位于 configuration_minicpm.py。

💡 为什么值得微调？官方实测它在 OCRBench 拿到 897 分、OpenCompass 综合 70.2 分，单图理解超过 GPT-4o 等闭源模型。但"通用强"不等于"懂你的业务"——微调是把它从"通才"变成"专才"的标准路径。

微调前准备：环境一键搭建步骤

第 1 步：下载模型权重

git clone https://gitcode.com/OpenBMB/MiniCPM-o-2_6

模型权重共 4 个分片（model-00001-of-00004.safetensors至model-00004-of-00004.safetensors），建议用 NVMe 盘存放。

第 2 步：准备训练环境

按 README.md 给出的依赖清单安装，版本要求比较严格：

• transformers==4.44.2（务必锁版本，其他版本可能不兼容自定义代码）
• torch==2.3.1+torchaudio+torchvision
• librosa、soundfile、decord、moviepy（音频/视频处理）
• Python 3.10 已官方验证

第 3 步：安装 LLaMA-Factory

拉取 LLaMA-Factory 仓库后按官方说明安装训练依赖，并确认已安装 DeepSpeed（8B 模型全参微调显存压力不小，DeepSpeed ZeRO-2/3 基本是必选项）。

准备微调数据集：领域适配的关键

微调效果 80% 取决于数据。LLaMA-Factory 使用统一的 JSON/JSONL 对话格式，多模态样本在messages中内嵌图片/音频路径。

推荐的领域数据配方（以医疗问答为例）：

三条实操建议：

1. 先小规模试跑：100～500 条验证流程跑通，再上全量；
2. 保留 5%～10% 验证集，训练中观察 val loss 判断是否过拟合；
3. 音频/图片路径要相对数据集根目录，避免训练时绝对路径失效。

参考样例可看仓库内的 assets/input_examples/ 目录，里面有官方提供的中英文、不同语速和情绪的声音样本，可用于构造语音指令数据。

配置 SFT 训练参数：YAML 关键字段速查

在 LLaMA-Factory 的examples/下新建minicpm_o_2_6_sft.yaml，核心字段如下：

### 模型 model_name_or_path: /path/to/MiniCPM-o-2_6 # 第 1 步 clone 的本地路径 trust_remote_code: true # 必须开启，加载自定义建模代码 stage: sft finetuning_type: full # 8B 建议全参；显存<48G 可用 lora ### 数据 dataset: your_medical_vqa # 注册在 dataset_info.json 中的数据集名 template: minicpm_o # 使用 MiniCPM-o 官方模板 cutoff_len: 4096 overwrite_cache: true ### 训练 per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-5 num_train_epochs: 2.0 lr_scheduler_type: cosine warmup_ratio: 0.05 bf16: true deepspeed: ds_z2_config.json # 多卡时启用 save_steps: 200 logging_steps: 10

新手最容易踩的 3 个参数坑：

• trust_remote_code: true漏配 → 加载模型直接报错；
• learning_rate过大（>1e-4 做全参）→ 前几百步 loss 发散，多模态模型尤其敏感；
• cutoff_len太小 → 长图文被截断，模型"只看到半句话"。

启动训练：一条命令完成

确认配置无误后，在项目根目录执行：

llamactl train examples/minicpm_o_2_6_sft.yaml

训练时盯着两个信号：

• train loss平滑下降，每轮下降幅度收窄属正常；
• val loss若连续上升而 train loss 仍在降 → 过拟合，提前停训取上一个 checkpoint。

⏱ 显存参考：A100-80G × 4 + DeepSpeed ZeRO-3 可跑全参微调；LoRA 模式下单张 24G 卡即可试跑小规模任务。

微调后模型部署与验证

训练产出的 checkpoint 是一个标准 HuggingFace 模型目录，加载方式与基座完全一致，只需把路径换成 checkpoint 目录：

from transformers import AutoModel, AutoTokenizer import torch model = AutoModel.from_pretrained( "output/minicpm_o_2_6/sft/full/checkpoint-xxx", trust_remote_code=True, # 记得保留自定义代码文件 attn_implementation="sdpa", torch_dtype=torch.bfloat16, init_vision=True, init_audio=True, init_tts=True, ) model = model.eval().cuda() tokenizer = AutoTokenizer.from_pretrained("output/minicpm_o_2_6/sft/full/checkpoint-xxx", trust_remote_code=True) model.init_tts()

注意 checkpoint 目录里要带齐config.json、modeling_minicpmo.py等自定义代码文件，否则trust_remote_code找不到实现类。

验证清单：

1. 抽 20 条业务测试题对比微调前后答案；
2. 抽 10 条通用题目确认没"变笨"（防灾难性遗忘）；
3. 喂 1 段语音（可用 assets/demo.wav）确认语音通道仍可用。

常见问题速查（FAQ）

总结

用 LLaMA-Factory 微调 MiniCPM-o-2_6 的核心链路就四步：锁版本环境 → 配好领域数据 → YAML 三处关键参数（模板/学习率/上下文长度）→ 训练后三查验证。8B 的全模态底座足够强，只要数据到位、学习率保守，一轮 2 epoch 的 SFT 就能让它显著贴合你的业务场景。更多官方用法与评测细节可继续参阅 README.md。

【免费下载链接】MiniCPM-o-2_6项目地址: https://ai.gitcode.com/OpenBMB/MiniCPM-o-2_6