MiniCPM-V 2.6 本地部署实战：3 步在 Mac 和独显电脑上跑通多模态视觉模型

MiniCPM-V 2.6 本地部署实战：3 步在 Mac 和独显电脑上跑通多模态视觉模型

【免费下载链接】MiniCPM-VSee, hear, and interact on your local devices.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V

MiniCPM-V 是清华 NLP 与 ModelBest 联合开发的端侧多模态大模型，让本机设备"看得见图、听得懂问题"。用 82 亿参数的 2.6 版本，3 条命令加一次模型下载，就能在浏览器里打开一个可以传图、传视频提问的聊天界面，整个过程（含下载）通常在一小时以内。

🎯 项目名片

一句话定位：为本地设备优化的多模态大模型（MLLM），图像理解、OCR、多图与视频问答全部离线运行。几个硬指标：

640 个视觉 token 这个设计是它能在消费级设备上跑得动的关键：token 越少，推理越省显存、首 token 延迟越低。数据摆在这里，咱们看看什么样的机器能跑起来。

🧭 环境体检

requirements 里锁定了torch==2.1.2、transformers==4.40.0、gradio==4.41.0，所以环境版本要跟着走。硬件门槛如下：

注意两点：2.6 全精度权重约 17GB，Mac 上跑 bf16 时统一内存占用会超过 17GB，16GB 机型会比较吃力；int4 量化版依赖 bitsandbytes，官方脚本明确不支持在 Mac（MPS）上加载。环境达标后，就可以拉代码了。

实操主路径

拉取代码并搭建环境

克隆仓库并进入项目目录：

git clone https://gitcode.com/GitHub_Trending/mi/MiniCPM-V cd MiniCPM-V

用 conda 建一个隔离的 Python 环境，避免版本冲突：

conda create -n minicpm-v python=3.10 -y conda activate minicpm-v

一次性装齐 PyTorch、Transformers、Gradio 等依赖：

pip install -r requirements.txt

下载模型

先装 ModelScope 命令行，再拉取 2.6 全精度权重（约 17GB，视网速准备 5–30 分钟）：

pip install modelscope modelscope download --model OpenBMB/MiniCPM-V-2_6 --local_dir ./models/MiniCPM-V-2_6

显存 8GB 的 NVIDIA 显卡可改下OpenBMB/MiniCPM-V-2_6-int4（约 7GB）。启动脚本web_demos/web_demo_2.6.py默认按模型库 idopenbmb/MiniCPM-V-2_6加载，权重会在本地缓存中自动命中；想指定离线目录，把脚本顶部的model_path变量改成你的本地路径即可。

启动 Web 界面

NVIDIA 显卡直接指定 cuda：

python web_demos/web_demo_2.6.py --device cuda

Mac（Apple Silicon 或 AMD 显卡）走 MPS，并开启算子回退：

PYTORCH_ENABLE_MPS_FALLBACK=1 python web_demos/web_demo_2.6.py --device mps

服务监听在 8885 端口，启动成功后浏览器打开http://localhost:8885。首次加载权重需要几分钟，看到聊天框出现"You can talk to me now"就说明就绪了。页面打开之后，它实际能玩的东西比想象中多。

🎨 上手即玩：三类用法

用法一：多语言 OCR。把仓库自带的assets/hk_OCR.jpg拖进去，输入"把图片中的所有文字逐行抄录下来"：

输出是逐行抄录的中英混排文本，港式招牌、小字号、手写体都能保持较高完整度——这正是它相对 GPT-4V 系模型的主打优势。

用法二：多图对比。界面支持一次传多张图（视频会话除外），传两张同场景不同角度的照片，问"对比这两张图里物品的摆放差异"，模型会先分别描述再给差异点：

用法三：视频问答。上传一个本地 mp4，脚本按 1fps 抽帧、最多保留 64 帧后交给模型。问"视频里依次出现了哪些界面"，它会按时间顺序回答。复杂推理类问题（读公式、看图表）也值得试，仓库里的样例效果可以参考：

体验完默认参数，想再压榨一点速度的人，可以动下面几个旋钮。

🔧 调参提速

以下均为web_demos/web_demo_2.6.py内置的默认值，界面里可切换，代码里也可改：

参数都调顺了，但初次运行还是容易撞上几个固定报错，好在都有标准解法。

🚑 踩坑急救

• Error: running int4 model with bitsandbytes on Mac is not supported right now.→ Mac 的 MPS 不支持 bitsandbytes 的 int4 路径 → 改用全精度OpenBMB/MiniCPM-V-2_6，或走 GGUF + llama.cpp 的 CPU 方案。
• Mac 上报 MPS 算子不支持类错误（如MPS backend相关）→ Apple 芯片部分算子无原生实现 → 启动命令前缀加PYTORCH_ENABLE_MPS_FALLBACK=1。
• CUDA out of memory→ 显存装不下 bf16 权重（约 17GB）→ 换 int4 版（约 7GB），或加--multi-gpus参数把模型切分到两张卡。
• Address already in use（端口 8885）→ 端口被别的进程占用 → 修改web_demos/web_demo_2.6.py底部server_port=8885为空闲端口再启动。

跑通之后，本地就有一个不联网、能看图看视频的视觉助手了。想继续深入，可以从版本文档 docs/minicpm_v2dot6_zh.md 查评测细节，或到 docs/deployment_en.md 看 vLLM、llama.cpp 等更多部署方式。MiniCPM-V 的定位始终是"端侧可用的多模态"，从 2.6 到 4.7，这条路线会越来越宽，值得持续关注 README.md 里的版本更新。

【免费下载链接】MiniCPM-VSee, hear, and interact on your local devices.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V