不止文本对话：gemma-4-26B-A4B-it-w8a8-llmcompressor图像、视频、音频多模态输入使用指南

• 大模型
• 模型量化
• 本地部署
• 多模态

gemma-4-26B-A4B-it-w8a8-llmcompressor 是 AMD 基于 LLM Compressor 对 Gemma 4 26B 多模态 MoE 大模型完成的 W8A8 量化版本，支持图像、视频、音频与文本混合输入，并针对 AMD EPYC CPU 推理深度优化。本文作为面向新手的完整使用指南，带你依次掌握图像输入、视频输入、音频输入三类多模态任务的配置方法与最佳实践。

🧭 30 秒认识这个量化多模态模型

在动手之前，先花 30 秒了解它"是什么"：

一句话总结：它让你用更小的磁盘占用和内存压力，在 CPU 服务器上跑一个"看图、看视频、听语音"的 26B 多模态大模型。

🔍 图像、视频、音频输入是怎么实现的？

模型通过三类专属占位符 token 区分输入模态，完整定义可参考 tokenizer_config.json#L24-L43：

这些参数统一由Gemma4Processor管理，具体数值可在 processor_config.json 中查证：

• 图像处理器（Gemma4ImageProcessor）：processor_config.json#L25-L47
• 视频处理器（Gemma4VideoProcessor，num_frames: 32）：processor_config.json#L50-L74
• 音频特征提取器（Gemma4AudioFeatureExtractor）：processor_config.json#L4-L24

💡 对新手最实用的一点：你不需要手动插入占位符。只要把图片/视频/音频放进消息里，处理器会自动完成预处理和 token 替换。

🚀 一键加载：环境准备与模型加载步骤

第一步：准备依赖

按 README.md 的要求，本模型与特定版本栈绑定（版本锁定是 CPU 量化模型的常态）：

torch==2.13.0.2 zentorch==2.13.0.2 vllm==0.29.0 llmcompressor==0.13.0

第二步：下载模型文件到本地

将模型仓库中的全部文件（model-*.safetensors、config.json、processor_config.json、tokenizer.json等）下载到本地同一目录，下文以./model指代该目录。

CPU 推理小贴士：为获得最佳性能，启动前建议设置LD_PRELOAD指向 LLVM 或 Intel 的 OpenMP 库（如libomp.so），详见 README.md 中的 OpenMP Setup 章节。

第三步：用 vLLM 加载模型

from vllm import LLM, SamplingParams llm = LLM( model="./model", # 本地模型目录 dtype="bfloat16", trust_remote_code=True, )

加载后即可进入多模态实战。

📷 图像输入使用教程：三步看懂图片

vLLM 的多模态消息采用"内容分片（content parts）"格式，每个type对应一种输入。图像输入示例：

from PIL import Image messages = [ { "role": "user", "content": [ {"type": "image", "image": Image.open("photo.jpg")}, {"type": "text", "text": "请详细描述这张图片里的内容。"}, ], } ] sampling = SamplingParams(temperature=0.7, max_tokens=256) output = llm.chat(messages, sampling) print(output[0].outputs[0].text)

新手要点：

1. {"type": "image", ...}分片会自动被替换为<|image|>占位符，再由视觉塔编码为 280 个软 token（见 config.json#L403-L446 的视觉塔配置）；
2. 一条消息里可以放多张图，文本分片写在任意位置即可；
3. 量化时视觉塔（vision_tower）与多模态投影器被刻意保留为 BF16 不量化（见 recipe.yaml 的ignore规则），因此图像理解精度不受 W8A8 量化影响。

🎬 视频输入使用教程：自动抽帧理解

视频输入无需手动切帧——视频处理器会默认均匀抽取 32 帧（num_frames: 32）：

messages = [ { "role": "user", "content": [ {"type": "video", "video": "meeting.mp4"}, {"type": "text", "text": "总结这段视频的关键信息和结论。"}, ], } ] output = llm.chat(messages, SamplingParams(temperature=0.7, max_tokens=512)) print(output[0].outputs[0].text)

性能提示：视频默认编码为约 70 个软 token，相比逐帧输入大幅省 token；如需调整抽帧数量，可在 processor_config.json#L50-L74 中修改num_frames参数。

🎧 音频输入使用教程：语音转写与理解

音频要求16 kHz 采样率（处理器会自动重采样），最长约 30 秒（audio_seq_length: 750× 40 ms）：

messages = [ { "role": "user", "content": [ {"type": "audio", "audio": "voice_note.wav"}, {"type": "text", "text": "请把这段语音转成文字，并概括要点。"}, ], } ] output = llm.chat(messages, SamplingParams(temperature=0.7, max_tokens=256)) print(output[0].outputs[0].text)

💡长音频技巧：超过 30 秒的音频建议先用常规工具切分成 ≤30 秒的片段分别输入，再让模型汇总。

多模态混合输入：一张图 + 一段视频 + 一段语音

既然三种模态都能进，混合输入同样成立——在一个消息里同时放入多个分片：

messages = [ { "role": "user", "content": [ {"type": "image", "image": Image.open("chart.jpg")}, {"type": "audio", "audio": "comment.wav"}, {"type": "text", "text": "结合图表和语音评论，给出你的分析。"}, ], } ]

💬 多模态消息格式与对话模板速查

模型自带的规范对话模板是 chat_template.jinja，其中 chat_template.jinja#L330-L345 明确定义了支持的内容分片类型：

两个实用参数：

• 思考模式：模板支持enable_thinking开关（见 chat_template.jinja#L186），开启后模型先输出<|channel>thought思考通道再作答，适合复杂多模态分析任务；
• 采样默认值：generation_config.json 中默认temperature: 1.0、top_k: 64、top_p: 0.95，图像/视频描述类任务建议将 temperature 降到 0.7 左右以获得更稳定的输出。

⚡ W8A8 量化细节：体积减半，精度几乎无损

W8A8 的量化配方记录在 recipe.yaml，量化配置完整定义于 config.json#L20-L56。核心策略是"该压的压满，敏感的保精度"：

官方用 lm-evaluation-harness 对 GSM8K 做了量化前后对比（README.md Evaluation 章节）：

结论：约 47% 的体积缩减，只换来约 1% 的基准误差，多模态路径（视觉塔等）则完全不受量化影响。

❓ 常见问题 FAQ

Q1：这个模型支持 GPU 推理吗？不支持。它专为 AMD EPYC CPU 推理（ZenDNN 优化）设计，请勿用于 GPU 场景。

Q2：换了版本的 vLLM / PyTorch 加载失败？模型与 ZenDNN v6.1.0 / ZenTorch v2.13.0.2 / PyTorch v2.13.0.2 / vLLM v0.29.0 版本锁定，其他版本可能无法正确加载，请严格按 README.md 的 Requirements 安装。

Q3：量化会不会让"看图"变差？不会。视觉塔、多模态投影器被排除在量化之外，保持 BF16 全精度；W8A8 只作用于语言侧的 MoE 专家与注意力/MLP 线性层。

Q4：一次只能传一种模态吗？不是。图像、视频、音频分片可以在同一条消息中任意组合，模型按占位符顺序统一理解。

📁 项目文件速查表

🎯 写在最后

gemma-4-26B-A4B-it-w8a8-llmcompressor 证明了量化不只是"省显存"的手段：W8A8 方案在保住 98.95% 基准精度的同时，把 26B 多模态模型装进了约 25 GiB，让"能看、能听"的大模型在 AMD EPYC CPU 服务器上即可部署。

上手路径很简单：装好版本锁定的依赖 → vLLM 加载本地模型 → 在消息content里放image/video/audio分片。按本文的顺序走一遍，你已具备完成图像问答、视频摘要、语音转写乃至混合模态分析的全部能力。

• 大模型
• 模型量化
• 本地部署
• 多模态