【LLM技术全景】第42篇 多模态模型部署：视觉语言模型的服务化

系列：《LLM技术全景：从Token到部署》工程实践篇第10篇
承接：第41篇《边缘设备部署：手机与IoT设备上的LLM》｜ 预告：第43篇《开源LLM生态工具链：模型、数据集、框架全景》

摘要

• 核心问题：前两篇我们把纯文本 LLM 装进了 GPU 和口袋。但当模型要"看图"——视觉语言模型（VLM）服务化时会撞上一个隐蔽的坑：一张图悄悄变成数百到上千个 token，直接把按"纯文本假设"预留的 KV 缓存池打爆。
• 主要贡献：拆解 VLM「视觉编码器 + 投影层 + LLM」架构；量化"图像 → token"的膨胀规律及其对 KV 缓存的真实冲击；给出 vLLM 多模态服务的三个显存旋钮（--limit-mm-per-prompt/--mm-processor-kwargs/--max-model-len）与视觉特征缓存实践；对比 vLLM / SGLang / TensorRT-LLM / BentoML 四条服务化路线。
• 阅读收获：
  1. 建立"vision token 也要吃 KV 缓存"的直觉，理解多模