基础配置口径
GLM-5.2可以按约744B总参数、约40B激活参数理解。MoE激活参数不能用于直接估算完整显存需求。
当前可参考的部署边界：
目标 | 参考配置 | 说明 |
FP8单节点部署 | 8×H200 141GB / 8×H20 141GB | 用于企业POC、Coding Agent、常规长上下文 |
完整1M上下文 | 8×B200 180GB + FP8 KV Cache | 为长请求KV Cache保留更多空间 |
Q4量化验证 | 8×80GB或96GB级GPU | 用于低并发POC，需验证后端和质量 |
Q4_K_M约373GB，属于第三方GGUF量化路线，不等同于原生FP8。生产前必须对代码生成、工具调用、长文档引用和结构化输出做回归测试。
KV Cache规划逻辑
常规Transformer中，KV Cache可按以下趋势理解：
KV Cache与层数、KV头数、head_dim、token数、元素字节数和活跃序列数相关。
GLM-5.2使用稀疏注意力与IndexShare，vLLM采用分页KV管理，实际占用应以启动日志和运行时指标为准。
工程上要重点观察：
token长度；
输出长度；
活跃序列数；
GPU显存水位；
KV block使用情况；
队列等待时间；
OOM与重试日志。
vLLM的PagedAttention可以提升KV Cache管理效率，但不代表KV Cache消失。长请求和高并发仍然需要做容量规划。
关键参数
参数 | 作用 | 调参建议 |
max-model-len | 服务最大上下文窗口 | 按业务峰值设置，不必默认1M |
max-num-seqs | 一次调度的活跃序列数 | 长请求OOM或排队时优先下调 |
kv-cache-dtype | KV Cache精度 | 使用FP8 KV后做质量回归 |
gpu-memory-utilization | 显存使用比例 | 为运行时、CUDA Graph和突发请求留余量 |
prefix caching | 前缀复用 | 只对共享前缀有效 |
speculative/MTP | 解码阶段优化 | 需观察接受率和端到端收益 |
max-num-seqs不是业务在线人数。业务侧并发还会受到请求长度、输出长度、限流、队列和连续批处理影响。
推荐测试顺序
1.固定模型版本、框架版本和驱动环境；
2.用32K单请求建立质量与性能基线；
3.提升到64K、128K、256K、512K；
4.固定上下文后增加并发；
5.加入长短请求混合；
6.加入工具调用、RAG和结构化输出；
7.根据OOM、P95和队列等待调整max-num-seqs；
8.最后验证接近1M的低并发任务；
9.启用FP8 KV Cache、Prefix Cache、MTP后做对照测试；
10.输出容量边界和上线风险清单。
POC测试矩阵
维度 | 测试内容 | 记录字段 |
任务质量 | 高频任务、复杂任务、高风险任务 | 完成率、人工评分、失败类型 |
上下文 | 32K、128K、业务峰值、接近1M | TTFT、P95、显存水位、OOM |
并发 | 1路、目标并发、峰值并发、混合请求 | 队列等待、错误率、吞吐 |
工具调用 | 成功、失败、超时、无权限 | 调用成功率、恢复策略 |
量化回归 | FP8/API/Q4对照 | 代码质量、引用准确性、结构化输出 |
稳定性 | 持续运行、异常请求、服务重启 | 恢复时间、日志、错误类型 |
生产参考架构
业务应用
→ API网关：认证、限流、配额、路由、日志
→ 编排层：RAG、工具调用、会话、任务队列
→ 模型服务：vLLM/SGLang、GLM-5.2、模型路由、降级
→ 基础设施：GPU服务器、CPU、内存、NVMe、网络
→ 运维安全：监控、告警、审计、灰度、回滚
生产上线前，建议将模型版本、框架版本、启动参数、GPU拓扑、驱动版本、任务集版本、测试结果统一记录，便于复现和排查。
FAQ
1. GLM-5.2为什么不能按40B模型配卡？
40B是激活参数，完整权重仍需加载或分布到GPU节点，不能按普通40B dense模型估算。
2. max-model-len应该直接设为1M吗？
不建议。应按业务峰值设置。大多数请求集中在32K或128K时，默认1M会增加资源压力。
3. max-num-seqs怎么调？
长上下文OOM、P95升高或队列变长时，优先下调；短请求占比高且显存有余量时，再逐步上调。
4. FP8 KV Cache会影响质量吗？
可能影响，需要对代码生成、长文档引用、工具调用和结构化输出做回归测试。
5. Prefix Cache能不能解决1M显存问题？
不能。它适合共享前缀复用，独立长请求仍然需要活动KV Cache。
6. Q4量化适合生产吗？
适合POC和内部验证。生产使用前必须做FP8/API对照回归。
7. POC最终应该交付什么？
配置建议、参数基线、容量边界、质量回归结果、风险清单和上线验收口径。
