GSM8K 96.13%、Terminal-Bench 69.4% 是怎么测出来的？Qwen3.8-27B-NVFP4-BF16-LMHead 评测与资质验收详解-育师

【免费下载链接】Qwen3.8-27B-NVFP4-BF16-LMHead

项目地址：https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead

Qwen3.8-27B-NVFP4-BF16-LMHead 是 27B 参数多模态大模型 Qwen3.8-27B 的 NVFP4 量化版本：MLP 权重压到 4-bit、注意力压到 8-bit，唯独保留 BF16 精度的 lm_head。它在 GSM8K 数学基准上跑出96.13%，在 Terminal-Bench 2.1 上跑出69.4%，并随模型发布了一套完整的"资质验收"档案。这篇文章把这两个数字的完整测试链路和验收闸门一次性讲清楚。

一、📦 先认识这个模型：27B 参数，体积瘦身约 60%

Qwen3.8-27B 原生支持文本、图像、视频输入，上下文长度最高 262,144 token（见 config.json）。量化后的检查点只保留 3 个权重分片（model-00001-of-00003.safetensors 等），总体积21.9 GB；而源模型 18 个分片共55.5 GB——瘦身约 60%，源与输出清单对比记录在 conversion-manifest.json 中。

混合精度方案（MIXED_PRECISION）让不同模块各司其职：

模块	精度	覆盖范围
MLP（gate_proj / up_proj / down_proj）	NVFP4 W4A4，group size 16	193 个基张量
注意力（linear_attn / self_attn 各投影）	FP8	208 个基张量
lm_head、MTP 层、视觉塔	BF16（与源模型逐字节一致）	798 个张量、4.37 GB

这套分工在 hf_quant_config.json 中逐层列出；量化校准使用 1,024 条 cnn_dailymail 训练集样本、序列长 512、随机种子 1234（见 conversion-manifest.json 的 calibration 段）。整个制作与验证流程基于 NVIDIA Model Optimizer（modelopt 0.47.0.dev0），运行在 4×NVIDIA GB300（Blackwell 架构）上。

二、🧮 GSM8K 96.13%：一条完整的数学推理测试链

GSM8K 是小学数学应用题基准，测试集共 1,319 题。这次评测的协议完整记录在 README.md：

硬件与引擎：4×NVIDIA GB300，SGLang 张量并行 TP4，开启 NEXTN 3/1/4 投机解码（用 MTP 层做草稿模型）
数据：完整 1,319 题全量评测，不做抽样
模式：thinking 模式（开启思考链）
采样：模型默认参数——temperature 1.0、top_k 20、top_p 0.95，即 generation_config.json 中那份配置，seed 0

结果：96.13%（1,268/1,319），且 1,319 题全部以正常 stop 结束——零截断、零报错、零空输出。

作为参照：把 lm_head 也量化的源 NVFP4 检查点在同样协议下得到 96.36%（1,271/1,319）。两者差距不到 0.3 个百分点，处于 temperature 1.0 单次采样的噪声范围内，说明保留 BF16 lm_head 既没有明显加分，也没有掉分。

三、🤖 Terminal-Bench 69.4%：Agent 能力的另一面

Terminal-Bench 2.1 考察模型在终端里"干活"的能力：读文件、执行命令、调试脚本，属于典型的 AI Agent 场景。

评测协议（README.md）：Claude Code 2.1.228 作为 Agent 外壳 + DFlash2 drafter，pass@1 计分。88 个任务 × 4 轮重复，通过 247/356，即69.4%；单轮口径为 68.18%（60/88）。

两个基准合起来看：GSM8K 验证"推理底子扎实"，Terminal-Bench 验证"能动手干活"，覆盖了量化后模型能力验收最关心的两条主线。需要说明的是，两项评测均为纯文本口径（尽管模型本身支持图像/视频输入）。

四、✅ 资质验收详解：7 道闸门与一份 pass 报告

这个仓库最有意思的地方，是它随模型一起发布了两份"验收档案"：

qualification-criteria.json：验收标准，相当于"考纲"——事先约定数据集、运行时参数、采样参数与各项阈值
qualification.json：实测结果，相当于"成绩单"，最终verdict字段为pass

📋 验收闸门与实测对照：

闸门（gates）	阈值	实测
最低准确率 minimum_accuracy	≥ 96.5%	97.27%（1,283/1,319）
停止率 required_stop_rate	= 100%	1,319/1,319 全部正常 stop
截断 maximum_truncations	0	0
请求错误 maximum_request_errors	0	0
空输出 maximum_empty_generations	0	0
OOM 次数 target_oom_kills	0	启动前/加载后/评测后/关闭后 4 个时点全为 0
MTP 接受长度 minimum_mtp_acceptance_length	≥ 1.0	2.775

注：验收跑记录的 GSM8K 成绩为 97.27%（qualification.json），略高于对外公布的 96.13%，两次均为 temperature 1.0 单次采样，属正常波动。

几个值得注意的细节：

MTP 投机解码实测有效：最终接受长度 2.775，即平均每次草稿能接受约 2.8 个 token，显著高于 1.0 的底线，说明 NEXTN 3/1/4 配置下投机解码确实在提速，而不是空转。
FP8 KV Cache 的诚实备注：运行时启用了 fp8_e4m3 KV cache，但未提供校准的缩放因子（默认按 1.0 处理）。报告在 qualification.json 中如实记录了这条 warning——把"坑"也写进档案，正是资质验收的价值所在。
张量审计独立复核：tensor-audit.json 对输出逐张量核验——2,194 个张量、401 个 input-scale 张量、约 11.5 亿个 scale 值，798 个未改动张量与源模型逐字节一致，verdict 同为 pass。

五、🔒 证据链：8 个 SHA-256 让结果可复核

qualification.json 的evidence_sha256段为 8 份证据材料逐一计算了 SHA-256：转换清单、评测日志、评测指标、逐题预测、张量审计、验收标准、运行时指标、服务日志。

这套机制意味着：任何人拿到同一份检查点后，都能对照哈希值确认"我复现评测所依据的材料，与发布方是否一致"。再配合 conversion-manifest.json 中源模型 99 个文件的逐文件哈希清单，整个"源模型 → 量化 → 评测 → 验收"链条可追溯、可复核，而不仅是 README 里的两个百分比。

六、🏗️ SGLang 一键部署与文件核对

官方推荐用 SGLang 起服务（4×Blackwell 配置，来自 README.md）：

sglang serve \ --trust-remote-code \ --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \ --tp-size 4 \ --mem-fraction-static 0.75 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --host 0.0.0.0 \ --port 30000

拿到仓库后建议先做两件事：

用 model.safetensors.index.json 核对 3 个分片的张量索引是否完整；
对照 LICENSE 确认 Apache License 2.0 条款（本模型为 Qwen3.8-27B 的量化衍生版，能力与限制以上游模型卡为准）。

七、📌 小结：这份"验收档案"为什么值得参考

成绩可复现：96.13% 的 GSM8K 与 69.4% 的 Terminal-Bench 都绑定了明确的硬件（4×GB300）、引擎版本、采样参数与数据集切分
闸门先于成绩：验收标准写在 criteria 文件里，成绩单逐项对照，pass不是一句口号
档案完整：转换、审计、评测、证据哈希四类文件互相印证，"瘦身 60% 后能力没打折扣"这一结论有据可查

对于需要在 Agent、对话或 RAG 系统里部署 4-bit 量化大模型的开发者来说，这套"量化配方 + 完整验收文档"的范式，本身就是最有价值的一课。