1. “基准刷分”不是新词，而是行业里悄悄运转十年的隐性规则
“一张图看懂基准刷分内卷”——这标题乍看像 meme 图文，实则戳中了当前技术评估体系里最真实、最普遍、也最没人明说的实践逻辑。我从 2013 年开始做模型优化，最早在语音识别团队跑 LibriSpeech，后来转做 CV，在 ImageNet 上调 ResNet，再往后带团队做大模型推理加速，前后参与过 7 套不同场景下的 benchmark 流程设计：从芯片厂商的 MLPerf 提交，到云厂商内部的 SLO 对标，再到开源社区的 Hugging Face Open LLM Leaderboard 排名。所有这些场景里，都存在一套高度相似、但从未写进任何白皮书的操作范式：不是谁模型更好，而是谁更懂怎么让模型在特定基准上“看起来更好”。
这个词里的“基准”，从来不是抽象概念。它具体指代某份公开数据集（如 GLUE、MMLU、CMMLU）、某套固定评测脚本（如evaluate.py的 exact_match 计算方式）、某个硬件平台的约束条件（如 A100 40GB + CUDA 12.1 + PyTorch 2.1）、甚至某次提交时的随机种子（--seed 42还是--seed 1337？）。而“刷分”，绝非字面意义的作弊，而是对评测链路中每一个可调变量进行系统性压榨：数据预处理是否做了微调增强？prompt 模板是否针对该 benchmark 专门重写？后处理是否加了 heuristic 规则修正输出格式？推理时是否启用了特定 kernel fusion？量化参数是否在该数据集上做过 fine-grained calibration？——这些操作全在合法合规边界内，但叠加之后，分数提升幅度远超模型本身能力增长。
提示：“刷分”和“调参”有本质区别。调参是为泛化能力服务的，刷分是为单点指标服务的。前者追求 cross-dataset robustness，后者追求 single-benchmark peak score。一个团队可以同时做好两者，但多数情况下，资源会向后者倾斜——因为 benchmark 分数直接挂钩项目立项、预算审批、对外宣传口径。
我见过最典型的案例：某团队在 MMLU 上把 65.3% 刷到 67.8%，靠的不是换 backbone，而是三件事：① 把原始 prompt 中的“Choose the best answer”改成“Select ONLY the letter corresponding to the correct option (A/B/C/D)”，规避模型对中文指令理解偏差；② 对 test set 做了 3 轮人工校验，剔除 12 个存在歧义题干的样本（官方 test set 允许 subset 选择）；③ 在 inference 时对 logits 加了一个 temperature=0.7 的 soft scaling，使 top-1 置信度分布更集中。三项加起来，+2.5 分，全部可复现、可审计、无代码篡改。这就是“基准刷分”的真实形态：它不违反规则，但重新定义了规则的使用边界。
这张“一张图”之所以难画，是因为它不能只画结果（比如柱状图对比分数），而必须画出整条链路：从原始论文宣称的 baseline，到开源实现的实际复现值，再到各团队提交的“优化版”，最后落到 leaderboard 上的最终排名。中间每一段，都有明确的技术动因、可验证的改动点、以及被默认接受的“行业惯例”。这张图的本质，是一张技术实践地图，而不是一张分数排行榜。
2. 四层嵌套结构：为什么“刷分”必然发生，且无法根除
要真正看懂“基准刷分”，必须跳出“谁在作弊”的道德判断，进入系统动力学视角。我把它拆成四层嵌套结构，每一层都构成下一层的刚性约束，共同推导出刷分行为的必然性。这不是漏洞，而是系统设计的自然产物。
2.1 第一层：评测即产品——benchmark 本身是商业资产
MLPerf、Hugging Face Open LLM Leaderboard、AI Index Report 这些 benchmark，表面是学术/开源项目，实则是高价值基础设施产品。MLPerf 背后是 MLCommons 联盟，成员包括 NVIDIA、Intel、AMD、Google、Meta 等头部厂商，其评测结果直接影响客户采购决策；Hugging Face Leaderboard 虽然开源，但流量入口地位使其成为模型厂商必争之地，TOP3 占据首页 70% 点击量；AI Index 更是被全球 VC 机构用作投资尽调核心参考。这意味着：benchmark 的设计者天然倾向设置“可区分、易传播、有故事性”的指标。例如：
- MMLU 采用 57 个学科、每个学科 100 题的固定结构，便于横向对比，但忽略学科间难度差异；
- GLUE 使用宏平均（macro-average）而非加权平均，使低频任务（如 CoLA）与高频任务（如 SST-2）权重相同；
- Hugging Face Leaderboard 默认展示 zero-shot 准确率，却将 few-shot、chain-of-thought 等更贴近实际应用的 setting 放在折叠面板里。
这些设计不是错误，而是产品策略：它让 benchmark 成为高效的“信号发射器”——客户不需要理解模型细节，只要看到“XX 模型在 MMLU 上领先 Y 模型 1.2 分”，就能形成技术先进性认知。而信号越清晰，对“信号优化”的需求就越强。
2.2 第二层：资源错配——研发周期与评测周期的不可调和矛盾
一个典型 AI 项目周期是：3 个月模型训练 → 2 个月工程优化 → 1 个月 benchmark 提交 → 2 周结果公示。但 benchmark 更新周期是：MLPerf 每年 2 轮（春季/秋季），Hugging Face Leaderboard 实时更新但需人工审核，AI Index 每年发布一次。这就导致一个致命错配：团队投入最多资源的阶段（工程优化），其目标不是提升真实业务效果，而是适配即将截止的 benchmark 提交窗口。
我带过的两个项目对此感受极深：
- 项目 A：为赶 MLPerf v3.1 提交，团队暂停所有线上 AB 测试，把 80% 算力用于在 ResNet-50 上搜索最优 batch size + precision 组合，最终在 ImageNet 推理 latency 上比 baseline 快 3.7%，但线上服务延迟反而上升 12%（因未适配真实请求分布）；
- 项目 B：为冲击 Hugging Face Leaderboard，把原计划用于 prompt 工程的 3 周时间，全部转向构建 domain-specific instruction tuning dataset，仅覆盖 leaderboard 的 12 个 task 中的 4 个，但在这 4 个 task 上平均提升 4.2 分。
这不是懒惰或短视，而是理性选择：benchmark 结果决定 next quarter 预算，线上指标影响 next year KPI。当短期生存压力大于长期价值积累时，“刷分”就是最经济的资源分配方案。
2.3 第三层：评估失焦——指标与能力的结构性脱钩
所有 benchmark 都面临一个根本困境：如何用有限维度的数字，表征无限维度的智能？当前主流方案是“代理指标法”（proxy metric）：用 MMLU 分数代理通用知识能力，用 BLEU 分数代理翻译质量，用 FID 分数代理图像生成多样性。这种方法高效，但存在系统性偏移。
以 MMLU 为例，其 57 个学科中，有 23 个属于 STEM 领域（物理、化学、数学等），19 个属于 Humanities（历史、哲学、文学等），15 个属于 Social Sciences（心理学、经济学、法律等）。但模型训练数据中 STEM 相关文本占比通常超 40%，而 Humanities 不足 15%。这就导致：一个在 STEM 领域刷分能力强的模型，可能在 Humanities 上表现平平，但 MMLU 总分仍能冲高——因为 STEM 题目更结构化、更易通过 pattern matching 解决，而 Humanities 题目更依赖语境推理与价值判断。
更隐蔽的是评估粒度问题。MMLU 每题只判对错，不分析错误类型。我们曾对某模型在 MMLU 上的 200 个错误样本做归因：
- 42% 是因 prompt 格式不匹配导致解析失败（如模型输出“A.”而非“A”）；
- 31% 是因常识性事实错误（如混淆牛顿定律与爱因斯坦相对论）；
- 18% 是因跨文化语境误读（如将美国司法体系类比中国法律逻辑）；
- 9% 是因计算过程溢出（如大数除法精度丢失）。
但 benchmark 只记录“错”，不区分“错在哪”。于是团队优化方向自然聚焦于前两类——改 prompt 和加 fact-checking module，而非重构知识表示。这就是“指标失焦”：分数提升不等于能力提升，只是让错误更难被评测系统捕获。
2.4 第四层：正向反馈闭环——刷分成功催生更多刷分
一旦某团队通过系统性刷分获得显著优势，就会触发行业级模仿效应。这不是恶性竞争，而是理性学习。2023 年 Q3，某国产大模型在 CMMLU 上以 72.1 分登顶，其技术报告披露了三项关键操作：① 构建 CMMLU 风格的 synthetic data 用于 post-training；② 设计 multi-turn self-refine pipeline，强制模型对初答做二次校验；③ 对 test set 做 difficulty-aware sampling，优先保留 high-variance 题目。这三项全部开源，且效果可复现。
结果呢？接下来半年，CMMLU 提交中 68% 的 top-10 模型采用了至少其中两项。更关键的是，MLCommons 在 v3.2 中新增了“synthetic data usage”字段要求申报，Hugging Face 在 Leaderboard 页面增加了“refinement steps”标签，CMMLU 官方也在 2024 年 1 月发布了新版 test set，剔除了 15% 易受 synthetic data 影响的题目。刷分行为倒逼 benchmark 进化，而 benchmark 进化又催生新一代刷分技术——这是一个自我强化的正向循环。
这张图之所以需要“一张图”来呈现，正是因为这四层不是线性因果，而是网状耦合：商业属性驱动设计取舍，设计取舍加剧资源错配，资源错配放大评估失焦，评估失焦又为刷分提供空间，空间扩大反哺商业价值……它不是漏洞，而是整个 AI 评估生态的底层操作系统。
3. 刷分技术栈全景图：从数据层到部署层的七类实操手段
既然“刷分”是系统必然，那么作为从业者，与其批判，不如掌握其技术脉络。我按技术栈层级，梳理出当前主流的七类刷分手段，每类都附真实案例、原理说明、效果量级及风险提示。这不是教你怎么作弊，而是帮你建立“评测免疫力”——当你清楚所有可调变量，才能判断一个分数背后的真实含金量。
3.1 数据层：test set 的合法再加工
这是最基础也最易被忽视的一环。几乎所有 benchmark 的 test set 都允许用户做预处理，只要不修改 label。常见操作包括：
Subset selection：MMLU test set 包含 10,000+ 题目，但 leaderboard 只要求提交 1,000 题随机子集。有团队通过 offline analysis 发现，某 200 题 subset 在其模型上准确率稳定高于均值 3.2%，遂将其设为固定 submission set。效果：+1.8~2.4 分（取决于模型 baseline）。风险：若 benchmark 方更新 test set distribution，该 subset 可能失效。
Format normalization：GLUE 的 CoLA task 要求输出 “acceptable” or “unacceptable”，但原始 test file 中存在大小写混用（如 “Acceptable”）。某团队统一转为小写后再 feed 模型，避免 tokenizer 对大小写敏感导致的 misclassification。效果：+0.7 分。风险：极低，属数据清洗范畴。
Ambiguity filtering：CMMLU 中约 5% 题目存在多解或表述模糊。某团队雇佣 3 名母语审校员，对 test set 做 triple-check，剔除 47 题，剩余 953 题用于 submission。效果：+1.1 分（因剔除题目多为模型易错项）。风险：需声明 filtered count，否则违反 transparency rule。
注意：所有数据层操作必须在 submission README 中明确披露，否则构成学术不端。但披露本身不减分——benchmark 规则鼓励透明，而非禁止优化。
3.2 Prompt 层：指令工程的极限压榨
Prompt 不是“写得漂亮就行”，而是精确控制模型行为的编程接口。刷分级 prompt engineering 关注三个维度：token efficiency、format compliance、bias alignment。
Token efficiency optimization：LLaMA-2 在 MMLU 上，prompt 长度每增加 10 tokens，top-1 accuracy 下降约 0.3%（因 attention mask 截断）。某团队将原始 128-token prompt 压缩至 83-token，通过：① 替换长描述为符号（如 “The following is a multiple choice question about physics” → “MCQ: Physics”）；② 删除冗余空格与换行；③ 用缩写替代术语（如 “temperature” → “temp”）。效果：+0.9 分。风险：过度压缩可能导致语义歧义，需人工验证 100 题样本。
Format compliance enforcement：Hugging Face Leaderboard 要求输出严格为 “A”/“B”/“C”/“D”，但模型常输出 “Answer: A” 或 “(A)”。某团队在 prompt 末尾添加 system message：“Output ONLY the letter, no punctuation, no explanation.” 并在 post-processing 加正则校验
re.search(r'[ABCD]', output)。效果：+1.3 分（减少 format error）。风险：对低置信度输出可能误截断，需 fallback 机制。Bias alignment：MMLU 的 US History 子集存在明显文化偏向（如题目默认读者熟悉美国宪法第十四修正案）。某团队在 prompt 中插入 context：“You are an expert in American constitutional law. Focus on original intent and landmark cases.” 引导模型激活相关知识路径。效果：在 US History 子集上 +2.6 分，但 World History 子集 -0.4 分。风险：造成子集间 performance skew，需整体权衡。
3.3 模型层：post-training 的定向微调
这是效果最显著也最受争议的一层。核心逻辑是：不改变模型架构，只用 benchmark test set 的少量样本做 supervised fine-tuning（SFT）。技术上完全合规（test set 未用于 training），但伦理上存在 debate。
Zero-shot SFT：取 test set 中 100 题（不看 label），让模型生成答案，人工标注正确答案后，用这 100 题做 1 epoch SFT。某团队在 GSM8K 上用此法，将 baseline 78.2% → 81.5%。原理：模型 learn to better calibrate its own uncertainty。风险：过拟合 test set distribution，cross-validation 显示在 held-out test split 上仅 +0.3 分。
Self-generated SFT：用模型自身生成 synthetic answers，再用 rule-based verifier（如 symbolic executor for math）筛选高质量 pair，构建 500-sample SFT dataset。某团队在 HumanEval 上用此法，pass@1 从 42.1% → 46.8%。效果强，但 verifier 覆盖率决定上限。
Gradient-based adaptation：在 inference 时，对 test sample 做 3-step gradient update（using test loss），更新 layernorm weights。某团队在 CMMLU 上实现 +1.9 分，但显存开销增加 35%。风险：已接近“test-time training”灰色地带，部分 benchmark 明确禁止。
3.4 推理层：解码策略的精细化控制
Greedy decoding 是 baseline，但刷分场景下，每个 token 的选择都经过成本效益分析。
Temperature & Top-p tuning：在 MMLU 上，temperature=0.3 使输出更确定，但易陷入局部最优；temperature=0.8 增加多样性，但引入 noise。某团队用 grid search 找到各学科最优组合：STEM 学科用 temp=0.4，Humanities 用 temp=0.7，Social Sciences 用 temp=0.55。效果：+0.8 分。风险：需 per-subject calibration，增加运维复杂度。
Logit bias injection：对已知高频错误选项（如 MMLU 中 “None of the above” 在 12 个学科中出现率超 35%），在 logits 上加 -2.0 bias，抑制其被选中。效果：+0.6 分。风险：可能误伤正确答案，需基于 confusion matrix 动态调整。
Ensemble decoding：对同一 prompt，用 3 个不同 seed 生成 3 个答案，投票决定 final output。某团队在 TruthfulQA 上用此法，将 factual consistency 从 63.4% → 67.2%。效果稳定，但 latency ×3。
3.5 后处理层：规则引擎兜底
当模型输出不可靠时，用轻量级规则做 final correction。这层成本最低，见效最快。
Pattern-based correction：MMLU 输出常含多余字符（如 “A.”、“(A)”、“Answer: A”）。正则替换
r'[^A-D]'→''即可。效果：+0.5 分。几乎零风险。Knowledge-base lookup：对涉及明确事实的题目（如 “What is the capital of France?”），绕过模型，直接查内置 KB。某团队构建 5,000 条高频 fact mapping，覆盖 MMLU 18% 题目。效果：+1.2 分。风险：KB 覆盖率决定收益上限，且需维护 freshness。
Consistency checking：对 multi-step reasoning 题目，验证 intermediate steps 是否逻辑自洽。如 GSM8K 中 “If x=5, y=2x+1, what is y?”，先 check “y=2*5+1=11” 再输出。某团队用 symbolic executor 实现，pass@1 +0.9 分。风险：executor 覆盖范围有限，对开放域题目无效。
3.6 硬件层：算子级性能挖掘
MLPerf 类 benchmark 的核心是 latency/throughput，这层优化与模型能力无关，纯属工程功底。
Kernel fusion：将 linear + gelu + add 三 op fuse 为 single kernel，减少 memory traffic。在 A100 上，ResNet-50 推理 latency 降低 11%。效果直接体现在 throughput 分数上。
Precision tuning：对 weight 做 INT8 quantization，activation 保持 FP16，用 per-channel scale。某团队在 BERT-base 上实现 latency -18%，accuracy drop <0.2%。关键在 calibration dataset 选择——用 100 个 MMLU sample 比用 WikiText 效果好 2.3%。
Memory layout optimization：将 tensor storage 从 NCHW 改为 NHWC，适配 GPU memory bandwidth。在 CNN 模型上，A100 吞吐提升 7.4%。需 recompile framework，但收益稳定。
3.7 系统层：评测环境的极致定制
最后一层，也是最容易被忽略的一层：benchmark 不是在真空中运行的，它跑在具体的 OS + driver + library stack 上。
CUDA version pinning：PyTorch 2.1 + CUDA 12.1 在某些 kernel 上比 12.2 快 5%，因 12.2 新增 safety check。某团队固定 CUDA 12.1，avoid upgrade。效果：latency -3.2%。风险：安全更新滞后。
CPU governor tuning：Linux CPU governor 设为
performance而非powersave，使 clock speed 锁定最高频。在 CPU-bound task（如 tokenization）上，latency -8.7%。需 root 权限，但 benchmark server 通常允许。NUMA binding：在多 socket 服务器上，用
numactl --cpunodebind=0 --membind=0绑定进程到单 NUMA node，避免跨 node memory access。在 large-batch inference 上，throughput +12.3%。配置复杂，但效果显著。
这七层不是孤立的，而是协同作用。一个典型 high-score submission 往往组合 3~5 层：数据层 subset selection + prompt 层 format compliance + 推理层 temperature tuning + 硬件层 kernel fusion + 系统层 NUMA binding。每层贡献 0.5~2.0 分，叠加后 total gain 4~7 分——这正是“内卷”的技术实质：不是单点突破，而是全链路精益优化。
4. 如何阅读一张刷分图：识别分数背后的五维信息密度
既然“一张图”是核心载体，那么如何真正读懂它？我总结出五维信息密度分析法，教你一眼看穿分数背后的技术含量、资源投入与可信度。这不是玄学，而是基于我审核过 200+ benchmark submission 的经验提炼。
4.1 维度一：baseline 对齐度——他比谁快？
所有 benchmark 都有官方 baseline，但“官方”不等于“公认”。必须确认三点：
Baseline source：是 paper reported？open-source repo reproduced？还是 vendor-provided binary？Paper 值常含 magic number（如特殊 seed），repo reproduced 才具可比性。某次 MLPerf 提交中，A 团队用 paper baseline（78.2%），B 团队用 huggingface transformers repo reproduced（76.5%），表面 A 领先 1.7 分，实则 A 的 baseline 高估 1.2 分。
Environment parity：GPU model、driver version、CUDA toolkit、PyTorch version 是否完全一致？差一个 patch version（如 12.1.1 vs 12.1.0），kernel performance 可差 3%。我见过最离谱的：某 submission 声称比 baseline 快 22%，后发现其 baseline 运行在 Tesla V100，submission 运行在 A100，硬件代差贡献了 18%。
Metric granularity：是 report single metric（如 MMLU overall）还是 full breakdown（per-subject）？full breakdown 才能暴露刷分痕迹。例如，某模型 overall +3.1 分，但 57 个学科中 42 个 sub-score ≤ baseline，仅 15 个显著提升——说明其优化高度定向。
提示：真正的技术领先，应体现为 broad improvement across related tasks，而非 single-point spike。就像一个运动员，如果百米成绩突飞猛进但跳远退步，大概率是专项训练而非体能全面提升。
4.2 维度二：技术披露深度——他做了什么？
Disclosure 是刷分图的灵魂。优质 disclosure 应包含：
Layer coverage：明确说明在七层技术栈中，哪几层做了优化。例如：“Data: used official test subset; Prompt: added format constraint; Inference: tuned temperature per subject; Hardware: fused kernels”。缺失任一层，都意味着信息黑洞。
Parameter specificity：不是“optimized hyperparameters”，而是“temperature=0.45 for Physics, 0.62 for History, selected via grid search on 200 dev samples”。数字越具体，可信度越高。
Resource cost：注明额外开销。如 “SFT added 2h training time”, “ensemble decoding increased latency by 2.3x”。没有成本标注的优化，往往隐藏着不可持续性。
我审核过一份 disclosure，声称“achieved +4.2 on MMLU”，但全文只有一句“applied advanced prompt engineering”。这种 disclosure 等同于没说——它拒绝让你判断这 4.2 分是来自 genuine capability lift，还是来自 test set leakage。
4.3 维度三：cross-benchmark consistency——他在别处也行吗？
单一 benchmark 的高分，可能是 overfitting；多个 benchmark 的稳定领先，才是 real capability。重点看三组 cross-check：
Same-domain benchmarks：MMLU 高分，是否在 CMMLU、AGIEval 上也高？若 MMLU +5.0 但 CMMLU +0.2，则 likely overfit to English-centric evaluation。
Different-paradigm benchmarks：MMLU 是 multiple-choice，GSM8K 是 generation。若 MMLU +4.0 但 GSM8K -1.5，则说明优化集中在 classification head，而非 reasoning core。
Real-world proxy benchmarks：如 MT-Bench（human preference）、AlpacaEval（instruction following）。某模型在 MMLU 上 75.3 分，但在 AlpacaEval 上仅 52.1%，说明其 benchmark performance 与 human perception 存在巨大 gap。
注意：cross-benchmark consistency 不是要求所有分数同步提升，而是看提升 pattern 是否符合能力迁移规律。例如，一个在 reasoning task 上提升的模型，应在 GSM8K、HumanEval、MATH 上均有正向收益，而非只在 MMLU 上爆发。
4.4 维度四：ablation study 透明度——去掉它还剩多少？
这是检验刷分含金量的黄金标准。一份严谨的 ablation 应展示：
逐层剥离效果：如 “Full system: +4.2; -Hardware opt: +2.8; -Prompt opt: +1.9; -Data opt: +0.7”。显示各层贡献度，避免 credit attribution 混淆。
control variable isolation：测试某项优化时，固定其他所有变量。例如测 temperature effect，必须用 same prompt, same data subset, same hardware config。
statistical significance：给出 standard deviation。若 “+1.2 ± 0.8”，则提升不显著；若 “+2.5 ± 0.1”，则 robust。
我见过最扎实的 ablation：某团队在 MLPerf 提交中，对 kernel fusion 做了 10 次重复测试，report mean±std，同时 show profiling trace 证明 latency reduction 确实来自 target kernel。这种 transparency，才是技术自信的体现。
4.5 维度五：community adoption rate——别人敢不敢抄？
技术价值最终由市场检验。观察三个信号：
Open-source adoption：其 optimization technique 是否被至少 3 个独立团队 fork 并集成到自己的 pipeline？GitHub star 数、PR 数、issue 讨论热度是硬指标。
Benchmark rule evolution：其 technique 是否推动 benchmark 规则更新？如前述 synthetic data usage 字段新增，就是 adoption 的最高形式——它改变了游戏规则。
Vendor integration：是否被 NVIDIA、Intel 等芯片厂商写入 optimization guide？被 Hugging Face、vLLM 等 infra 项目 merge 进主线？这代表 industry consensus。
一个技术若只在 single submission 中昙花一现，大概率是 over-engineered hack；若引发 cascade effect，则说明它触及了真实瓶颈。
这五维不是 checklist，而是思维框架。当你看到一张刷分图，不要先看柱子高低，而是问：baseline 对齐了吗？技术披露够细吗？cross-benchmark 一致吗？ablation 清晰吗？community 认可吗？五个问题答完，图的价值就自然浮现。
5. 从对抗到共生：构建可持续的 benchmark 生态的三条实践路径
“内卷”听起来消极，但换个视角，它是系统活力的体现。过去十年，benchmark 刷分史，本质上是一部 AI 工程进化史：从早期粗放调参，到如今全栈优化；从单点突破，到系统协同。问题不在于刷分是否存在，而在于如何让刷分行为导向真实能力进步。基于一线实践，我提出三条可落地的路径。
5.1 路径一：动态 benchmark——让刷分成本随时间指数上升
静态 test set 是刷分温床。解决方案是引入“动态衰减机制”：test set 每季度更新 15% 题目，且新题优先来自 real-world user queries（如 Stack Overflow 最热问题、Hugging Face forum 高赞 issue）。某团队在 internal benchmark 中试行此法：第一季刷分收益 +3.2 分，第二季降至 +1.8 分，第三季仅 +0.7 分，因模型需持续适应新分布。关键不是完全阻止刷分，而是让“一次性优化”失效，迫使团队 invest in generalization。
配套机制：设立 “freshness bonus”，对使用最新 test set 的 submission 加权 1.1×。这 incentivize teams to engage with dynamic update, not avoid it.
5.2 路径二：能力图谱 benchmark——用多维坐标取代单点分数
MMLU overall score 是一维标量，掩盖了能力结构。应构建能力图谱：横轴为 knowledge domains（Physics, Law, Medicine…），纵轴为 reasoning types（deductive, abductive, analogical…），每个点代表该能力维度上的 performance。某教育科技公司已上线此类 benchmark，教师可查看学生在 “Medical diagnosis + abductive reasoning” 维度得分 82%，但在 “Legal precedent + deductive reasoning” 仅 54%，从而精准定位教学缺口。
对模型 benchmark，这意味着：不再 report single number，而是 publish interactive radar chart。刷分者仍可优化单点，但无法掩盖整体能力短板——因为图谱可视化会暴露 imbalance。
5.3 路径三：open-loop validation——把评测权交给真实用户
benchmark 的终极 validator 不是 committee，而是 end-user。Hugging Face 正在试点 “user-voted leaderboards”：每个 model 的 card 下，有 “Try this model” button，用户提交 prompt 后，系统返回 3 个 model 的 response，用户 blind-rate them 1~5 分。累计 10,000+ votes 后，生成 community preference score。
这招的妙处在于：它无法被刷分。因为你无法预测千万用户会提什么 prompt，也无法控制他们的 rating criteria。某模型在 MMLU 上 76.5 分，但在 user-voted 上仅 3.2/5.0，因其 responses overly verbose —— benchmark 不 penalize verbosity, users do.
我在实际使用中发现，最有效的 benchmark design，不是追求“绝对公平”，而是追求“不可预测性”。当优化方向从 “how to beat the test” 转向 “how to delight the user”，刷分就自然消解于价值创造之中。
这三条路径，没有一条要求消灭刷分，而是重构激励结构：让刷分的成本越来越高，让刷分的收益越来越窄，让刷分的终点越来越靠近真实世界。这才是“一张图”该承载的终极信息——它不只是展示现状，更是指向演化的路标。
