Intern-Decision-2B 基准测试深度解析：Brier 分数、ECE 与 Jevbench 榜单数据全解读

Intern-Decision-2B 是一款基于 Qwen3.5-2B 微调的多模态结构化决策模型：它接收共享状态、问题清单与可选图片，在一次前向推理中为所有问题输出一整套答案概率分布。本文以官方 README.md 中的基准测试榜单为底，带你逐项看懂 Jevbench 各分数、Brier 分数与 ECE 到底是什么、该怎么比。

30 秒速览：Intern-Decision-2B 平均准确率84.68，Brier0.437，ECE0.100，单卡 RTX 4090 端到端延迟低至33.28 ms——准确、快，而且"知道自己几斤几两"。下面展开细讲。

1. 先认识主角：它和普通大模型有何不同？

读榜单前，先理解这个模型独特的评测姿势：

• 不生成文本，只输出概率：它不调用generate()逐字生成，而是对每个问题的候选选项做一次性 softmax 打分（实现见 inference.py 文件开头注释）。
• 一次问多个问题：单请求支持 1–16 个问题、每题最多 62 个选项，一次前向全部出结果。
• 三种题型：

每条回答不仅返回最终选择，还给完整probabilities分布与confidence置信度——这正是后文 Brier 分数和 ECE 两项指标考核的对象。模型权重分为语言、视觉编码器、投影器三部分，映射关系见 model.safetensors.index.json，架构定义在 config.json。

2. 看懂 Jevbench 榜单：7 个分数维度速查

先看完整数据（引自 README.md 的 "Benchmark results" 表格）：

每个维度考什么？

• Jevbench-Easy / Original / Hard：Jevbench 基准的易、标准、难三档难度。Easy 列几乎全线满分（100.00），区分度低；Original 与 Hard 两列更能看出真实差距。
• Typed Decision：结构化"带类型决策"能力——是否严格按 schema 定义的格式给出决策。2B 的 79.35 仅次于自家 4B（80.55），并领先 Jev（73.35）。
• ToolACE：工具调用场景。2B 拿到96.45，与 4B 并列全场最高。
• AG News：AG News 新闻数据集上的经典文本分类，考察通用判别力。
• WildJailBreak：真实越狱（jailbreak）样本，考察安全鲁棒性。
• Average：各准确率维度均值，代表"答对率"。
• Brier ↓ / ECE ↓：两个"可信度"指标，↓ 表示越低越好，是本文重点，下两节细讲。

3. Brier 分数是什么：衡量预测质量的"温度计"

Brier 分数源自气象预报领域，衡量预测概率与真实结果有多接近。打个比方：

某场比赛模型预测"A 队 80% 概率赢"，结果 A 队真的赢了，预测很准；若它预测"20% 概率赢"A 队却赢了，说明模型严重失准。Brier 分数就是把所有样本上"预测概率与实际结果的偏差"平方后求平均。

• 取值 0~1，越低越好：0 表示概率预测完全正确；数值越高，说明模型要么"蒙"，要么概率明显失准。
• 对决策类模型格外有意义：它输出的不是孤立的选项，而是完整概率分布，Brier 分数恰好度量这个分布的质量。

榜单读数：

Intern-Decision-2B 的0.437明显优于自家 0.8B（0.530），也优于 SemIf（0.498）、Kev（0.738）与 Laya（0.804）；与 4B（0.347）尚有差距但幅度有限。换句话说：2B 输出的概率是"可信的分布"，而不是掷硬币式的猜测。

4. ECE 校准误差是什么：模型说的置信度可信吗？

如果说 Brier 分数回答"概率准不准"，ECE（Expected Calibration Error，期望校准误差）回答的是另一个问题：模型自称的置信度，和实际命中率对得上吗？

直观例子：

模型有 100 次回答标注"置信度 80%"，若这 100 次实际答对了约 80%，说明它校准良好；若实际只对了 60%，说明它"过度自信"。ECE 衡量的就是所有"置信度分组"上这种口径差，越小越诚实。

• 意义：ECE 足够小时，响应里的confidence字段可以直接驱动下游逻辑，例如"置信度 > 0.9 自动执行，否则转人工"。
• 榜单读数：2B 的0.100与 Jev（0.095）处于同一水平，优于 SemIf（0.112）、Kev（0.262）、Laya（0.246）；全场最佳是 JevK5 的 0.047。

Brier + ECE 组合看：两者都低 → 模型不仅答得多对，而且"知道自己几成把握"。Intern-Decision-2B 属于双指标均处的"稳健区"，官方默认的概率校准起了直接作用（下一节讲）。

5. 整体解读：2B 的成绩单强在哪、弱在哪？

综合榜单，可以把 2B 的特点归纳为三点：

1. 准确率居"第二梯队头部"：Average 84.68，低于 4B（90.02）与 Jev（88.74），但高于 JevK5（85.16）和 SemIf（84.23）。
2. 工具与结构化场景是长板：ToolACE 96.45 并列全场最高；Jevbench-Easy 满分 100；Typed Decision 79.35 在非 4B 模型中领先。
3. 安全鲁棒性是短板：WildJailBreak 78.33，明显低于 Jev（96.29）与 SemIf（92.53）。若业务强依赖越狱防护，需要额外评估。

同家族横向对比：0.8B → 2B → 4B，Brier 逐档下降（0.530 → 0.437 → 0.347），概率质量随规模稳步提升。2B 可以理解为"接近 4B 能力、成本显著更低"的均衡之选。

6. 推理延迟：33 ms 有多快？

官方给出单卡 RTX 4090 的实测端到端延迟（每查询，见 README.md "Inference latency" 小节）：

两点信息量：

• 2B 是三个 Intern 模型里最快的（均值 33.28 ms），且 P95（33.55 ms）与均值几乎一致，尾部延迟非常稳定；
• 延迟约为 Jev（109.70 ms）的1/3。"单次前向 + 不做文本生成"的路线，天然适合客服分流、内容审核初筛这类高并发低延迟的决策场景。

7. 校准背后：温度参数是怎么定出来的？

2B 在 Brier / ECE 上"有底气"，来自官方对概率的系统校准：

• 默认温度2.100509348278，由 1,728 个指定校准样本上的 NLL 最优化单独拟合，并用独立的 1,693 个验证样本检验，测试集标签未参与选择（定义见 inference.py）；
• 它是候选概率校准，不是生成式"采样温度"：会更新confidence、noul概率与期望score，但不改变最终 argmax 选择（缩放实现见 inference.py）；
• 若希望拿到未校准的原始概率，初始化DecisionEngine时传temperature=1即可。

这也解释了为何它的 Brier 与 ECE 可以和榜单上其他模型放在同一口径下比较。

8. 仓库核心文件速查

一句话总结：Intern-Decision-2B 是一份"跑得快（33 ms）、判得稳（Average 84.68）、概率可信（Brier 0.437 / ECE 0.100）"的均衡型结构化决策模型，适合需要高并发、低延迟、且想用置信度驱动下游自动化的场景。