泼盆冷水：90.12%的“裸精度”不算数，决策模型真正的天花板是“选项一多就崩”

泼盆冷水：90.12%的“裸精度”不算数，决策模型真正的天花板是“选项一多就崩”

【免费下载链接】Bespoke-Nimble-9B项目地址: https://ai.gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9B

这两天，科技圈又被一个数字刷屏了：90.12%。

一个只有9B参数的开源小模型，在一项评测里追到了商业闭源模型 Jev 的九成水平，还把自家没微调过的27B大模型按在地上摩擦。消息一出，“小模型吊打大模型”“本地部署平替GPT”的说法立刻满天飞。

但先别急着下单，也别急着把公司客服系统推倒重来。

这个90.12%是真的，只是它背后藏着一张只有324道题、只来自6个来源、答案还是AI自己检查的“小抄考卷”。换到真人标注的3880道题上，它的成绩会老老实实回落到75%左右。

更关键的是，这类“决策模型”有一个绕不过去的物理天花板：选项一多，它就崩。

一、先说人话：这玩意儿到底是干嘛的？

把它想成一个只填答题卡的AI，不是坐在你对面陪你聊天的助手。

你给它两样东西：一段材料，一张“问题清单”。清单上的问题只有三种：

• 从你给的几个选项里选一个；
• 回答是或否；
• 按你定的标准打一个等级分。

它不写作文、不解释理由、不跟你客套，直接交答案，还顺手告诉你“每个选项我各有多少把握”。

这就像考试：聊天大模型是那种边做题边写解题过程的学霸，写得越详细越慢；而它是只涂答题卡的考生，看到题、涂卡、交卷，全程不废话。

所以它快得有点吓人：在H100显卡上，一次判断的中位数是106毫秒；在MacBook M5 Pro上大概444毫秒；而走API的商业同类Jev约247毫秒。作为对比，让一个通用大模型“想一想再回答”，动辄两三秒起步。

快，就是它存在的全部理由。

二、90.12%是怎么来的？一张很窄的考卷

官方公布的测试集是324道题，模型答对292道，算出来90.12%。

同期选手的成绩是这样的：

• 没微调的同门师弟 Qwen3.5-9B：66.36%
• 更大一号的 Qwen3.8-27B：84.88%
• 商业闭源标杆 Jev 1.13：93.21%

看上去很美，但魔鬼在细节里。

这324道题，其实是162对“双胞胎题”。每对题只改一个关键事实，答案就跟着翻转。比如规则是“只有Mira能批这笔退款”，材料里签字人写Mira，答案是真；把签字人换成Noah，答案立刻变假。其余文字一字不动。

这种出题法很聪明，专门逼模型学会“到底哪个细节决定结论”。但它也带来两个问题：

第一，题目高度同源。324道题只来自6个“题目家族”，训练时覆盖的10个领域，测试只考了其中6个。这更像“同一本练习册的模拟卷”，而不是“全国统考”。

第二，答案是AI自己判的。官方写得很直白：所有标签都是合成数据，由模型检查，没有任何人工复核。检查的模型和被检查的模型可能犯同一种错，于是错误就被漏过去了。

所以，90.12%的正确读法是：在同一张窄考卷上，它和商业标杆的差距只有3个百分点。而不是“随便扔给它什么任务，它都能对九成”。

这两个意思，差了十万八千里。

三、换成真人出的卷子，成绩立刻“现原形”

真正有意思的，是官方自己后来补做的“外部考试”。

他们拉了13个公开数据集，全部是真人标注的答案，一共3880条记录，涵盖意图分流、是非判断、毒性识别、摘要打分、医学问答等场景。结果：

• 这个9B模型：平均74.8%（按数据集平均）、75.9%（按总题数合并）
• 商业Jev：76.0%、77.3%

差距不大，只有1个多百分点，说明它确实有两把刷子。但“90分学霸”的光环，瞬间变成了“75分中等偏上”。

而且偏科很明显：

• 识别网络评论是否有毒：70.3%，对手81.0%；
• 判断两句话是不是一个意思：82.8%，对手89.2%；
• 同一批350句英文指令换成德语：准确率掉3.5个百分点，对手只掉0.5个。

它也有赢的地方，比如给摘要的“相关性”打分，它49.2%，对手35.0%——不过两个都没及格，属于“矮子里拔将军”。

还有一个特别容易被忽略的坑：它给的“把握”不等于“正确率”。

你看到它说“85%确定”，别真以为这类题它对了85%。在公开测试里，它的“把握”和实际正确率的平均偏差在0.06到0.17之间。官方文档甚至直接提醒：概率0.9，不代表你的数据上它就对九成。如果你要卡一个阈值做自动放行，必须拿自己的数据重新试。

四、真正的天花板：选项一多，它就崩

这才是今天最该泼的那盆冷水。

这类模型的工作方式，说穿了很朴素：它给每个候选选项编一个单字代号——A、B、C……Z，超过26个就用AA、AB、AC续上，最多支持到255个。然后模型只做一件事：给这些代号打分，再换算成百分比。

打个比方：这就像让你闭着眼睛从一排抽屉里摸东西。

只有三五个抽屉，你摸得又快又准；二十几个抽屉，还能靠手感；等到两百多个抽屉，每个抽屉里装的东西长得几乎一样，你还能摸对吗？

选项一多，麻烦有三层：

第一层，代号本身变得难认。单字母A到Z是模型最熟悉的“答题卡符号”，但AA、AB、AC这种双字母组合，在真实文本里出现得少，模型对它们的“语感”天然更弱。

第二层，分数挤在一起。77个选项，正确答案可能只比第二名高一点点。这点微小差距经过归一化之后，会被放大成一个看起来很自信的百分比，实际上底子很虚。

第三层，顺序会带偏答案。选项排在前面的，天然更容易被选中。官方在评测工具里留了“打乱选项顺序”的开关，但截至目前，这个测试还没跑过，也就是说“位置偏见有多大”，官方自己也没有数据。商业对手Jev的官方文档倒是很坦诚：确实观察到会偏向第一个选项，建议你换顺序再问一遍。

最能说明问题的，是两组被公开评测直接拒之门外的数据：

• 银行客服意图识别 BANKING77：77个类别；
• 通用助手意图识别 CLINC150：150个类别。

不是不想测，是评测流程所用的代号体系只认26个单字母。也就是说，在“77种业务意图怎么分流”这种最真实的客服场景里，公开榜单上根本没有它的成绩。

当然，9月24日的新版本已经把单字段上限从26个提到了255个，这是实打实的进步。但“能填255个选项”和“255个选项都填得准”，是两码事。至少目前，公开的人类标注评测里还没有这类高基数任务的成绩单。

业内另一个开源同类项目在讨论里也给出了相似的经验判断：25类以内很香，77类这种细粒度分类就开始吃力。

这就是标题里说的天花板：不是模型不够大，是“一次从一堆长得像的选项里挑一个”这件事，本身就随选项数量急剧变难。

五、那它到底适合谁？门槛高不高？

先把边界画清楚，比吹参数有用得多。

它很香的场景：

• 客服工单分给哪个部门（十几个队列，不是几百个）；
• 内容过不过审、要不要人工复核；
• 给RAG检索到的资料判断“这段能不能支撑答案”；
• 按公司规章判断“这单能不能退”；
• 给模型回答按1到5分打分。

共同点是：选项有限、规则能写清、不需要计算、不需要多层推理。

它搞不定的场景：

• 开放式问答、写文案、写总结；
• 看图片、看表格、看视频；
• 算数、比日期、数个数——官方自己都劝你“这种活交给代码”；
• 几百个细分类别的精准分流；
• 一次问好几个互相牵扯的问题（它每个字段独立判断，不会自己对齐逻辑）。

硬件门槛：

模型底座约18GB，加上适配器一共二十来GB。苹果M系列芯片的Mac能跑，64GB内存比较舒服；N卡也行，16GB显存的消费级显卡靠“部分层放内存”也能勉强跑起来，但会慢不少。另外还有一条命令就能拉下来的本地版本和官方在线接口，不想折腾环境的人也能试。

使用限制：

单次输入上限8192个token，超了直接拒绝，不会偷偷截断——这点倒是很老实。字段之间不能嵌套，也不能互相引用。

六、写在最后

我并不觉得90.12%是假的，它是一份很扎实的工程成绩：用一个9B小模型，把“判断”这件小事做到了接近商业标杆的水平，还快得离谱、便宜得离谱。

但“裸精度”这三个字，最容易被误读。

它测的是一张324道题、6个来源、AI自检答案的窄卷子；它没测的是77类、150类的真实业务分流，没测选项顺序被颠倒后的稳定性，也没测你的行业黑话和内部规则。

所以真正该记住的不是90.12%，而是这套思路本身：把模糊的判断，拆成一张清清楚楚的选择题。拆得好，小模型就能干大模型的活；拆不好，你就会发现自己在用一个“选项一多就犯迷糊”的判卷老师，去管一整个客服中心。

最后留个问题给你：你工作里最想交给AI的那道“选择题”，究竟有几个选项？是三个，还是七十七个？这个数字，可能直接决定了它到底能不能帮上你。

评论区聊聊，你身边的“选择题”长什么样。

【免费下载链接】Bespoke-Nimble-9B项目地址: https://ai.gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9B