A类顶会（就是大家常说的NIPS那种档位的会议）2025年收录了一项特别有意思的研究，论文题目直译过来是“科学家的第一场考试：通过感知与理解来探测多模态大模型的认知能力”。我第一眼看到这个设定就觉得，这比刷榜的数据集有嚼劲多了——它不是在问“图里有没有自行车”，而是把模型当考生，用专业科学图像当试卷，从感知、理解一路考到推理。这篇文章我想从评测设计者的视角好好拆一拆：为什么要做这么一场“科学家首考”，三个考查维度是怎么递进的，数据怎么出、分数怎么打，以及实测下来模型们在哪些环节最容易翻车。无论是做多模态大模型的研究人员、搞评测工程的，还是想把科学图表自动化分析的开发者，这篇都值得花几分钟看完。
1. 为什么需要一场“科学家首考”：现有榜单已经喂不出认知能力了
1.1 传统多模态问答评测的失灵现场
先聊一个几乎所有做评测的人都会遇到的尴尬：公开榜单的分数年年涨，但模型的实际表现并没有让人觉得它变聪明了多少。原因有二。
第一，很多传统问答基准里的图太“日常”了。问的是颜色、数量、物件位置这类低层次信息，模型只要把视觉编码器里的特征抽取做得够好，再配上大语言模型的先验知识，很容易拿到高分。换句话说，这些题目考的其实是“看没看清”，还没到“想没想明白”的层次。
第二，选择题占比过高催生了刷榜策略。只要答案是有限选项，模型完全可以通过训练阶段见过的风格模式、选项文本分布来“蒙对”。更致命的是，不少图文的答案在公开语料里已经存在，模型与其说在推理，不如说在检索。我和不少同行私下聊过，大家都觉得需要一个“能力天花板”更高的评测，去逼模型走完整的视觉—语义—推理链路，而不是停在模式匹配。
1.2 “科学家首考”的定位与核心设定
这篇论文的聪明之处，是把考试场景迁移到了“科学家入门资格考试”。试卷里全是专业学术图像——电路图、细胞显微图、地质剖面、天文光谱、统计图表，每一种都要求看图的人理解领域符号系统，而不是光靠常识就能答。这带来的直接好处是：题目对没有受过训练的普通人很难，对只会背题库的模型更难。
但我觉得最有价值的设计是它的能力分层思路。论文没有把评测做成一个大杂烩分数，而是把问题拆成三个层级：
- 感知层：模型能否从图像中提取准确的事实信息，例如“图中有几个细胞”、“曲线在哪个位置出现峰值”。
- 理解层：模型能否把图像符号翻译成语义概念，例如“这个转折点意味着反应速率发生了变化”、“这部分结构对应细胞膜”。
- 推理层：模型能否基于前两层得到的信息，在约束条件下形成结论，例如“如果继续反应，PH值会如何变化”、“哪个对照组排除了变量X的干扰”。
这一下就把评测从“对答案”提升到了“拆认知链条”。具体到评价一个模型，它不再是简单地拿一个总分，而是看它卡在哪一层、为什么卡住、能不能通过追加提示把缺口补上。这个视角对模型研究者和评测工程师都非常有价值：你一眼就能看出模型的短板是视觉编码、跨模态对齐还是逻辑推理，然后有针对性地去优化，而不是盲目堆数据。
2. 三道坎怎么设：从“看到”到“看懂”再到“想通”
2.1 感知层：回答“看到了什么”，考的是从像素到符号的第一跳
感知层是最基础但也最容易出意外的一层。它不考概念，不考关系，只考一个能力：把图像中的原始视觉信息稳定、准确地提取出来。具体到题目设计上，大致有这几类。
一类是目标计数与定位。比如在一张细胞显微图中统计处于特定分裂期的细胞数量，或者在气象云图中标出台风眼的位置。另一类是元素抽取，比如从电路图中读出电阻、电容的个数，从光谱图中记下吸收峰的波长位置。还有一类是基本的属性判断，比如判断地质剖面图中岩层的新老关系，或者从多组箱线图中辨认中位数最高的那一组。
听起来简单，但对多模态大模型来说，这里面藏着不少坑。我实测过类似任务，模型在以下场景经常失手：小目标漏检——一张图上堆了几十个细胞，个别目标只有几个像素大小，被分割成patches之后信息损耗严重；重叠目标——透明或者半透明的物体叠在一起，模型的bounding box概念是有的，但数量统计还是容易错；图形边界不清——“稀疏染色”这类专业图像中，目标和背景的对比度很低，模型很容易把噪声当成目标。
在论文的评测设计里，感知层的得分是后续理解层和推理层的基础。如果感知层就错了，后面两层哪怕模型语言能力再强，也是空中楼阁。所以最终评分机制单独给感知层算了一个子分数，而不是混在总分里，这点非常值得借鉴。
2.2 理解层：回答“关系是什么”，考的是跨符号翻译能力
到了理解层，模型就不能只当“人肉OCR”了。它必须把图像里的符号、曲线、结构翻译成领域内的语义概念。我举一个典型理解层题目：给一张化学反应的能量变化图，横轴是反应进程，纵轴是能量，图上标了两个峰和一个稳定平台。问题不再是“峰值出现在哪个位置”，而是“这个平台区是否对应中间体的稳定存在”。
这道题要答对，模型必须做三件事：读出横纵轴物理量、看懂曲线的形状变化、把“能量平台”这一视觉特征映射到“反应中间体稳定”这一化学概念。这里面任何一环断了，都会导致整体错误。再举一个例子：一个城镇规划图，图上有不同颜色的土地利用分区，理解层的问题可以是“哪种色块对应商业区，依据是什么”，这要求模型把图例、颜色编码和空间布局联系起来。
说实话，理解层的题目最能反映一个模型“跨模态对齐”的真实水平。现在不少模型的视觉编码器和大语言模型之间通过投影层简单对齐，能把物体名称说出来，但一旦涉及多重映射——比如“纵轴是压力、横轴是体积、曲线上某段斜率变平说明气体被压缩”这种——模型就经常露馅。它可能描述了曲线的形状，但完全没有提到“压缩”“压力”这些背后的物理意义，说明知识并没有真正接入视觉特征。
论文在理解层的评分标准里特别强调了“对符号体系的解释是否准确”，而不只是看最终结论。这提醒我们，如果只看答案对错，会漏掉很多中间层能力差异。一个模型可能在错误答案里已经包含正确的部分解释，另一个模型可能碰巧答对但解释完全离谱，这两者的认知成熟度是完全不同的。
2.3 推理层：回答“结论意味着什么”，考的是多约束综合
推理层是整个评测最难的部分，也是“认知能力”这个词的分量所在。这一层的题目不会再问你图中有什么、图表示什么，而是要求你在给定视觉信息和领域知识的情况下，综合多方约束，推导出新的结论。听起来有点绕，我举两个例子大家就明白了。
比如给一张两组的温控实验曲线：实验组加了催化剂A，对照组没加，横轴是时间，纵轴是产物浓度。推理层的问题不是“两组的趋势分别是什么”，而是“从两条曲线的动力学差异，能否判断催化剂A降低了反应活化能”。这道题要求模型同时处理：图像曲线形态、催化剂作用原理、反应动力学模型，还得在“相关”和“因果”之间做严格区分。另有一类是反事实推导：给一张基因敲除后的表型观察图，问“如果该基因没有敲除，预期的表型最可能是哪一项”。
推理层的失败模式特别有代表性。我在实验记录里看到不少这样的回答：模型直接给出一个看似合理的倾向性结论，但是前两层的证据根本支撑不了这个结论。比如感知层明明只数出了三个阳性信号，推理层却自信地说“六个阳性信号说明表达显著增强”。这就是典型的“跳步”——语言模型用先验知识脑补出答案，完全无视前面已经提取的视觉事实。论文里把这类现象总结为“答案与证据脱节”，我认为这是当前多模态大模型最核心的通病：模型会说漂亮话，但不是每个漂亮话都有图片做支撑。
3. 出题工程：数据构建、评分协议与防泄漏策略
3.1 题库来源与学科分布：试卷覆盖面决定结论可信度
聊完了考查维度，再来说说出题过程。这个环节往往被低估，其实它直接决定了评测结论能不能站得住脚。一份学科覆盖太窄的卷子，考出来的结果只能代表模型在某一个领域的表现，无法推广到“科学认知能力”这个宽泛概念。
论文在出题时应该覆盖了多个自然科学学科——从物理电路分析、化学结构式理解、生物细胞观察，到地质图件判读、天文光谱识别等等。这种学科覆盖的价值在于，每一个学科都携带不同的视觉语言系统：电路图用线条和元件符号表意，光谱图用峰值位置和强度表意，细胞图用形态和染色模式表意。如果模型在多个学科上都能稳定发挥，那才能说它具备了一定程度的通用科学图表理解能力。
此外，还有一个很容易被忽略的细节：同一个视觉素材可以衍生出不同层级的问题。也就是说，针对一张图，同时设计了感知层、理解层、推理层的问题。这样做的好处非常明显——它可以做层级间的一致性分析。一个模型如果在同一张图的感知题上得分高，但在理解题上一塌糊涂，说明它的视觉编码本身没问题，问题出在跨模态语义对齐上。这种“同源题目”设计让我特别欣赏，因为它把变量控制得很好，你不会把“图片难度不同”误判成“模型层级能力不同”。
3.2 标注流程与评分协议：用教研组级别的严谨来给AI打分
我根据自己做评测工程的经验推测，这套数据集的标注流程不是普通众包能做到的。要出科学题，标注员必须有相关专业背景。合理的做法应该是：先让学科背景的标注员设计题目和参考答案，再由另一位学科专家审核，剔除有歧义、超纲或图文不匹配的题目。这一轮筛选非常关键——科学图表类题目天生容易出偏差，比如某个符号在不同学科里含义不同，某条曲线在不给出置信区间时没法严格下结论。如果这些题目混进去了，模型的错误很可能不是因为它笨，而是因为题目本身有问题。
评分协议方面，论文的思路也值得细讲。模型在回答时通常会输出一大段自由文本的推理过程，直接判断“对错”会丢失大量信息。采用分维度rubric打分是更合理的做法：感知题看提取的视觉事实是否准确；理解题看概念映射是否到位；推理题则要看结论是否由前两层证据支持、有没有引入合理假设、逻辑链是否完整。每个维度拆开打分，最后再汇总成总分。这样做不仅更公平，还能输出一个“能力剖面图”，一眼看出模型在哪个认知环节存在缺陷。
当然，自由文本评测有一个绕不开的难点：模型的输出格式千奇百怪。有的模型喜欢先解释后结论，有的先结论后解释，还有的喜欢在答案里加各种“根据图中信息，我们可以合理推测……”之类的套话。如果直接用正则匹配结论，效果会很差。实操中比较好的做法是让模型以特定格式输出（比如先给一个“答案：”前缀再给推理），同时保留原始完整输出供人工复核。论文的评测流程大概率也是基于这类思路：自动解析加上专家抽样复核，相辅相成。
3.3 训练集污染是评测得分的头号杀手：防泄漏必须做扎实
这个坑我必须重点强调：科学图像类评测数据泄漏风险非常高。公开的学术论文图表、维基百科插图、教科书扫描件，全都混在模型的训练语料里。如果题目和训练集中图像高度相似，那么模型在感知层的得分就不可信了——它可能是认出来了，而不是看出来了。
合理的做法包括两个层面。第一是文本层面的去重：用文本相似度算法将题目与训练集常见来源做匹配，剔除高相似项。第二是图像层面的去重：对图片计算感知哈希或特征相似度，把与公开图像高度重合的样本剔除。这里我要说一句公道话，图像去重比文本去重难得多，因为经过裁剪、旋转、压缩的图依然可能被模型认出来，而相似度算法未必拦得住。论文里如何处理这个难题我不确定，但如果是我们自己复现类似评测，至少要把“感知哈希+L2距离”的双层过滤做起来，然后再做人工抽检。
4. 实测现场：模型们的答卷与盲区
4.1 总体成绩趋势：感知层最高、理解层次之、推理层垫底的老规律
论文的实测结果包含多个主流多模态大模型，我不方便透露具体型号和名称，但可以坦诚地讲，总体趋势在预期之内：绝大多数模型在感知层的表现最好，理解层次之，推理层明显垫底。这个梯度差并不让人意外，因为感知层本质上是“视觉编码器+简单概念映射”，技术上最成熟；理解层已经涉及跨模态对齐和领域知识；推理层则对上下文的多步整合能力提出了真正的考验。
更值得关注的是模型规模与能力之间的非线性关系。在同系列模型中，参数规模增大确实带来了认知能力的整体提升，但提升并不是均匀分配的。有的模型规模上去了，感知层提升明显，推理层几乎原地踏步。这给我们的启示是：堆参数不是万能的，推理能力的瓶颈可能不在于数据量，而在于训练目标和模型架构本身对“长程思维链”的支持程度。
还有一个有趣的现象是，某些小规模开源模型在特定感知类题目上的表现能追平甚至超过大号商业闭源模型（这里不点名，大家懂的都懂）。这说明在科学图表这类特殊视觉域上，数据质量、图像编码策略和任务适配可能比单纯暴力堆参数更重要。对于算力有限的团队来说，这其实是个好消息：精细调校一个中等规模模型，未必不能达到接近超大模型的效果。
4.2 典型失败案例：三个最容易“翻车”的现场
只看总分没有意义，我更关心模型在哪些具体环节掉链子。从评测的常见失败案例里，我整理了三种最有代表性的翻车现场。
第一类是“小目标集体失踪”。在一张包含几十个细小颗粒的电子显微图中，模型给出的计数明显偏少，并且在解释里说“图中可见的颗粒主要集中在左上区域”，但实际上图片右上区域也有大量目标，只是尺寸更小、对比度更低。这说明视觉编码器在将图像分割为patch时，对小目标的特征保留不足，模型盲区并不存在于理解层，而是存在于感知的最底层。
第二类是“坐标轴PTSD”。给模型一张带有对数坐标的图表，横轴是log尺度，很多模型会把坐标原点附近的点误读为极端变化。物体本身形状没有变，但人类能够理解“这里横轴是指数增长，两点之间的距离实际相差一个数量级”，模型却经常被几何距离迷惑。这种失败的根源，是视觉编码器对轴刻度文本的识别不够精细，以及大语言模型在数值尺度转换上的薄弱。
第三类是“推理天花板”。这是最典型的：模型在感知和理解环节表现完美，但在推理环节突然输出一个从证据链上看完全无法成立的结论。比如前文提到的“两个阳性信号”被推理成“显著增强”。它给出的推理语气斩钉截铁，仿佛真的看到了证据，但仔细拆解逻辑，完全是无源之水。这类现象说明，当前多模态大模型的推理能力往往不是从图像证据一步步推出来的，而是靠语言先验“顺水推舟”生成的。这在简单常识问答中没什么问题，但在科学严谨性要求极高的场景中，就是致命伤。
4.3 成绩之外的价值：一份多维度的“认知体检报告”
我觉得这类评测最大的价值不是排名，而是它输出的那份“认知体检报告”。传统benchmark只给你一个总分，而这个科学家首考式的评测，因为分层设计，可以输出类似“感知层表现优秀，理解层中等偏上，推理层明显落后”这样的能力画像。
对于研发团队来说，这个画像比总分重要得多。假设你是做多模态模型的，如果你的模型感知层得分低于预期，那么你应该优先优化视觉编码器、提高输入图像分辨率或者改进目标检测辅助模块；如果理解层偏低，你该考虑增强图文对齐训练，或者在推理阶段使用更结构化的提示；如果推理层是最短板，那么你可能需要引入思维链微调、外部知识增强，甚至做专门的复杂推理数据扩充。没有分层，这些诊断都是空中楼阁。
在我看来，这正是“科学家首考”这个设计的深层价值：它把一千道科学题变成了一台认知能力的显微镜，让研究者能够看到模型内部隐藏的薄弱环节。未来的评测方向，也应该从“这一题答得对不对”转向“这一步推理走没走通”。
5. 复现评测时的常见问题与排查技巧实录
5.1 采样温度与多次运行：模型分数不稳定怎么办
我自己在做类似评测时第一个踩到的坑，就是模型输出不稳定的问题。大语言模型的生成带有随机性，一次性调用得到的答案很可能和第二次调用不一致。如果用单次采样去决定模型会不会一道题，那么你的评测分数里混合了大量的随机噪声。
实操经验是：每个题目至少采样三次以上，温度调到0到0.3之间（温度过低会损失一定的多样性，但对评分稳定性很有帮助），然后采用投票机制或者取多数结论作为最终答案。对于自由文本输出，直接投票不现实，常见做法是让模型先输出一个结构化结论标签，再附上解释文本，这样你只需要对结论标签做多数投票，效率高很多。
5.2 输出解析的文本格式坑：模型不按约定输出怎么办
另一个困扰很多人的问题是输出格式解析。即使你在提示词里明确要求了“先写答案再写理由”，不同模型对格式的服从度也完全不同。有的模型会在答案里加粗、加引号、加换行，还有的甚至先在推理里不小心暴露了最终结论，导致解析器抓到两套答案。
解决方案是把输出解析做成多级容错：先尝试正则匹配严格格式；失败后做宽松匹配，搜索“答案是”“因此”“结论”等关键词；仍然失败就丢弃该样本的自动评分，标记为人工复核。我强烈建议不要在解析阶段直接算“判错”，因为解析错误会严重污染分数统计。
5.3 题库泄漏验证：你的评测题目可能已经被模型见过
论文涉及科学图表，而绝大多数公开的科学图表都在训练语料里有对应版本。为了让自己的评测结论可信，我每次在正式评测前都会做一轮泄漏快速验证：从每学科抽出一小部分题目，用高相似度的图像搜索或者文本比对看能不能搜到同源内容，一旦发现大量题目都能在公开数据源中找到近似版本，整个题库都不可用，必须立即更换。
5.4 人类评审的主观性：专家也会吵起来
还有一个很多人忽略的问题：评分者也会意见不一。一篇论文的题，让三个不同学科背景的人来审，可能给出完全不同的评分。建议是让多位学科专家先背靠背打分，然后对比分差大的样本逐条讨论，统一评分标准。这个过程听起来很重，但它能让最终结果在复现时更加可信。
5.5 并发调用与成本控制：别把评测做成烧钱大赛
最后提醒一下资源问题。多模态大模型评测的API调用成本按图像数量乘采样次数计算，动辄上千次调用，费用并不低。合理压缩成本的方式包括：对easy样本减少采样次数，只对困难推理样本做多次采样；把同一图像的多道题合并成一次请求，让模型一次回答多个问题；对模型能一次性处理的题目批量拼接，减少往返延迟。算力有限的情况下，先跑小样本看分数方差，再决定全量评测的采样策略，这是性价比最优的路线。
一点个人体会
把这篇论文的研究从头跟到尾，我最大的感受是：多模态大模型的评测，正在从“考试”变成“体检”。过去的基准测试只关心你考了多少分，现在的方向是把你拆开看，哪里强、哪里弱、哪里链条断了。“科学家首考”这个名字取得好，它不仅是考模型，也是在考我们这些做评测的人——你设计的问题能不能真的触碰认知能力的底层？如果答案是能，哪怕题目再难、成本再高，也是值得的。后续如果再有人在这个方向上继续挖，我最期待的是“动态出题”和“自适应难度”：让模型做完一个题之后，根据它上一题的薄弱环节，自动生成更有针对性的追问。到那时候，评测就真的从一张卷子变成了一场对话式的考察了。如果你也正在做类似的模型能力评测，欢迎对照这篇内容检查一下自己的方案，至少避开我们踩过的这些坑。
