迈向AGI/ASI的度量：从图灵测试到分层能力谱系

用大白话聊聊“迈向 AGI/ASI 的度量”这件事

每次看到“AGI来了”“ASI要失控”这类标题，我都会先问自己一个问题：他们说“来了”的依据到底是什么？是模型在某个考试里考了满分？还是它在聊天里展现了“自我意识”？又或者只是因为跑分群里的分数肉眼可见地涨了？

说实话，我这两年做过不少模型能力相关的评估和复盘工作，越做越觉得“度量”这件事是整个 AGI 叙事里最容易被糊弄、也最关键的一环。今天写这篇东西，不是想给 AGI/ASI 下定义，也不是想争论它们到底多久能到，而是想梳理一下：我们手里到底有哪些尺子，这些尺子各自能量到什么、量不到什么，以及当我们说“迈向”的时候，这个“进度条”应该怎么画才不算自欺欺人。

这篇文章适合三类人：一是做大模型应用落地，需要向老板或客户解释“模型到底行不行”的工程师；二是做 AI 产品调研、想看穿各种“超越人类”通稿的产品经理；三是纯好奇、想搞明白“AGI 离我们还有多远”这类争论到底在争什么的技术爱好者。我不会堆太多数学公式，尽量把框架和逻辑讲透，文里会穿插一些我做评估时踩过的坑和真实感受。

1. 度量困局：为什么“智能”这个东西这么难量化

1.1 打一个比方：给“学生”出考卷，出题人自己也在被考

假设你要判断一个学生是不是“天才”，你能想到的办法肯定是考试：数学考卷、语文作文、物理竞赛。但问题很快就来了——这个学生擅长写诗，那个学生擅长心算，另一个学生特别会做实验，你拿同一张卷子考他们，分数低的人就一定不聪明吗？更麻烦的是，如果这个学生已经刷过十年真题，他把卷子背下来了，考满分能说明他聪明吗？

现在我们把“学生”换成大模型，把“考卷”换成各种各样的评测集，困扰我很久的问题就浮出水面了：我们设计的那些基准测试，到底是真能测出模型的“智能”，还是只能测出模型会不会做我们的题？

传统意义上的 IQ 测试也面临同样的批评——它测的是“在一个特定文化环境里，完成特定类型抽象推理任务的能力”，和“全面智能”差得很远。大模型的评测基准也一样，每一个都是人为画出来的一个小圈子，圈子里考的是数学、代码、逻辑推理，圈外还有一堆人类习以为常但模型压根没接触过的能力。

我在某次评估中做过一个很有意思的尝试：把一些 benchmark 里的题目稍微改改措辞、换换数字、调换一下条件顺序，结果模型的表现哗啦啦往下掉。这当然不能说明模型变笨了——它只是不会“举一反三”到我们人类觉得自然的程度。于是我就想明白了一件事：度量 AGI 的核心困难，不是“找不到标准答案”，而是“连什么是值得测的能力都还没形成共识”。

1.2 能力维表的诱惑与陷阱

为了回答“度量什么”，各路研究者做了很多框架尝试。最常见的是列“能力维表”——把智能切分成逻辑推理、常识理解、创造力、情感建模、自我反思、工具使用等格子，然后在每个格子里填评测结果。

能力维表看起来很美，因为它把模糊的“智能”拆成了可以打分的小模块，方便对比、方便做雷达图。但我实际用下来，至少有三个陷阱：

第一个是维度之间的耦合。你单独测“逻辑推理”和单独测“常识理解”都得分不错，可一旦把它们组合起来——比如需要利用常识去判断一个逻辑推理题的前提是否荒谬——分数可能惨不忍睹。智能不是乐高积木，不是把几块能力拼在一起就完事，它更像一种融合了知识、情境和目标的化学反应。

第二个是维度的定义永远在变。去年大家觉得“写代码”是一项核心能力，今年发现模型写代码已经能过关，于是“有难度的代码题”变成了“软件工程全流程任务”。定义一升级，模型的名次就又下来了。与其说这是能力退化，不如说焦虑在于度量工具的精度在提高。

第三个是“测什么”本身会被模型训练反向污染。一旦某个维表里的题目被广泛传播，互联网上就会出现大量相关数据，模型再训练时就会“记住”这些题。你能说它“会”了吗？它其实是“背过”了。

所以我现在的态度是：能力维表可以用来做横向定位和趋势监测，但别拿它当一个客观的、永恒的“智力标尺”。它是地图，不是领土。

2. 从图灵测试到大模型基准群：度量工具是怎么进化的

2.1 图灵测试的遗产：能骗过人不等于真聪明

所有关于“机器智能度量”的讨论，都绕不开图灵测试。图灵当年提出“模仿游戏”的时候，本意是用操作性的方式绕开“智能是什么”的哲学争论——你先别管机器是不是真的思考，只要它在对话里能以假乱真，我们就承认它有智能。

这个想法在 1950 年是极具洞察力的。但放到今天的大模型时代，图灵测试几乎丧失了筛选力。现在一个经过良好对话微调的模型，在普通网友的轮流提问下，很可能有超过 40% 的概率被判为“人”。但这能说明它达到了人类智能水平吗？只怕不能。它更像一个极度熟练的模仿者，擅长维持表面上的合理性，而对言外之意、深层一致性、真实世界指涉这些东西，很多时候是顾不上的。

我做过的对比测试里，让一个早年的对话模型和最新的强模型同时扮演“客服”去安抚一位暴躁用户。老模型是机械道歉，新模型则能在对话里捕捉到情绪变化并调整措辞。从“像不像人”的角度看，新模型完胜，但要是再追问一句“它真的理解用户为什么生气吗”，我自己也没底。

所以图灵测试看今天，最大的价值恰恰是一种提醒：一个测试随着技术的演进而失效，是很正常的事。度量工具的演进，本质上是一个“道高一尺魔高一丈”的攻防过程。

2.2 今天的大模型基准群：从单项赛到全能赛

既然单个图灵测试不够用了，工业界和学术界就转向了“基准群”路线：不再用一两个指标判断模型，而是搞一大批任务，覆盖阅读理解、数学解题、代码生成、多轮推理、专业考试等领域。

我在实际项目中用过几个典型的评测集，举个例子：

• 某逻辑推理专项集：题目大多是数列、图形变换、关系推理，模型单看正确率还行，但一旦把题目换成文本过长、掺杂噪声信息，正确率会掉很多。原因是这类数据集对“信息提取能力”和“纯逻辑规则应用”混在一起测，不过在成绩单上看起来都是“推理分”。
• 某专业考试集：把物理、化学、生物、历史等一堆选择题攒起来，模型在记忆型题目上得分极高，但在需要多步推导的题目上就不稳定。用这个集子做评测的好处是门槛低、可对比，坏处是“背书能力”和“推理能力”被混在一起了。
• 某代码修复与生成任务集：给模型一段有 bug 的代码，要求它定位并修复，或者给出一个函数的自然语言描述，让它写出实现。这算是比较接近真实工程场景的评测，但我依然发现一个毛病：它对“环境依赖”做得很浅，模型有时能写出在本地跑不通但“形式上正确”的代码。

面对这些基准群，有人把它们当作 AGI 量尺——平均分高，就宣布“接近人类”。但我的经验是：基准群的单科成绩可以给出一个模糊的能力轮廓，却测不出“组合能力”和“迁移能力”。就像全科满分的学霸，未必能在真实职场里搞定需要跨学科协作的开放问题。

2.3 为什么“压力测试”比“标准考试”更接近实战

我逐渐养成一个习惯：拿到任何一个 benchmark 结果，第一件事不是看总分，而是看它有没有做“压力测试”——扰乱输入、交叉组合、边界追问、对抗性攻击。

标准考试的好处是公平、可复现，但智能体真正让人惊艳或翻车的地方，通常发生在没人提前设计过的“非标准情境”。举一个我做过的实验例子：给模型布置一个简单的日常工作，中间突然插入一条与当前任务矛盾的旧指令，看模型会不会被骗着去执行。标准 benchmark 几乎不会专门测这种“指令冲突下的行为稳定性”，可它恰恰是真实对话系统里最有价值的行为指标。

所以我现在会给评估体系加三类压力测试：一是输入污染（在题干里注入无关或误导性内容），二是上下文翻转（对话中临时改变规则，看模型会不会自适应），三是目标漂移（把一个大目标分割成多个阶段，看模型能否一直记得最初的目标）。这套做法不是学术标准，但实测下来比很多公开榜单更能暴露模型的真实边界。

3. 目前学术界与产业界的三条度量路线

3.1 路线一：以“任务覆盖度”为核心的考纲式度量

第一条路线，本质上就是把 AGI 定义为“能完成人类能完成的所有认知任务”，然后建立一个足够全面的“任务考纲”，再抽样评测模型在不同任务上的综合表现。

“考纲式度量”的好处是直观：只要任务清单够长、够细，打分就有据可依。产业界喜欢这套，因为可以用“任务完成率”跟老板汇报，比如“模型已覆盖人类工作任务的 40%，预计明年到 60%”。坏处也很明显——人类认知任务的种类是开放的，还在不断诞生新任务，你永远不知道 40% 到 100% 之间还藏着多少新增量。

我参与过类似的项目：把一家公司的客服工作流程拆成几百个原子任务，然后让模型一个个做。做到一半就发现，任务边界本身是很难划干净的。一个“回答退货政策”的任务，往下还能拆成“理解用户措辞”“判断用户情绪”“给出符合企业规则的解释”“追问缺失信息”……任务拆得越细，度量成本越高，而且高出的部分不一定带来认知增量。

但我不觉得考纲式度量是错的。它适合用来做“最低能力保障”——如果你的模型想上岗做某项工作，先得通过这一岗位的任务抽样考试。它不适合用来回答“模型距离 AGI 还有多远”这种大问题，因为那个“总共要考多少门”本身无解。

3.2 路线二：以“能力-资源曲线”为核心的经济学式度量

如果说考纲式度量是“社会学视角”，那第二条路线更像是“经济学视角”：不看你会不会做某件事，而看你付出多少算力/数据/时间成本才能做到某件事。

这一派的思想源头，跟早几年著名的大模型参数规模与性能研究有关。当时某研究团队发现，在计算预算固定的情况下，模型性能和参数量、数据量之间遵循一种可以预测的关系——也就是圈里常说的“缩放定律”。如果把视野稍微放宽一点，缩放定律其实暗含了一种度量 AGI 的思路：能力的增长是资源和数据的函数，我们完全可以测量“每增加一单位算力，能力提升多少”，这就是“迈向 AGI”的斜率。

这个思路比静态 benchmark 高明的地方在于：它把“智能”从“一个分数”变成了“一条曲线”，而且还把“效率”问题摆上了台面——两个模型如果功能一样，一个需要 1000 张显卡训练出来，另一个只需要 100 张，那后者的“智能密度”显然更高。

但缺点也很致命：曲线只能描述“已发生”的规律，无法预测“涌现”的突变。你在 10 亿参数和 100 亿参数规模上测得的缩放规律，不一定能外推到 1 万亿参数。我在实操中经常看到有人把曲线外推得笔直，然后直接宣布“再训练三年就 AGI”，这种预测我一般不太敢信，因为复杂系统在临界点附近的行为最容易打破外推假设。

3.3 路线三：以“自适应与开放学习”为核心的行为式度量

第三条路线提出的问题最有意思：我们为什么非要让模型在“出厂时”就学会所有能力？如果它能在新环境里自主学习新技能、自我改进算法，那不管当前知识量有多少，都算是一种通向 AGI 的强信号。

按照这个思路，度量的重点不再是“现在会什么”，而是“想让它学新东西，它要多久、需要多少外部帮助”。我在了解某实验室的内部评估框架时，注意到他们把“少样本学习能力”“持续学习稳定性”“从反馈中改进的速率”作为核心指标，后来自己也试着用类似方式做测试——给同一个模型连续布置十几个彼此无关的新任务，考察它在每个任务上达到可用水平所需要的示范次数。

实测下来，现在的模型离“自主学习”其实还很远。它们在相似任务上的迁移快一些，在真正陌生的任务上依然需要大量指令和示例。但我觉得这条度量路线才是长期来看最接近 AGI 本质的，因为AGI 不应该是一个装满知识的静态容器，而应该是一台能自我升级的学习机器。

3.4 三条路线怎么选：取决于你想回答什么问题

很多人问我：这三条路线到底哪条对？我的回答是，它们对应的其实是三个不同的问题：

• 考纲式度量回答的是“模型现在在人类既有任务里能顶多大用”；
• 能力-资源曲线回答的是“算力和数据继续堆下去，能力天花板大概在哪”；
• 行为式度量回答的是“模型有没有可能走出我们给它划好的任务边界”。

如果你在做一个实际产品，选第一条就够了，它能直接映射到客服、编程、写作等具体场景。如果你在判断大模型公司的技术前景，第二条和第三条更有参考价值。如果只是想跟人争论“AGI 是不是快来了”，那你得先说清楚自己用的是哪条路线，不然大概率是鸡同鸭讲。

4. 实操中我更偏好的度量方案：分层能力谱系 + 效率指标 + 阶段里程碑

4.1 分层能力谱系：先分层次，再谈总分

上面说了一大堆理论，落到我自己的评估实践里，我更习惯用一个“分层能力谱系”的框架。这个想法其实不复杂：把要评估的能力从上到下分成几个层级，每一层用不同的方法和任务来测。

上层是“价值观与目标对齐层”：模型是否理解并遵守人类的基本价值观？是否可以识别对抗性诱导指令？这层直接关系到安全问题，一般的 benchmark 很少认真覆盖。中间层是“通用认知层”：推理、规划、多步问题求解，用高难度推理集和模拟环境来测。底层是“知识与技能层”：特定领域的知识问答、代码片段生成等等，常规测试集足以覆盖。

之所以要分层，是因为总分掩盖太多信息。一个模型可能在知识层满分、认知层勉强及格、对齐层不及格——这恰恰是最危险的状态，因为它看起来什么都懂，实际上却可能在关键场景下做出违背使用者预期的行为。我在某次风险测试中就遇到过类似情况：模型对医疗知识问答头头是道，但在追问具体用药场景时，却会因为指令措辞的微小变动给出完全矛盾的建议。如果不分层，你只会觉得“分数挺高”。

4.2 效率指标：跑分之外必须看“一单位能力要烧多少钱”

另一个我越来越重视的维度是“效率”。同一项任务，模型 A 用 100 次推理能解决，模型 B 需要 500 次；同样的训练成本，模型 A 的得分比模型 B 高一大截。在我看来，这些“效率差距”比单点分数差距更有战略意义。

具体可以在评测时加两个小指标：

• 单位能耗能力分：训练/推理成本与核心任务正确率的比值（这个现在很难标准化，但至少可以记录推理 token 数）。
• 尝试次数中位数：模型在交互式任务里，平均尝试几次才能得到正确答案。

我在给一个内部项目选模型时，就是因为对比了“尝试次数”，把看似总分最高的模型换成了总分稍低但一次成功率更高的另一个。真实产品里，用户可没耐心看模型反复试错。

4.3 阶段里程碑：把“AGI”从形容词变成一组可验证的检查点

“AGI”这个词最大问题就是它是个含糊的形容词。我后来试着把它转译成一组“里程碑检查点”，每一站都对应一个可验证的能力标准，这样推进起来才有抓手。下面是我自己画的五级里程碑，不是行业标准，只作参考：

说实话，目前最强的模型大概在 L2 到 L3 之间徘徊，在受限场景里可以扮演“不用盯的实习生”，但离 L4 还有本质差距。用这套检查点去看各种“AGI 已到来”的宣言，就不容易被带节奏了——它们多数是把某个 L1/L2 的成就包装成了 L5 的惊悚故事。

4.4 我实际跑过的评估模板（可以直接抄的清单）

最后把我现在给模型做快速体检时常用的评估项目列出来，不一定科学严谨，但非常实用。我会在五个维度上分别记录观察、分数和备注。

一是多轮一致性：连续追问同一个话题，改换措辞，看模型的立场和答案是否稳定。一个模型如果换个说法就自相矛盾，那是很大的红旗。

二是反事实推理：出一个与常识相反的假设，让模型基于这个假设继续推理。很多模型会不自觉偷懒，从真实世界常识出发，而不是从假设出发。

三是工具调用链：让模型完成一个需要“查资料 → 计算 → 决策”的多步骤任务，看它能不能正确分解步骤并调用相应工具。这一步特别暴露工程能力。

四是指令抗扰：在任务过程中注入轻微矛盾或无关指令，看模型会不会被带偏。对抗鲁棒性在这里直接体现。

五是自我评估准确性：问模型“你做这道题有多大把握”，然后对比它实际正确率。这个指标看起来简单，但太重要了——一个永远高估自己的模型，在真实环境里就是安全隐患。

这套清单我在多个项目里跑过，每次都能挖出几个公开榜单看不出来的问题。至少对我来说，它比盯着某排行榜拼小数点有意义得多。

5. 度量之后：从“能力分数”到“安全护栏”的必经之路

5.1 能力越强，对齐越要优先测

我一直觉得，度量 AGI 这件事最吊诡的结果是：能力分数和安全水平是两套坐标系，但大家都喜欢把它们混在一张图里说。一个模型可能在所有认知任务上跑出人类顶尖水平，但只要它存在 0.1% 的概率在特定场景下给出危险指令，它对实际系统的破坏力就远大于那 0.1%。

所以在我自己的评估体系里，层级谱系的顶层永远是“价值观与目标对齐层”。我会针对性地做对抗攻击测试，比如在评估里加入“诱导模型泄露隐私”“挑拨模型在敏感对话里站队”“反复用不同措辞询问同一高危话题”等测试项。这些测试的结果不进常规跑分，但它们才是决定一个模型能不能真正安全上线的关键。

5.2 可解释性作为度量工具：要能说出“为什么这么答”

另一个常被忽视的度量维度是可解释性——不是让模型输出一段“因为所以”的漂亮话，而是要求模型给出可溯源得出决策路径，让人类能核查其推理依据。

我在做访谈类测试时，会让模型完整展示思考草稿（如果存在），然后比较：那些正确但推理过程混乱的答案，和那些过程清晰才得到正确答案的答案，在面对变形题时，后者的稳定性明显更高。这说明，过程可解释性几乎是泛化能力的前置指标。

如果未来我们真的接近 AGI/ASI，人类对超级智能的主要控制手段恐怕不会是“禁用它”，而是“要求它所有关键决策都能被另一个监督模型或人类以结构化的方式复核”。这个维度必须从早期度量框架里就埋进去，否则等能力膨胀到无法审阅时，一切都晚了。

5.3 算力与权力：度量的底座是资源，不是哲学

最后说点务虚但实在的。所有度量框架的建立，都要以实际可调用的算力、数据和人力为底座。一个需要消耗人类评估师几千个小时才能完成的 AGI 度量方案，在现实中是不可持续的。

我自己现在更倾向于设计“轻量但高频”的评估流程：每周跑一个小的能力快测，每月做一次大规模深度评测，数据全部堆到统一看板里，趋势变化一目了然。这比每年做一次超级全面、惊人昂贵的大评测更实用。道理很简单：度量是为了及时发现变化，而发现变化需要一个连续的时间轴，不是一锤子买卖。

如果你也想建立自己的“AGI 进度条”，我的建议是忘掉那个大词，踏踏实实从你关心的具体任务和具体风险出发，接上分层能力谱系、效率指标、对齐测试这三块内容，持续跑数据。等到某一天，你发现所有指标都涨得很慢、但自动驾驶/科研助手/复杂决策这些高难板块的能力确实在变得可靠，而且安全记录一直干净，那时候你说“我们正在迈向真正意义的通用智能”，才是有底气的。

最后再分享一个体会：度量这件事本身就是一种智能。能够准确评价自身能力边界的系统，一定比自恋或者自卑的系统更健全。而我们人类在给 AI 造尺子的同时，其实也在校准自己对“智能”的理解。这一趟，且测且走，别急着下结论。