AA Intelligence Index (Artificial Analysis)
- Leaderboard:
- https://artificialanalysis.ai/leaderboards/models
- https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index
- 官网:https://artificialanalysis.ai
- 简介:Artificial Analysis 基于独立复测的多项基准(含 GPQA、IFBench、Terminal-Bench、SciCode 等)加权合成的智能指数,当前版本 v4.1.1 已收录 181 个模型(Claude Opus 5、Claude Fable 5、Grok 4.6 等居前),因口径统一、更新及时,是业界引用最多的模型横向能力排名之一
ALE (Agents’ Last Exam)
- Leaderboard: https://snorkel.ai/leaderboard/agents-last-exam/
- 官网:https://agents-last-exam.org
- 论文:https://arxiv.org/html/2606.05405v1
- 简介:由 Berkeley RDI 牵头、300+ 行业专家共建的超大规模真实工作 Agent 基准,目标 5,000 个任务、覆盖 55 个子行业,衡量长程、高经济价值、可验证结果的职业任务完成能力,是当前评估"AI 能否胜任真实数字劳动"的代表性基准
HLE(Humanity’s Last Exam)
- Leaderboard:https://lastexam.ai/
- 官网:https://lastexam.ai/
- 论文:https://arxiv.org/pdf/2501.14249
- 简介:由 Center for AI Safety 与 Scale AI 发起、全球学科专家出题的"人类终极考试",覆盖 100+ 学科的超难前沿题,用于逼近人类知识边界、区分顶级模型在饱和基准之外的极限能力,是公认的"学术天花板"测试
Terminal-Bench
- Leaderboard 2.0:
- 官方: https://www.tbench.ai/leaderboard/terminal-bench/2.0
- 三方:https://www.datalearner.com/benchmarks/terminalbench-2
- Leaderboard 2.1:
- 官方:https://www.tbench.ai/leaderboard/terminal-bench/2.1
- 三方:https://www.datalearner.com/benchmarks/terminal-bench-2-1
- Leaderboard 3.0:
- 官方:https://www.frontierbench.ai/
- 三方:https://www.datalearner.com/benchmarks/terminal-bench-v3
- 官网:https://www.tbench.ai
- 简介:由 Sierra 联合多家机构推出的终端(命令行)环境长程任务基准,2.1 版修正了 2.0 的 28 个任务并引入连续验证机制,用于衡量 Agent 在真实终端工作流中的复杂问题解决能力,是 CLI Agent 领域的代表性基准
AutomationBench
- Leaderboard:https://zapier.com/benchmarks
- 官网:https://github.com/zapier/AutomationBench
- 论文:https://arxiv.org/html/2604.18934v1
- 简介:Zapier 推出的跨应用工作流编排基准,任务覆盖销售、营销、运营、客服、财务、HR 六大业务域,Agent 需自主发现 API 端点、遵循分层业务规则并正确写入各系统,用于衡量"真实业务自动化执行"这一企业级能力,官方榜单采用未公开的私有任务集以防过拟合
SWE-Bench Verified
- Leaderboard:
- 官方: https://www.swebench.com/
- 三方:https://llm-stats.com/benchmarks/swe-bench-verified
- 官网:https://openai.com/index/introducing-swe-bench-verified/
- 论文:https://arxiv.org/pdf/2310.06770
- 简介:从 12 个热门 Python 仓库的真实 issue 与 PR 中抽取、经人工校验的 500 题子集,是目前编码 Agent 领域被引用最多、事实上的"编码能力标尺",可作为横向比较代码 Agent 的首选参考
SWE-Bench Pro
- Leaderboard: https://www.datalearner.com/benchmarks/swe-bench-pro
- 官网:https://github.com/scaleapi/SWE-bench_Pro-os
- 简介:Scale AI 为解决数据污染、任务单一、问题过简、测试不可复现四大痛点而设计的进阶基准,覆盖 41 个专业仓库、1,865 个真实任务,前沿模型在标准化脚手架下仅能解出约 59%,是衡量"去污染真实工程能力"的更严苛参考
DeepSWE
- Leaderboard:https://deepswe.datacurve.ai/
- 官网:https://deepswe.datacurve.ai
- 论文:https://arxiv.org/abs/2607.07946
- 简介:由 Datacurve(非 DeepLearning.ai)推出的 113 个原创长程软件工程任务基准,任务从零编写、从不回馈上游仓库,从源头规避预训练污染,并以手写验证器替代随修复附带的测试,是衡量"无污染真实编码能力"的重要参考
NL2Repo-Bench
- Leaderboard:https://www.datalearner.com/benchmarks/nl2repo-bench
- 论文:https://arxiv.org/abs/2512.12730
- 简介:由 M-A-P、ByteDance Seed 等机构联合提出的仓库级代码生成基准——仅凭一份自然语言需求文档和空工作区,Agent 需自主完成架构设计、依赖管理与多模块实现并产出可安装的 Python 库,用于评估当前最难的"长程仓库级生成"能力,目前最强 Agent 平均测试通过率仍不足 40%
SciCode
- Leaderboard:https://pricepertoken.com/leaderboards/benchmark/scicode
- 官网:https://scicode-bench.github.io
- 论文:https://arxiv.org/abs/2407.13168
- 简介:由 16 个自然科学领域的科学家联合策划的科研代码基准,含 80 个主问题、338 个子问题,考察知识回忆+推理+代码综合的复合能力,是学术界公认的"科研编码"难度标尺(NeurIPS 2024 D&B)
CyberGym
- Leaderboard:https://benchlm.ai/benchmarks/cybergym
- 官网:https://github.com/sunblaze-ucb/cybergym
- 论文:https://arxiv.org/html/2606.04460v2
- 简介:UC Berkeley(Dawn Song 组)推出的规模化网络安全基准,覆盖 188 个广泛使用的开源项目(如 OpenSSL、FFmpeg)中的 1,507 个真实 CVE,采用执行式客观评估,是衡量 AI 白盒漏洞分析与安全工程能力的权威参考
PaperBench
- Leaderboard:https://github.com/openai/frontier-evals/tree/main/project/paperbench
- 官网:https://github.com/openai/frontier-evals/tree/main/project/paperbench
- 论文:https://arxiv.org/abs/2504.01848
- 简介:OpenAI 推出的科研复现基准,要求 Agent 从零复现 20 篇 ICML 2024 Spotlight/Oral 论文(共 8,316 个可评分子项,与原论文作者共同制定 rubric),最佳 Agent 平均复现得分仅约 21%,是衡量"端到端科研工程能力"目前最难公开基准之一
IFBench
- Leaderboard:
- 官方:https://benchlm.ai/benchmarks/ifbench
- 三方:
- https://www.datalearner.com/benchmarks/if-bench
- https://artificialanalysis.ai/evaluations/ifbench
- https://benchlm.ai/benchmarks/ifbench
- 论文:https://arxiv.org/pdf/2507.02833
- 简介:Allen AI(Ai2)推出的精确指令遵循泛化基准,含 58 个全新可验证的 OOD 输出约束,专测模型对"没见过的新约束"的遵循能力,已被 Artificial Analysis 纳入综合智能指数,是评估"听话程度"泛化性的主流参考
LiveCodeBench
- Leaderboard:https://livecodebench.github.io/leaderboard.html
- 官网:
- https://livecodebench.github.io
- https://github.com/LiveCodeBench/LiveCodeBench
- 简介:持续从 LeetCode、AtCoder、Codeforces 收集新题的无污染竞赛编程基准,并额外考察自修复、代码执行、测试输出预测等能力,通过按题目发布日期切分实现防污染评测,是评估"实时编码能力"的首选参考
OSWorld Verified
- Leaderboard:https://osworld-v1.xlang.ai
- 官网:
- https://github.com/xlang-ai/OSWorld
- Verified: https://xlang.ai/blog/osworld-verified
- 论文:https://proceedings.neurips.cc/paper_files/paper/2024/hash/5d413e48f84dc61244b6be550f1cd8f5-Abstract-Datasets_and_Benchmarks_Track.html
- 简介:HKU XLANG Lab 推出的首个真实计算机环境(Windows/Ubuntu/macOS)多模态 GUI Agent 基准,Verified 版对 369 个任务做了人工校验,是"电脑操作 Agent(Computer Use)"领域最权威的参考;进阶可关注长程版 OSWorld 2.0
GPQA Diamond
- Leaderboard:
- Epoch AI:https://epoch.ai/benchmarks/gpqa-diamond
- Artificial Analysis:https://artificialanalysis.ai/evaluations/gpqa-diamond
- Vals AI:https://www.vals.ai/benchmarks/gpqa
- LLM Stats:https://llm-stats.com/benchmarks/gpqa llm-stats.com
- 论文:https://arxiv.org/pdf/2311.12022
- 简介:由学科专家(多为博士)撰写的 198 道"Google-proof"研究生级理科多选题,博士专家本人仅约 69.7% 正确率;目前已有 24 个模型超过 90%,属明显饱和的"知识+推理"参考,仍可作为顶级模型理科推理的快速筛选指标
参考位置(三方整合榜单):
- AA(Artificial Analysis):https://artificialanalysis.ai/leaderboards/models
- Vals.AI:https://www.vals.ai/benchmarks
- LLM STATS benchmarks:https://llm-stats.com/benchmarks
- Epoch.ai:https://epoch.ai/benchmarks
- Snorkel benckmark leaderboards:https://snorkel.ai/leaderboard/
- Dataleaner Benchmarks:https://www.datalearner.com/benchmarks
- BenchLM benchmarks:https://benchlm.ai/benchmarks