news 2026/9/2 16:01:03

吐血整理大模型评测信息(含三方测评发布网站),动动小手收藏备用~

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
吐血整理大模型评测信息(含三方测评发布网站),动动小手收藏备用~

AA Intelligence Index (Artificial Analysis)

  • Leaderboard:
    • https://artificialanalysis.ai/leaderboards/models
    • https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index
  • 官网:https://artificialanalysis.ai
  • 简介:Artificial Analysis 基于独立复测的多项基准(含 GPQA、IFBench、Terminal-Bench、SciCode 等)加权合成的智能指数,当前版本 v4.1.1 已收录 181 个模型(Claude Opus 5、Claude Fable 5、Grok 4.6 等居前),因口径统一、更新及时,是业界引用最多的模型横向能力排名之一

ALE (Agents’ Last Exam)

  • Leaderboard: https://snorkel.ai/leaderboard/agents-last-exam/
  • 官网:https://agents-last-exam.org
  • 论文:https://arxiv.org/html/2606.05405v1
  • 简介:由 Berkeley RDI 牵头、300+ 行业专家共建的超大规模真实工作 Agent 基准,目标 5,000 个任务、覆盖 55 个子行业,衡量长程、高经济价值、可验证结果的职业任务完成能力,是当前评估"AI 能否胜任真实数字劳动"的代表性基准

HLE(Humanity’s Last Exam)

  • Leaderboard:https://lastexam.ai/
  • 官网:https://lastexam.ai/
  • 论文:https://arxiv.org/pdf/2501.14249
  • 简介:由 Center for AI Safety 与 Scale AI 发起、全球学科专家出题的"人类终极考试",覆盖 100+ 学科的超难前沿题,用于逼近人类知识边界、区分顶级模型在饱和基准之外的极限能力,是公认的"学术天花板"测试

Terminal-Bench

  • Leaderboard 2.0:
    • 官方: https://www.tbench.ai/leaderboard/terminal-bench/2.0
    • 三方:https://www.datalearner.com/benchmarks/terminalbench-2
  • Leaderboard 2.1:
    • 官方:https://www.tbench.ai/leaderboard/terminal-bench/2.1
    • 三方:https://www.datalearner.com/benchmarks/terminal-bench-2-1
  • Leaderboard 3.0:
    • 官方:https://www.frontierbench.ai/
    • 三方:https://www.datalearner.com/benchmarks/terminal-bench-v3
  • 官网:https://www.tbench.ai
  • 简介:由 Sierra 联合多家机构推出的终端(命令行)环境长程任务基准,2.1 版修正了 2.0 的 28 个任务并引入连续验证机制,用于衡量 Agent 在真实终端工作流中的复杂问题解决能力,是 CLI Agent 领域的代表性基准

AutomationBench

  • Leaderboard:https://zapier.com/benchmarks
  • 官网:https://github.com/zapier/AutomationBench
  • 论文:https://arxiv.org/html/2604.18934v1
  • 简介:Zapier 推出的跨应用工作流编排基准,任务覆盖销售、营销、运营、客服、财务、HR 六大业务域,Agent 需自主发现 API 端点、遵循分层业务规则并正确写入各系统,用于衡量"真实业务自动化执行"这一企业级能力,官方榜单采用未公开的私有任务集以防过拟合

SWE-Bench Verified

  • Leaderboard:
    • 官方: https://www.swebench.com/
    • 三方:https://llm-stats.com/benchmarks/swe-bench-verified
  • 官网:https://openai.com/index/introducing-swe-bench-verified/
  • 论文:https://arxiv.org/pdf/2310.06770
  • 简介:从 12 个热门 Python 仓库的真实 issue 与 PR 中抽取、经人工校验的 500 题子集,是目前编码 Agent 领域被引用最多、事实上的"编码能力标尺",可作为横向比较代码 Agent 的首选参考

SWE-Bench Pro

  • Leaderboard: https://www.datalearner.com/benchmarks/swe-bench-pro
  • 官网:https://github.com/scaleapi/SWE-bench_Pro-os
  • 简介:Scale AI 为解决数据污染、任务单一、问题过简、测试不可复现四大痛点而设计的进阶基准,覆盖 41 个专业仓库、1,865 个真实任务,前沿模型在标准化脚手架下仅能解出约 59%,是衡量"去污染真实工程能力"的更严苛参考

DeepSWE

  • Leaderboard:https://deepswe.datacurve.ai/
  • 官网:https://deepswe.datacurve.ai
  • 论文:https://arxiv.org/abs/2607.07946
  • 简介:由 Datacurve(非 DeepLearning.ai)推出的 113 个原创长程软件工程任务基准,任务从零编写、从不回馈上游仓库,从源头规避预训练污染,并以手写验证器替代随修复附带的测试,是衡量"无污染真实编码能力"的重要参考

NL2Repo-Bench

  • Leaderboard:https://www.datalearner.com/benchmarks/nl2repo-bench
  • 论文:https://arxiv.org/abs/2512.12730
  • 简介:由 M-A-P、ByteDance Seed 等机构联合提出的仓库级代码生成基准——仅凭一份自然语言需求文档和空工作区,Agent 需自主完成架构设计、依赖管理与多模块实现并产出可安装的 Python 库,用于评估当前最难的"长程仓库级生成"能力,目前最强 Agent 平均测试通过率仍不足 40%

SciCode

  • Leaderboard:https://pricepertoken.com/leaderboards/benchmark/scicode
  • 官网:https://scicode-bench.github.io
  • 论文:https://arxiv.org/abs/2407.13168
  • 简介:由 16 个自然科学领域的科学家联合策划的科研代码基准,含 80 个主问题、338 个子问题,考察知识回忆+推理+代码综合的复合能力,是学术界公认的"科研编码"难度标尺(NeurIPS 2024 D&B)

CyberGym

  • Leaderboard:https://benchlm.ai/benchmarks/cybergym
  • 官网:https://github.com/sunblaze-ucb/cybergym
  • 论文:https://arxiv.org/html/2606.04460v2
  • 简介:UC Berkeley(Dawn Song 组)推出的规模化网络安全基准,覆盖 188 个广泛使用的开源项目(如 OpenSSL、FFmpeg)中的 1,507 个真实 CVE,采用执行式客观评估,是衡量 AI 白盒漏洞分析与安全工程能力的权威参考

PaperBench

  • Leaderboard:https://github.com/openai/frontier-evals/tree/main/project/paperbench
  • 官网:https://github.com/openai/frontier-evals/tree/main/project/paperbench
  • 论文:https://arxiv.org/abs/2504.01848
  • 简介:OpenAI 推出的科研复现基准,要求 Agent 从零复现 20 篇 ICML 2024 Spotlight/Oral 论文(共 8,316 个可评分子项,与原论文作者共同制定 rubric),最佳 Agent 平均复现得分仅约 21%,是衡量"端到端科研工程能力"目前最难公开基准之一

IFBench

  • Leaderboard:
    • 官方:https://benchlm.ai/benchmarks/ifbench
    • 三方:
      • https://www.datalearner.com/benchmarks/if-bench
      • https://artificialanalysis.ai/evaluations/ifbench
      • https://benchlm.ai/benchmarks/ifbench
  • 论文:https://arxiv.org/pdf/2507.02833
  • 简介:Allen AI(Ai2)推出的精确指令遵循泛化基准,含 58 个全新可验证的 OOD 输出约束,专测模型对"没见过的新约束"的遵循能力,已被 Artificial Analysis 纳入综合智能指数,是评估"听话程度"泛化性的主流参考

LiveCodeBench

  • Leaderboard:https://livecodebench.github.io/leaderboard.html
  • 官网:
    • https://livecodebench.github.io
    • https://github.com/LiveCodeBench/LiveCodeBench
  • 简介:持续从 LeetCode、AtCoder、Codeforces 收集新题的无污染竞赛编程基准,并额外考察自修复、代码执行、测试输出预测等能力,通过按题目发布日期切分实现防污染评测,是评估"实时编码能力"的首选参考

OSWorld Verified

  • Leaderboard:https://osworld-v1.xlang.ai
  • 官网:
    • https://github.com/xlang-ai/OSWorld
    • Verified: https://xlang.ai/blog/osworld-verified
  • 论文:https://proceedings.neurips.cc/paper_files/paper/2024/hash/5d413e48f84dc61244b6be550f1cd8f5-Abstract-Datasets_and_Benchmarks_Track.html
  • 简介:HKU XLANG Lab 推出的首个真实计算机环境(Windows/Ubuntu/macOS)多模态 GUI Agent 基准,Verified 版对 369 个任务做了人工校验,是"电脑操作 Agent(Computer Use)"领域最权威的参考;进阶可关注长程版 OSWorld 2.0

GPQA Diamond

  • Leaderboard:
    • Epoch AI:https://epoch.ai/benchmarks/gpqa-diamond
    • Artificial Analysis:https://artificialanalysis.ai/evaluations/gpqa-diamond
    • Vals AI:https://www.vals.ai/benchmarks/gpqa
    • LLM Stats:https://llm-stats.com/benchmarks/gpqa llm-stats.com
  • 论文:https://arxiv.org/pdf/2311.12022
  • 简介:由学科专家(多为博士)撰写的 198 道"Google-proof"研究生级理科多选题,博士专家本人仅约 69.7% 正确率;目前已有 24 个模型超过 90%,属明显饱和的"知识+推理"参考,仍可作为顶级模型理科推理的快速筛选指标

参考位置(三方整合榜单):

  • AA(Artificial Analysis):https://artificialanalysis.ai/leaderboards/models
  • Vals.AI:https://www.vals.ai/benchmarks
  • LLM STATS benchmarks:https://llm-stats.com/benchmarks
  • Epoch.ai:https://epoch.ai/benchmarks
  • Snorkel benckmark leaderboards:https://snorkel.ai/leaderboard/
  • Dataleaner Benchmarks:https://www.datalearner.com/benchmarks
  • BenchLM benchmarks:https://benchlm.ai/benchmarks
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/2 15:56:17

助记词碰撞TRC20链?从原理、概率到钱包安全防护全解析

简介:面向TRC20链USDT生态的助记词碰撞工具,适合需要验证地址与助记词匹配关系、研究钱包密钥生成规则的用户,旨在解决完全随机生成算法产生大量无效密钥、碰撞效率低下的问题。压缩包内含一百六十三个文件,主要由动态链接库、可执…

作者头像 李华
网站建设 2026/9/2 15:56:17

springboot网上书店管理系统21560-计算机课程设计、毕业设计

前言 博主介绍:一线全栈工程师,毕设实战引路人。技术栈覆盖Java、Python、C#、PHP、Node.js及UniApp跨端开发,擅长多语言项目落地与架构设计。持续分享毕设源码、开题报告、技术选型心得与职场踩坑经验。用工程化思维写代码,帮你…

作者头像 李华
网站建设 2026/9/2 15:56:08

PHP实现微信支付V3企业付款到零钱:接口升级与幂等性设计实践

简介:本资源是一套开箱即用的PHP微信支付企业付款到零钱功能接口实现源码,面向具备基础PHP开发能力、正在接入微信企业付款能力的后端开发者或中小企业技术负责人。资源聚焦解决「企业账户向用户微信零钱批量打款」这一高频合规场景,严格遵循…

作者头像 李华
网站建设 2026/9/2 15:54:21

tcnopen-trdp实战:TCN从源码到嵌入式部署全解析

简介:这份源码包实现列车通信网络(TCN)中的TRDP协议,面向轨道交通领域的嵌入式软件开发者和网络工程师。TRDP作为以太网编组网(ECN)标准,解决了传统列车总线在车载广播、视频传输、固件升级等场…

作者头像 李华
网站建设 2026/9/2 15:54:11

大语言模型鲁棒性压力测试:解码层禁忌诊断框架实践指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华