news 2026/7/13 16:40:25

大模型复合基准评估指标-AAII

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
大模型复合基准评估指标-AAII

Artificial Analysis Intelligence Index(AAII)是Artificial Analysis推出的一项综合性基准评分。

AAII旨在衡量和追踪大型语言模型的综合智能水平。

1 评分方式

AAII是一个复合基准分,通过加权平均多个单项评测得分,评估模型在推理、编程、知识、指令遵循、科学推理及多步骤任务执行等多方面的能力。得分从0到100分,AAII作为一个综合指标,防止模型在单一领域“偏科”,为追踪AI向通用人工智能(AGI)的进展提供一个统一的参考。

2 面向智能体

2026年6月15日,Artificial Analysis发布了Intelligence Index v4.1。此版本标志着评测重心向智能体负载的重大转变。

2.1 更新与重加权评测项

1)升级

Terminal-Bench Hard升级为更难的Terminal-Bench v2.1;将τ²-Bench Telecom升级为τ³-Bench Banking,以包含更真实的智能体场景。

2)替换

GDPval-AA升级为GDPval-AA v2,重新校准了评分基准。

3)移除

由于已无法有效区分前沿模型,移除了已饱和的IFBench基准。

2.2 新增指标

新增了单任务成本(Cost per Task)、单任务时间(Time per Task) 和单任务令牌数(Tokens per Task) 三个维度,为模型的实际应用提供更全面的参考。


3 评测构成与权重

根据最新论文,Intelligence Index v4.1由9项评测构成。

并分为四个大类,其中智能体(Agents)能力的权重最高。

类别权重包含的评测项
智能体 (Agents)34%GDPval-AA v2 (20%), ³-Banking (14%)
编程 (Coding)24%Terminal-Bench v2.1 (16%), SciCode (8%)
科学推理 (Scientific Reasoning)24%Humanity's Last Exam (12%), GPQA Diamond (6%), CritPt (6%)
通用 (General)18%AA-LCR (6%), AA-Omniscience (12%)

需要注意的是,v4.0版本曾包含10项评测,而v4.1版本移除IFBench后调整为9项。

4 最新排名表现

根据Artificial Analysis于2026年6月15日发布的数据:

1)整体领先

Claude Fable 5(使用Opus 4.8备选)以60分领跑,但该模型暂不可用。

在可用模型中,Claude Opus 4.8(得分56)领先于GPT-5.5(得分55)。

2)开源模型领先

在开源权重模型中,DeepSeek V4 Pro和MiniMax M3均以44分并列领先。

3)成本与效率:

最贵:Claude Opus 4.8完成一个智能指数任务的平均成本为1.78美元。

性价比高:DeepSeek V4 Pro的单任务成本仅为0.04美元,得分44分,其成本是GPT-5.5(0.99美元)的1/20,是Claude Opus 4.8的1/40。

速度最快:Grok 4.3完成单任务平均仅需1.5分钟。

5 相关指数

Artificial Analysis Intelligence Index是一个动态更新、旨在紧跟AI发展前沿的综合性评测体系,其最新版本v4.1显著加强了对模型执行复杂、多步骤“智能体”任务的考核。Artificial Analysis还提供其他专业指数:

1)Artificial Analysis Openness Index

一个衡量模型开放程度的复合指标,评估在权重、训练数据、架构等方面的可用性和透明度。

2)Agentic Index

专门衡量模型在智能体工作流中的表现,如工具使用、规划、自主性等。

3)行业特定指数

2026年7月,Artificial Analysis还推出了针对金融、法律和医疗等专业领域的六个新AI能力指数。

reference

---

Comparison of Models: Intelligence, Performance & Price Analysis

https://artificialanalysis.ai/models

Qwen3.5: Towards Native Multimodal Agents

https://qwen.ai/blog?id=qwen3.5

Qwen3 Technical Report

https://arxiv.org/abs/2505.09388

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/13 16:39:26

二、静态库的制作和使用

一、静态库的制作 什么是库 库文件是计算机上的一类文件,可以简单的把库文件看成一种代码仓库,它提供给使用者一些可以直接拿来用的变量、函数或类。库是特殊的一种程序,编写库的程序和编写一般的程序区别不大,只是库不能单独运…

作者头像 李华
网站建设 2026/7/13 16:38:52

Unity粒子系统性能优化:移动端特效渲染开销分析与实战策略

1. 项目概述:粒子特效的性能之痛与优化价值在移动游戏开发中,粒子特效是营造沉浸感、提升视觉表现力的利器。无论是技能释放时的炫光、环境中的飘雪落叶,还是UI界面的动态反馈,都离不开ParticleSystem。然而,这份视觉盛…

作者头像 李华
网站建设 2026/7/13 16:37:55

AI大模型学习指南:小白程序员必备,收藏这份高薪技能秘籍!

随着AI技术快速发展,AI人才已成为招聘市场热点。大厂纷纷扩招AI相关岗位,薪酬水平显著提升。大模型算法、产品经理等需求位居前列,AI技能正从加分项转变为职场硬性要求。未来,能否将AI融入业务场景创造价值将成为关键。对于想进入…

作者头像 李华
网站建设 2026/7/13 16:37:43

ZenTorch与vLLM协同优化:AMD 20B模型推理性能调优指南

ZenTorch与vLLM协同优化:AMD 20B模型推理性能调优指南 【免费下载链接】gpt-oss-20b-BF16-w4a16-asym-torchao-v0.17.0 项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-20b-BF16-w4a16-asym-torchao-v0.17.0 AMD 20B模型(gpt-oss-20b…

作者头像 李华
网站建设 2026/7/13 16:37:23

MLX框架下的Laguna-M.1-4bit部署指南:从零到生产环境

MLX框架下的Laguna-M.1-4bit部署指南:从零到生产环境 【免费下载链接】Laguna-M.1-4bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Laguna-M.1-4bit 欢迎来到MLX框架下的Laguna-M.1-4bit部署终极指南!🎉 本文将带你…

作者头像 李华