Nemo Skills数学推理评估指南：AIME、AMC等10大数学竞赛数据集实战

Nemo Skills数学推理评估指南：AIME、AMC等10大数学竞赛数据集实战

【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills

Nemo Skills是一款专为提升大语言模型数学推理能力设计的开源工具包，提供了全面的数学竞赛数据集评估框架。本文将详细介绍如何使用Nemo Skills对AIME、AMC等10大数学竞赛数据集进行高效评估，帮助开发者快速掌握模型在复杂数学问题上的表现分析方法。

核心评估框架与工作原理

Nemo Skills的数学推理评估系统基于符号检查器与LLM裁判模型双重验证机制，确保评估结果的准确性和可靠性。系统默认从模型生成结果的最后一个\boxed{}字段提取答案，这与generic/math提示配置保持一致。对于需要复杂表达式比较的场景，可启用GPT-4.1等LLM作为裁判，通过自然语言理解判断答案等价性。

图1：Nemo Skills数学推理评估流程展示，包含数据准备、模型推理、答案提取和结果判断四个核心步骤

答案提取机制

默认配置下，系统使用以下逻辑提取答案：

# 标准配置：从\boxed{}提取答案 ++eval_config.extract_from_boxed=True # 自定义配置：从"Final answer:"后提取 ++eval_config.extract_from_boxed=False ++eval_config.extract_regex='Final answer: (.+)$'

十大数学竞赛数据集全解析

Nemo Skills支持10+主流数学竞赛数据集，覆盖从中学到奥林匹克级别的数学问题。以下是核心数据集的详细介绍：

1. AIME系列（美国数学邀请赛）

• aime24：2024年美国数学邀请赛题目，定义于nemo_skills/dataset/aime24/init.py
• aime25：2025年最新赛题，包含30道高难度问题，定义于nemo_skills/dataset/aime25/init.py

2. AMC系列（美国数学竞赛）

• amc23：2023年AMC 12A竞赛题目，定义于nemo_skills/dataset/amc23/init.py，包含25道选择题，侧重代数和几何推理。

3. 其他竞赛数据集

图2：不同模型在AIME24、AIME25等竞赛数据集上的性能对比，展示Nemo Skills评估框架的分析能力

快速开始：3步完成AIME评估

第1步：环境准备

# 克隆仓库 git clone https://gitcode.com/gh_mirrors/ne/Skills cd Skills # 安装依赖 pip install -r requirements/core.txt pip install -r requirements/pipeline.txt

第2步：执行评估命令

使用以下命令评估模型在AIME24数据集上的表现：

ns eval \ --cluster=local \ --server_type=openai \ --output_dir=/workspace/aime-eval \ --model=meta/llama-3.1-8b-instruct \ --benchmarks=aime24:4 \ --prompt_config=generic/math

参数说明：

• --benchmarks=aime24:4：对AIME24数据集执行4次重复评估
• --prompt_config=generic/math：使用标准数学提示模板

第3步：分析评估结果

评估完成后，结果将保存在/workspace/aime-eval目录。关键结果文件包括：

• output.jsonl：原始输出结果
• metrics.json：性能指标汇总
• error_analysis.html：错误案例分析报告

图3：AIME25数据集评估结果可视化，展示不同模型在各题型上的通过率分布

高级评估技巧

多数据集批量评估

通过逗号分隔多个数据集名称，实现批量评估：

ns eval \ --benchmarks=aime24:4,aime25:4,amc23:4 \ --output_dir=/workspace/math-eval-all

自定义LLM裁判

对于复杂数学表达式评估，可配置自定义裁判模型：

ns eval \ --judge_model=nvidia/llama-3.1-nemotron-ultra-253b-v1 \ --judge_server_address=https://integrate.api.nvidia.com/v1 \ --judge_generation_type=math_judge

鲁棒性测试

使用内置的鲁棒性评估工具，分析模型在不同提示变体下的稳定性：

ns summarize_robustness \ --results_dir=/workspace/math-eval-all \ --output_dir=/workspace/robustness-report

常见问题解决

答案提取失败

• 检查模型输出是否包含\boxed{}字段
• 尝试调整提取正则表达式：++eval_config.extract_regex='Answer: (\d+)'

评估速度慢

• 减少重复次数：--benchmarks=aime24:2（默认4次）
• 使用GPU加速：--server_type=sglang --server_gpus=2

结果波动大

• 增加重复评估次数：--benchmarks=aime24:8
• 启用温度采样：++temperature=0.7

总结与资源

Nemo Skills提供了从数据准备到结果分析的全流程数学推理评估解决方案，支持AIME、AMC等10+竞赛数据集。通过本文介绍的方法，开发者可以快速构建模型评估 pipeline，精确衡量模型在复杂数学问题上的表现。

官方资源：

• 完整文档：docs/evaluation/natural-math.md
• 评估工具源码：nemo_skills/pipeline/eval.py
• 数据集配置：nemo_skills/dataset/

通过Nemo Skills，您可以系统地提升大语言模型的数学推理能力，为构建更智能的数学AI助手奠定基础！ 🚀

【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills