已适配数据集#
概述#
本节将介绍 AGI-Eval 已适配的数据集列表。
每个数据集都给出了框架默认的评测配置，可以基于该配置快速启动评测任务。
数据集列表#
| 数据集名称 | 资源地址 | 评测配置 |
|---|---|---|
| AIME_2024 | AIME_2024 | config |
| AIME_2025 | AIME_2025 | config |
| BBEH | BBEH | config |
| BBH-Cot-3Shot | BBH-Cot-3Shot | config |
| BeyondAIME | BeyondAIME | config |
| CEval | CEval | config |
| CMMLU | CMMLU | config |
| DROP | DROP | config |
| GPQA | GPQA | config |
| GSM8K | GSM8K | config |
| IFEval | IFEval | config |
| MATH | MATH | config |
| MATH-500 | MATH-500 | config |
| MGSM | MGSM | config |
| MMLU | MMLU | config |
| MMLU-Pro | MMLU-Pro | config |
| MMLU-Redux | MMLU-Redux | config |
| MMMLU | MMMLU | config |
| OlympiadBench | OlympiadBench | config |
| SimpleQA | SimpleQA | config |
| SuperGPQA | SuperGPQA | config |
| mIFEval | mIFEval | config |