Omni-MATH: 大規模言語モデル向けの普遍的なオリンピアードレベル数学ベンチマーク

Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

October 10, 2024

著者: Bofei Gao, Feifan Song, Zhe Yang, Zefan Cai, Yibo Miao, Qingxiu Dong, Lei Li, Chenghao Ma, Liang Chen, Runxin Xu, Zhengyang Tang, Benyou Wang, Daoguang Zan, Shanghaoran Quan, Ge Zhang, Lei Sha, Yichang Zhang, Xuancheng Ren, Tianyu Liu, Baobao Chang

cs.AI

要旨

最近の大規模言語モデル（LLM）の進歩により、数学的推論能力において重要な突破がもたらされています。ただし、GSM8KやMATHなどの既存のベンチマークは、高い精度で解かれるようになり（例えば、OpenAI o1はMATHデータセットで94.8%を達成）、これらのモデルに真に挑戦するには不十分であることが示されています。このギャップを埋めるために、私たちは、LLMの数学的推論能力をオリンピアードレベルで評価するために特に設計された包括的で厳しいベンチマークを提案します。既存のオリンピアード関連のベンチマークとは異なり、当社のデータセットは数学に特化し、厳密な人間による注釈を施した4428の競技レベルの問題の広範なコレクションから構成されています。これらの問題は33以上のサブドメインに細分化され、10以上の異なる難易度レベルにわたり、オリンピアード数学推論のモデルパフォーマンスを包括的に評価することを可能にしています。さらに、このベンチマークに基づいた詳細な分析を実施しました。実験結果によると、最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでも、非常に困難なオリンピアードレベルの問題に苦戦し、それぞれ60.54%と52.55%の精度にとどまり、オリンピアードレベルの数学的推論における重要な課題が浮き彫りになっています。

English

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs' mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.