Omni-MATH: Универсальный математический бенчмарк олимпийского уровня для крупных моделей языка.

Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

October 10, 2024

Авторы: Bofei Gao, Feifan Song, Zhe Yang, Zefan Cai, Yibo Miao, Qingxiu Dong, Lei Li, Chenghao Ma, Liang Chen, Runxin Xu, Zhengyang Tang, Benyou Wang, Daoguang Zan, Shanghaoran Quan, Ge Zhang, Lei Sha, Yichang Zhang, Xuancheng Ren, Tianyu Liu, Baobao Chang

cs.AI

Аннотация

Недавние достижения в области крупных языковых моделей (LLM) привели к значительным прорывам в математических способностях рассуждения. Однако существующие бенчмарки, такие как GSM8K или MATH, теперь решаются с высокой точностью (например, OpenAI o1 достигает 94.8% на наборе данных MATH), что указывает на их недостаточность для по-настоящему вызова этих моделей. Для устранения этого разрыва мы предлагаем всесторонний и сложный бенчмарк, специально разработанный для оценки математического рассуждения LLM на уровне олимпиады. В отличие от существующих бенчмарков, связанных с олимпиадами, наш набор данных сосредоточен исключительно на математике и включает в себя обширную коллекцию из 4428 проблем уровня соревнования с тщательной аннотацией человека. Эти проблемы тщательно категоризированы на более чем 33 поддомена и охватывают более 10 различных уровней сложности, обеспечивая всестороннюю оценку производительности модели в математическом рассуждении на уровне олимпиады. Кроме того, мы провели глубокий анализ на основе этого бенчмарка. Наши экспериментальные результаты показывают, что даже самые передовые модели, OpenAI o1-mini и OpenAI o1-preview, испытывают трудности с высоко сложными проблемами на уровне олимпиады, с точностью 60.54% и 52.55%, подчеркивая значительные вызовы в математическом рассуждении на уровне олимпиады.

English

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs' mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.