Omni-MATH : un référentiel mathématique de niveau olympique universel pour les grands modèles de langage

Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

October 10, 2024

Auteurs: Bofei Gao, Feifan Song, Zhe Yang, Zefan Cai, Yibo Miao, Qingxiu Dong, Lei Li, Chenghao Ma, Liang Chen, Runxin Xu, Zhengyang Tang, Benyou Wang, Daoguang Zan, Shanghaoran Quan, Ge Zhang, Lei Sha, Yichang Zhang, Xuancheng Ren, Tianyu Liu, Baobao Chang

cs.AI

Résumé

Les récents progrès dans les grands modèles de langage (LLM) ont conduit à des avancées significatives dans les capacités de raisonnement mathématique. Cependant, les benchmarks existants tels que GSM8K ou MATH sont désormais résolus avec une grande précision (par exemple, OpenAI o1 atteint 94,8% sur l'ensemble de données MATH), indiquant leur inadéquation pour défier réellement ces modèles. Pour combler cet écart, nous proposons un benchmark complet et exigeant spécifiquement conçu pour évaluer le raisonnement mathématique des LLM au niveau olympique. Contrairement aux benchmarks existants liés aux Olympiades, notre ensemble de données se concentre exclusivement sur les mathématiques et comprend une vaste collection de 4428 problèmes de niveau de compétition avec une annotation humaine rigoureuse. Ces problèmes sont méticuleusement catégorisés en plus de 33 sous-domaines et couvrent plus de 10 niveaux de difficulté distincts, permettant une évaluation holistique des performances du modèle en matière de raisonnement mathématique olympique. De plus, nous avons mené une analyse approfondie basée sur ce benchmark. Nos résultats expérimentaux montrent que même les modèles les plus avancés, OpenAI o1-mini et OpenAI o1-preview, ont du mal avec des problèmes de niveau olympique très difficiles, avec des précisions de 60,54% et 52,55%, mettant en évidence des défis significatifs dans le raisonnement mathématique de niveau olympique.

English

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs' mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.