Omni-MATH: un riferimento matematico di livello olimpiadico universale per grandi modelli linguistici

Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

October 10, 2024

Autori: Bofei Gao, Feifan Song, Zhe Yang, Zefan Cai, Yibo Miao, Qingxiu Dong, Lei Li, Chenghao Ma, Liang Chen, Runxin Xu, Zhengyang Tang, Benyou Wang, Daoguang Zan, Shanghaoran Quan, Ge Zhang, Lei Sha, Yichang Zhang, Xuancheng Ren, Tianyu Liu, Baobao Chang

cs.AI

Abstract

I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno portato a significativi avanzamenti nelle capacità di ragionamento matematico. Tuttavia, benchmark esistenti come GSM8K o MATH stanno ora venendo risolti con alta precisione (ad esempio, OpenAI o1 raggiunge il 94,8% sul dataset MATH), indicando la loro inadeguatezza nel mettere veramente alla prova questi modelli. Per colmare questa lacuna, proponiamo un benchmark completo e sfidante appositamente progettato per valutare il ragionamento matematico dei LLM a livello olimpico. A differenza dei benchmark olimpici esistenti, il nostro dataset si concentra esclusivamente sulla matematica e comprende una vasta raccolta di 4428 problemi di livello competitivo con un'annotazione umana rigorosa. Questi problemi sono categorizzati meticolosamente in oltre 33 sub-dominii e coprono più di 10 livelli di difficoltà distinti, consentendo una valutazione olistica delle prestazioni del modello nel ragionamento matematico olimpico. Inoltre, abbiamo condotto un'analisi approfondita basata su questo benchmark. I nostri risultati sperimentali mostrano che anche i modelli più avanzati, OpenAI o1-mini e OpenAI o1-preview, faticano con problemi di livello olimpico altamente sfidanti, con una precisione del 60,54% e del 52,55%, evidenziando significativi ostacoli nel ragionamento matematico di livello olimpico.

English

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs' mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.