Omni-MATH: Un punto de referencia matemático de nivel olímpico universal para modelos de lenguaje grandes

Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

October 10, 2024

Autores: Bofei Gao, Feifan Song, Zhe Yang, Zefan Cai, Yibo Miao, Qingxiu Dong, Lei Li, Chenghao Ma, Liang Chen, Runxin Xu, Zhengyang Tang, Benyou Wang, Daoguang Zan, Shanghaoran Quan, Ge Zhang, Lei Sha, Yichang Zhang, Xuancheng Ren, Tianyu Liu, Baobao Chang

cs.AI

Resumen

Los recientes avances en modelos de lenguaje grandes (LLMs) han llevado a avances significativos en las capacidades de razonamiento matemático. Sin embargo, benchmarks existentes como GSM8K o MATH ahora están siendo resueltos con alta precisión (por ejemplo, OpenAI o1 logra un 94.8% en el conjunto de datos MATH), lo que indica su insuficiencia para desafiar verdaderamente estos modelos. Para cerrar esta brecha, proponemos un benchmark integral y desafiante diseñado específicamente para evaluar el razonamiento matemático de LLMs a nivel de Olimpiada. A diferencia de benchmarks relacionados con Olimpiadas existentes, nuestro conjunto de datos se enfoca exclusivamente en matemáticas y comprende una vasta colección de 4428 problemas de nivel de competencia con anotaciones humanas rigurosas. Estos problemas están meticulosamente categorizados en más de 33 subdominios y abarcan más de 10 niveles de dificultad distintos, lo que permite una evaluación holística del rendimiento del modelo en el razonamiento matemático de Olimpiada. Además, realizamos un análisis detallado basado en este benchmark. Nuestros resultados experimentales muestran que incluso los modelos más avanzados, OpenAI o1-mini y OpenAI o1-preview, tienen dificultades con problemas de nivel de Olimpiada altamente desafiantes, con una precisión del 60.54% y 52.55%, resaltando desafíos significativos en el razonamiento matemático de nivel de Olimpiada.

English

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs' mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.