Omni-MATH: Um Padrão Matemático Universal de Nível Olímpico para Modelos de Linguagem de Grande Escala

Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models

October 10, 2024

Autores: Bofei Gao, Feifan Song, Zhe Yang, Zefan Cai, Yibo Miao, Qingxiu Dong, Lei Li, Chenghao Ma, Liang Chen, Runxin Xu, Zhengyang Tang, Benyou Wang, Daoguang Zan, Shanghaoran Quan, Ge Zhang, Lei Sha, Yichang Zhang, Xuancheng Ren, Tianyu Liu, Baobao Chang

cs.AI

Resumo

Os avanços recentes em modelos de linguagem grandes (LLMs) têm levado a avanços significativos nas capacidades de raciocínio matemático. No entanto, benchmarks existentes como GSM8K ou MATH estão agora sendo resolvidos com alta precisão (por exemplo, o OpenAI o1 atinge 94,8% no conjunto de dados MATH), indicando sua inadequação para desafiar verdadeiramente esses modelos. Para preencher essa lacuna, propomos um benchmark abrangente e desafiador especificamente projetado para avaliar o raciocínio matemático dos LLMs no nível da Olimpíada. Ao contrário dos benchmarks relacionados à Olimpíada existentes, nosso conjunto de dados foca exclusivamente em matemática e compreende uma vasta coleção de 4428 problemas de nível de competição com anotações humanas rigorosas. Esses problemas são meticulosamente categorizados em mais de 33 subdomínios e abrangem mais de 10 níveis de dificuldade distintos, possibilitando uma avaliação holística do desempenho do modelo no raciocínio matemático da Olimpíada. Além disso, realizamos uma análise aprofundada com base nesse benchmark. Nossos resultados experimentais mostram que mesmo os modelos mais avançados, OpenAI o1-mini e OpenAI o1-preview, têm dificuldade com problemas de nível olímpico altamente desafiadores, com precisão de 60,54% e 52,55%, destacando desafios significativos no raciocínio matemático de nível olímpico.

English

Recent advancements in large language models (LLMs) have led to significant breakthroughs in mathematical reasoning capabilities. However, existing benchmarks like GSM8K or MATH are now being solved with high accuracy (e.g., OpenAI o1 achieves 94.8% on MATH dataset), indicating their inadequacy for truly challenging these models. To bridge this gap, we propose a comprehensive and challenging benchmark specifically designed to assess LLMs' mathematical reasoning at the Olympiad level. Unlike existing Olympiad-related benchmarks, our dataset focuses exclusively on mathematics and comprises a vast collection of 4428 competition-level problems with rigorous human annotation. These problems are meticulously categorized into over 33 sub-domains and span more than 10 distinct difficulty levels, enabling a holistic assessment of model performance in Olympiad-mathematical reasoning. Furthermore, we conducted an in-depth analysis based on this benchmark. Our experimental results show that even the most advanced models, OpenAI o1-mini and OpenAI o1-preview, struggle with highly challenging Olympiad-level problems, with 60.54% and 52.55% accuracy, highlighting significant challenges in Olympiad-level mathematical reasoning.