AMO-Bench: Los Modelos de Lenguaje a Gran Escala Aún Tienen Dificultades en las Competencias de Matemáticas de Secundaria

Resumen

Presentamos AMO-Bench, un benchmark avanzado de razonamiento matemático con dificultad a nivel olímpico o incluso superior, que comprende 50 problemas elaborados manualmente. Los benchmarks existentes han aprovechado ampliamente las competiciones matemáticas de nivel preuniversitario para evaluar las capacidades de razonamiento matemático de los modelos de lenguaje grandes (LLMs). Sin embargo, muchas competiciones matemáticas existentes se están volviendo menos efectivas para evaluar los LLMs de primer nivel debido a la saturación del rendimiento (por ejemplo, AIME24/25). Para abordar esto, AMO-Bench introduce desafíos más rigurosos al garantizar que los 50 problemas (1) sean validados cruzadamente por expertos para cumplir al menos con los estándares de dificultad de la Olimpiada Internacional de Matemáticas (IMO), y (2) sean problemas completamente originales para evitar posibles filtraciones de rendimiento por memorización de datos. Además, cada problema en AMO-Bench requiere solo una respuesta final en lugar de una demostración, permitiendo una evaluación automática y robusta. Los resultados experimentales en 26 LLMs con AMO-Bench muestran que incluso el modelo con mejor rendimiento alcanza solo un 52.4% de precisión, con la mayoría de los LLMs por debajo del 40%. Más allá de estos pobres resultados, nuestro análisis adicional revela una tendencia prometedora de escalado con el aumento del cómputo en tiempo de prueba en AMO-Bench. Estos resultados resaltan el margen significativo de mejora en el razonamiento matemático de los LLMs actuales. Publicamos AMO-Bench para facilitar más investigación hacia el avance de las habilidades de razonamiento de los modelos de lenguaje. https://amo-bench.github.io/

English

We present AMO-Bench, an Advanced Mathematical reasoning benchmark with Olympiad level or even higher difficulty, comprising 50 human-crafted problems. Existing benchmarks have widely leveraged high school math competitions for evaluating mathematical reasoning capabilities of large language models (LLMs). However, many existing math competitions are becoming less effective for assessing top-tier LLMs due to performance saturation (e.g., AIME24/25). To address this, AMO-Bench introduces more rigorous challenges by ensuring all 50 problems are (1) cross-validated by experts to meet at least the International Mathematical Olympiad (IMO) difficulty standards, and (2) entirely original problems to prevent potential performance leakages from data memorization. Moreover, each problem in AMO-Bench requires only a final answer rather than a proof, enabling automatic and robust grading for evaluation. Experimental results across 26 LLMs on AMO-Bench show that even the best-performing model achieves only 52.4% accuracy on AMO-Bench, with most LLMs scoring below 40%. Beyond these poor performances, our further analysis reveals a promising scaling trend with increasing test-time compute on AMO-Bench. These results highlight the significant room for improving the mathematical reasoning in current LLMs. We release AMO-Bench to facilitate further research into advancing the reasoning abilities of language models. https://amo-bench.github.io/

AMO-Bench: Los Modelos de Lenguaje a Gran Escala Aún Tienen Dificultades en las Competencias de Matemáticas de Secundaria

AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

Resumen

Support