AMO-Bench : Les grands modèles de langage peinent encore dans les compétitions de mathématiques du secondaire

papers.abstract

Nous présentons AMO-Bench, un benchmark avancé de raisonnement mathématique de niveau Olympiade ou supérieur, comprenant 50 problèmes conçus manuellement. Les benchmarks existants ont largement exploité les concours de mathématiques du secondaire pour évaluer les capacités de raisonnement mathématique des grands modèles de langage (LLM). Cependant, de nombreux concours mathématiques actuels deviennent moins efficaces pour évaluer les LLM de premier plan en raison de la saturation des performances (par exemple, AIME24/25). Pour y remédier, AMO-Bench introduit des défis plus rigoureux en garantissant que ses 50 problèmes sont (1) validés par des experts pour répondre au moins aux standards de difficulté des Olympiades Internationales de Mathématiques (OIM), et (2) entièrement originaux pour éviter les fuites potentielles de performances dues à la mémorisation des données. De plus, chaque problème d'AMO-Bench ne requiert qu'une réponse finale plutôt qu'une démonstration, permettant une évaluation automatique et robuste. Les résultats expérimentaux sur 26 LLM avec AMO-Bench montrent que même le modèle le plus performant n'atteint que 52,4 % de précision, la majorité des LLM obtenant des scores inférieurs à 40 %. Au-delà de ces faibles performances, notre analyse approfondie révèle une tendance prometteuse de scaling avec l'augmentation des calculs lors des tests sur AMO-Bench. Ces résultats mettent en évidence la marge d'amélioration significative du raisonnement mathématique des LLM actuels. Nous publions AMO-Bench pour faciliter les recherches futures visant à faire progresser les capacités de raisonnement des modèles de langage. https://amo-bench.github.io/

English

We present AMO-Bench, an Advanced Mathematical reasoning benchmark with Olympiad level or even higher difficulty, comprising 50 human-crafted problems. Existing benchmarks have widely leveraged high school math competitions for evaluating mathematical reasoning capabilities of large language models (LLMs). However, many existing math competitions are becoming less effective for assessing top-tier LLMs due to performance saturation (e.g., AIME24/25). To address this, AMO-Bench introduces more rigorous challenges by ensuring all 50 problems are (1) cross-validated by experts to meet at least the International Mathematical Olympiad (IMO) difficulty standards, and (2) entirely original problems to prevent potential performance leakages from data memorization. Moreover, each problem in AMO-Bench requires only a final answer rather than a proof, enabling automatic and robust grading for evaluation. Experimental results across 26 LLMs on AMO-Bench show that even the best-performing model achieves only 52.4% accuracy on AMO-Bench, with most LLMs scoring below 40%. Beyond these poor performances, our further analysis reveals a promising scaling trend with increasing test-time compute on AMO-Bench. These results highlight the significant room for improving the mathematical reasoning in current LLMs. We release AMO-Bench to facilitate further research into advancing the reasoning abilities of language models. https://amo-bench.github.io/

AMO-Bench : Les grands modèles de langage peinent encore dans les compétitions de mathématiques du secondaire

AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

papers.abstract

Support