AMO-Bench: Modelos de Linguagem de Grande Porte Ainda Enfrentam Dificuldades em Competições de Matemática do Ensino Médio

AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

October 30, 2025

Autores: Shengnan An, Xunliang Cai, Xuezhi Cao, Xiaoyu Li, Yehao Lin, Junlin Liu, Xinxuan Lv, Dan Ma, Xuanlin Wang, Ziwen Wang, Shuang Zhou

cs.AI

Resumo

Apresentamos o AMO-Bench, um benchmark avançado de raciocínio matemático com dificuldade de nível olímpico ou superior, composto por 50 problemas elaborados manualmente. Os benchmarks existentes têm utilizado amplamente competições matemáticas do ensino médio para avaliar as capacidades de raciocínio matemático de modelos de linguagem de grande escala (LLMs). No entanto, muitas competições matemáticas existentes estão a tornar-se menos eficazes para avaliar LLMs de ponta devido à saturação de desempenho (por exemplo, AIME24/25). Para resolver esta questão, o AMO-Bench introduz desafios mais rigorosos, garantindo que todos os 50 problemas são (1) validados cruzadamente por especialistas para cumprir pelo menos os padrões de dificuldade da Olimpíada Internacional de Matemática (IMO), e (2) problemas inteiramente originais para evitar possíveis vazamentos de desempenho por memorização de dados. Além disso, cada problema no AMO-Bench requer apenas uma resposta final em vez de uma demonstração, permitindo uma classificação automática e robusta para avaliação. Os resultados experimentais em 26 LLMs no AMO-Bench mostram que mesmo o modelo com melhor desempenho atinge apenas 52,4% de precisão no AMO-Bench, com a maioria dos LLMs a obter pontuações abaixo de 40%. Para além destes desempenhos fracos, a nossa análise adicional revela uma tendência promissora de escalabilidade com o aumento do *compute* em tempo de teste no AMO-Bench. Estes resultados destacam o espaço significativo para melhorar o raciocínio matemático nos LLMs atuais. Disponibilizamos o AMO-Bench para facilitar mais investigações no avanço das capacidades de raciocínio dos modelos de linguagem. https://amo-bench.github.io/

English

We present AMO-Bench, an Advanced Mathematical reasoning benchmark with Olympiad level or even higher difficulty, comprising 50 human-crafted problems. Existing benchmarks have widely leveraged high school math competitions for evaluating mathematical reasoning capabilities of large language models (LLMs). However, many existing math competitions are becoming less effective for assessing top-tier LLMs due to performance saturation (e.g., AIME24/25). To address this, AMO-Bench introduces more rigorous challenges by ensuring all 50 problems are (1) cross-validated by experts to meet at least the International Mathematical Olympiad (IMO) difficulty standards, and (2) entirely original problems to prevent potential performance leakages from data memorization. Moreover, each problem in AMO-Bench requires only a final answer rather than a proof, enabling automatic and robust grading for evaluation. Experimental results across 26 LLMs on AMO-Bench show that even the best-performing model achieves only 52.4% accuracy on AMO-Bench, with most LLMs scoring below 40%. Beyond these poor performances, our further analysis reveals a promising scaling trend with increasing test-time compute on AMO-Bench. These results highlight the significant room for improving the mathematical reasoning in current LLMs. We release AMO-Bench to facilitate further research into advancing the reasoning abilities of language models. https://amo-bench.github.io/