AMO-Bench: Крупные языковые модели всё ещё испытывают трудности с задачами математических олимпиад для старшеклассников

AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

October 30, 2025

Авторы: Shengnan An, Xunliang Cai, Xuezhi Cao, Xiaoyu Li, Yehao Lin, Junlin Liu, Xinxuan Lv, Dan Ma, Xuanlin Wang, Ziwen Wang, Shuang Zhou

cs.AI

Аннотация

Мы представляем AMO-Bench — эталонный тест для оценки продвинутого математического мышления уровня олимпиад или даже выше, состоящий из 50 задач, созданных вручную. Существующие бенчмарки широко используют задачи математических соревнований уровня старшей школы для оценки способностей больших языковых моделей (LLM) к математическим рассуждениям. Однако многие существующие математические соревнования становятся менее эффективными для оценки моделей высшего эшелона из-за насыщения производительности (например, AIME24/25). Чтобы решить эту проблему, AMO-Bench предлагает более строгие задачи, гарантируя, что все 50 проблем (1) прошли перекрёстную проверку экспертами на соответствие как минимум стандартам сложности Международной математической олимпиады (IMO) и (2) являются полностью оригинальными, чтобы предотвратить потенциальные утечки производительности из-за запоминания данных. Более того, каждая задача в AMO-Bench требует только конечного ответа, а не доказательства, что позволяет проводить автоматическую и надежную оценку. Результаты экспериментов на 26 LLM с использованием AMO-Bench показывают, что даже лучшая модель достигает точности лишь 52,4%, при этом большинство LLM набирают ниже 40%. Помимо этих низких результатов, наш дальнейший анализ выявляет обнадеживающую тенденцию масштабирования с увеличением вычислительных ресурсов во время тестирования на AMO-Bench. Эти результаты подчеркивают значительный потенциал для улучшения математических рассуждений в современных LLM. Мы публикуем AMO-Bench для содействия дальнейшим исследованиям в области развития способностей языковых моделей к рассуждениям.

English

We present AMO-Bench, an Advanced Mathematical reasoning benchmark with Olympiad level or even higher difficulty, comprising 50 human-crafted problems. Existing benchmarks have widely leveraged high school math competitions for evaluating mathematical reasoning capabilities of large language models (LLMs). However, many existing math competitions are becoming less effective for assessing top-tier LLMs due to performance saturation (e.g., AIME24/25). To address this, AMO-Bench introduces more rigorous challenges by ensuring all 50 problems are (1) cross-validated by experts to meet at least the International Mathematical Olympiad (IMO) difficulty standards, and (2) entirely original problems to prevent potential performance leakages from data memorization. Moreover, each problem in AMO-Bench requires only a final answer rather than a proof, enabling automatic and robust grading for evaluation. Experimental results across 26 LLMs on AMO-Bench show that even the best-performing model achieves only 52.4% accuracy on AMO-Bench, with most LLMs scoring below 40%. Beyond these poor performances, our further analysis reveals a promising scaling trend with increasing test-time compute on AMO-Bench. These results highlight the significant room for improving the mathematical reasoning in current LLMs. We release AMO-Bench to facilitate further research into advancing the reasoning abilities of language models. https://amo-bench.github.io/