AMO-Bench: Grote Taalmodellen Blijven Moeite Hebben met Wiskundewedstrijden op Middelbareschoolniveau

AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

October 30, 2025

Auteurs: Shengnan An, Xunliang Cai, Xuezhi Cao, Xiaoyu Li, Yehao Lin, Junlin Liu, Xinxuan Lv, Dan Ma, Xuanlin Wang, Ziwen Wang, Shuang Zhou

cs.AI

Samenvatting

Wij presenteren AMO-Bench, een geavanceerde benchmark voor wiskundig redeneren met problemen van Olympiade-niveau of zelfs hogere moeilijkheidsgraad, bestaande uit 50 door mensen gemaakte problemen. Bestaande benchmarks maken reeds veelvuldig gebruik van wiskundewedstrijden op middelbare schoolniveau om de wiskundige redeneervaardigheden van grote taalmodel(len (LLM's) te evalueren. Veel van deze bestaande wedstrijden worden echter minder effectief voor het beoordelen van top-tier LLM's vanwege prestatiesaturatie (bijv. AIME24/25). Om dit aan te pakken, introduceert AMO-Bench strengere uitdagingen door ervoor te zorgen dat alle 50 problemen (1) cross-gevalideerd zijn door experts om ten minste te voldoen aan de moeilijkheidsnormen van de Internationale Wiskunde Olympiade (IMO), en (2) volledig originele problemen zijn om mogelijke prestatielekken door datamemorisatie te voorkomen. Bovendien vereist elk probleem in AMO-Bench alleen een eindantwoord in plaats van een bewijs, wat automatische en robuuste beoordeling voor evaluatie mogelijk maakt. Experimentele resultaten van 26 LLM's op AMO-Bench tonen aan dat zelfs het best presterende model slechts 52,4% nauwkeurigheid behaalt op AMO-Bench, waarbij de meeste LLM's onder de 40% scoren. Naast deze tegenvallende prestaties onthult onze verdere analyse een veelbelovende schaalwet met toenemende rekencapaciteit tijdens het testen op AMO-Bench. Deze resultaten benadrukken de aanzienlijke ruimte voor verbetering van het wiskundig redeneren in huidige LLM's. Wij geven AMO-Bench vrij om verder onderzoek te faciliteren naar het bevorderen van de redeneervaardigheden van taalmodel(len. https://amo-bench.github.io/

English

We present AMO-Bench, an Advanced Mathematical reasoning benchmark with Olympiad level or even higher difficulty, comprising 50 human-crafted problems. Existing benchmarks have widely leveraged high school math competitions for evaluating mathematical reasoning capabilities of large language models (LLMs). However, many existing math competitions are becoming less effective for assessing top-tier LLMs due to performance saturation (e.g., AIME24/25). To address this, AMO-Bench introduces more rigorous challenges by ensuring all 50 problems are (1) cross-validated by experts to meet at least the International Mathematical Olympiad (IMO) difficulty standards, and (2) entirely original problems to prevent potential performance leakages from data memorization. Moreover, each problem in AMO-Bench requires only a final answer rather than a proof, enabling automatic and robust grading for evaluation. Experimental results across 26 LLMs on AMO-Bench show that even the best-performing model achieves only 52.4% accuracy on AMO-Bench, with most LLMs scoring below 40%. Beyond these poor performances, our further analysis reveals a promising scaling trend with increasing test-time compute on AMO-Bench. These results highlight the significant room for improving the mathematical reasoning in current LLMs. We release AMO-Bench to facilitate further research into advancing the reasoning abilities of language models. https://amo-bench.github.io/