AMO-Bench: Große Sprachmodele scheitern weiterhin an Mathematikwettbewerben der Oberstufe

papers.abstract

Wir stellen AMO-Bench vor, einen Benchmark für fortgeschrittenes mathematisches Denken mit Olympiade-Niveau oder sogar höherem Schwierigkeitsgrad, der 50 von Menschen erstellte Probleme umfasst. Bestehende Benchmarks haben häufig Mathematikwettbewerbe auf Highschool-Niveau genutzt, um die mathematischen Denkfähigkeiten großer Sprachmodelle (LLMs) zu bewerten. Allerdings werden viele bestehende Mathematikwettbewerbe aufgrund von Leistungssättigung (z.B. AIME24/25) zunehmend weniger effektiv für die Bewertung von Spitzen-LLMs. Um dies zu adressieren, führt AMO-Bench anspruchsvollere Herausforderungen ein, indem sichergestellt wird, dass alle 50 Probleme (1) von Experten kreuzvalidiert wurden, um mindestens den Schwierigkeitsstandards der Internationalen Mathematik-Olympiade (IMO) zu entsprechen, und (2) vollständig originäre Probleme sind, um potenzielle Leistungsverzerrungen durch Datenspeicherung zu verhindern. Darüber hinaus erfordert jedes Problem in AMO-Bench lediglich eine finale Antwort anstelle eines Beweises, was eine automatische und robuste Bewertung zur Evaluation ermöglicht. Experimentelle Ergebnisse über 26 LLMs auf AMO-Bench zeigen, dass selbst das leistungsstärkste Modell nur eine Genauigkeit von 52,4 % auf AMO-Bench erreicht, wobei die meisten LLMs unter 40 % liegen. Über diese schlechten Leistungen hinaus zeigt unsere weitere Analyse einen vielversprechenden Skalierungstrend mit zunehmender Rechenleistung zur Testzeit auf AMO-Bench. Diese Ergebnisse unterstreichen das erhebliche Verbesserungspotenzial des mathematischen Denkens in aktuellen LLMs. Wir veröffentlichen AMO-Bench, um weitere Forschungen zur Weiterentwicklung der Denkfähigkeiten von Sprachmodellen zu erleichtern. https://amo-bench.github.io/

English

We present AMO-Bench, an Advanced Mathematical reasoning benchmark with Olympiad level or even higher difficulty, comprising 50 human-crafted problems. Existing benchmarks have widely leveraged high school math competitions for evaluating mathematical reasoning capabilities of large language models (LLMs). However, many existing math competitions are becoming less effective for assessing top-tier LLMs due to performance saturation (e.g., AIME24/25). To address this, AMO-Bench introduces more rigorous challenges by ensuring all 50 problems are (1) cross-validated by experts to meet at least the International Mathematical Olympiad (IMO) difficulty standards, and (2) entirely original problems to prevent potential performance leakages from data memorization. Moreover, each problem in AMO-Bench requires only a final answer rather than a proof, enabling automatic and robust grading for evaluation. Experimental results across 26 LLMs on AMO-Bench show that even the best-performing model achieves only 52.4% accuracy on AMO-Bench, with most LLMs scoring below 40%. Beyond these poor performances, our further analysis reveals a promising scaling trend with increasing test-time compute on AMO-Bench. These results highlight the significant room for improving the mathematical reasoning in current LLMs. We release AMO-Bench to facilitate further research into advancing the reasoning abilities of language models. https://amo-bench.github.io/

AMO-Bench: Große Sprachmodele scheitern weiterhin an Mathematikwettbewerben der Oberstufe

AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

papers.abstract

Support