Ein nüchterner Blick auf Fortschritte im Bereich des Sprachmodell-Denkens: Fallstricke und Wege zur Reproduzierbarkeit

A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility

April 9, 2025

Autoren: Andreas Hochlehnert, Hardik Bhatnagar, Vishaal Udandarao, Samuel Albanie, Ameya Prabhu, Matthias Bethge

cs.AI

Zusammenfassung

Das Schließen hat sich als die nächste große Herausforderung für Sprachmodelle (Language Models, LMs) herauskristallisiert, mit rasanten Fortschritten sowohl aus akademischen als auch industriellen Laboren. Dieser Fortschritt überholt jedoch oft die methodische Strenge, da viele Bewertungen auf Benchmarking-Praktiken beruhen, denen Transparenz, Robustheit oder statistische Fundierung fehlen. In dieser Arbeit führen wir eine umfassende empirische Studie durch und stellen fest, dass aktuelle Benchmarks für mathematisches Schließen stark von subtilen Implementierungsentscheidungen abhängen – einschließlich Dekodierungsparametern, Zufallsinitialisierungen, Prompt-Formatierungen und sogar Hardware- und Software-Framework-Konfigurationen. Die in jüngsten Studien berichteten Leistungssteigerungen beruhen häufig auf unklaren Vergleichen oder nicht dokumentierten Varianzquellen. Um diese Probleme zu adressieren, schlagen wir ein standardisiertes Bewertungsframework mit klar definierten Best Practices und Berichtsstandards vor. Mit diesem Framework bewerten wir neuere Methoden neu und stellen fest, dass Ansätze des Reinforcement Learning (RL) nur bescheidene Verbesserungen erzielen – weit unter den bisherigen Behauptungen – und anfällig für Überanpassung sind, insbesondere bei kleinskaligen Benchmarks wie AIME24. Im Gegensatz dazu zeigen Methoden des Supervised Finetuning (SFT) durchweg eine stärkere Generalisierungsfähigkeit. Um die Reproduzierbarkeit zu fördern, veröffentlichen wir den gesamten Code, die Prompts und Modellausgaben für Schließen-Benchmarks und schaffen so eine solide Grundlage für zukünftige Arbeiten.

English

Reasoning has emerged as the next major frontier for language models (LMs), with rapid advances from both academic and industrial labs. However, this progress often outpaces methodological rigor, with many evaluations relying on benchmarking practices that lack transparency, robustness, or statistical grounding. In this work, we conduct a comprehensive empirical study and find that current mathematical reasoning benchmarks are highly sensitive to subtle implementation choices - including decoding parameters, random seeds, prompt formatting, and even hardware and software-framework configurations. Performance gains reported in recent studies frequently hinge on unclear comparisons or unreported sources of variance. To address these issues, we propose a standardized evaluation framework with clearly defined best practices and reporting standards. Using this framework, we reassess recent methods and find that reinforcement learning (RL) approaches yield only modest improvements - far below prior claims - and are prone to overfitting, especially on small-scale benchmarks like AIME24. In contrast, supervised finetuning (SFT) methods show consistently stronger generalization. To foster reproducibility, we release all code, prompts, and model outputs, for reasoning benchmarks, establishing more rigorous foundations for future work.