MATH-Beyond : Un benchmark pour l'apprentissage par renforcement visant à dépasser le modèle de base

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

October 13, 2025

papers.authors: Prasanna Mayilvahanan, Ricardo Dominguez-Olmedo, Thaddäus Wiedemer, Wieland Brendel

cs.AI

papers.abstract

Avec l'avènement de DeepSeek-R1, une nouvelle vague de méthodes d'apprentissage par renforcement (RL) a émergé, semblant débloquer des capacités de raisonnement mathématique plus robustes. Cependant, un examen plus approfondi de l'écosystème open source révèle une limitation critique : avec un nombre suffisant de tirages (par exemple, pass@1024), de nombreux modèles de base existants résolvent déjà presque toutes les questions des benchmarks mathématiques largement utilisés, tels que MATH-500 et AIME 2024. Cela suggère que les méthodes de fine-tuning par RL prédominantes dans la littérature sur le raisonnement des LLM affinent principalement les modes de solution existants plutôt que d'en découvrir de nouveaux. Un tel affinement contraste avec la promesse plus large du RL : favoriser l'exploration et acquérir de nouvelles compétences. Pour dépasser ce plateau, nous introduisons MATH-Beyond (MATH-B), un benchmark délibérément conçu pour déjouer les modèles open source courants de jusqu'à 8 milliards de paramètres, même avec des budgets d'échantillonnage importants. Améliorer les performances sur notre benchmark via le RL nécessite des méthodes qui apprennent à raisonner de manière à dépasser les capacités des modèles de base dans un échantillonnage répété. Les problèmes étant tirés de sous-ensembles des jeux de données DAPO-Math-17K et DeepScaleR, ils restent thématiquement équivalents aux mathématiques standards du lycée. Validant notre prémisse, les modèles fine-tunés par RL tels que Nemotron-Research-Reasoning-Qwen-1.5B et DeepScaleR-1.5B-Preview obtiennent de faibles performances sur MATH-B à pass@1024, montrant comment les approches existantes échouent à traiter des instances plus difficiles. Nous espérons que MATH-B catalysera des approches de RL axées sur l'exploration, suscitant des capacités de raisonnement plus profondes. Nous publions MATH-B à l'adresse suivante : https://huggingface.co/datasets/brendel-group/MATH-Beyond.

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.