MATH-Beyond: Ein Benchmark für RL zur Erweiterung über das Basismodell hinaus

papers.abstract

Mit dem Aufkommen von DeepSeek-R1 hat eine neue Welle von Reinforcement-Learning (RL)-Methoden Einzug gehalten, die eine stärkere mathematische Argumentation zu ermöglichen scheinen. Bei genauerer Betrachtung des Open-Source-Ökosystems zeigt sich jedoch eine kritische Einschränkung: Bei einer ausreichend großen Anzahl von Versuchen (z. B. pass@1024) lösen viele bestehende Basismodelle bereits nahezu alle Fragen auf weit verbreiteten mathematischen Benchmarks wie MATH-500 und AIME 2024. Dies deutet darauf hin, dass die in der LLM-Argumentationsliteratur vorherrschenden RL-Feintuning-Methoden hauptsächlich bestehende Lösungsansätze verfeinern, anstatt völlig neue zu entdecken. Diese Verfeinerung steht im Gegensatz zum umfassenderen Versprechen von RL: Exploration zu fördern und neue Fähigkeiten zu erwerben. Um dieses Plateau zu überwinden, führen wir MATH-Beyond (MATH-B) ein, einen Benchmark, der gezielt so konstruiert wurde, dass er gängige Open-Source-Modelle mit bis zu 8B Parametern selbst bei großen Stichprobenbudgets überfordert. Eine Verbesserung der Leistung auf unserem Benchmark durch RL erfordert Methoden, die lernen, auf eine Weise zu argumentieren, die über die Fähigkeiten des Basismodells bei wiederholter Stichprobenentnahme hinausgeht. Da die Probleme aus Teilmengen der Datensätze DAPO-Math-17K und DeepScaleR stammen, bleiben sie thematisch äquivalent zu Standard-High-School-Mathematik. Unsere Prämisse wird bestätigt, da RL-feinabgestimmte Modelle wie Nemotron-Research-Reasoning-Qwen-1.5B und DeepScaleR-1.5B-Preview bei pass@1024 auf MATH-B schlecht abschneiden, was zeigt, wie bestehende Ansätze bei der Bewältigung schwierigerer Instanzen versagen. Wir hoffen, dass MATH-B explorationsgetriebene RL-Ansätze katalysieren wird, die tiefere Argumentationsfähigkeiten hervorrufen. Wir veröffentlichen MATH-B unter https://huggingface.co/datasets/brendel-group/MATH-Beyond.

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.

MATH-Beyond: Ein Benchmark für RL zur Erweiterung über das Basismodell hinaus

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

papers.abstract

Support