MATH-Beyond: Een Benchmark voor RL om Voorbij het Basismodel te Gaan

Samenvatting

Met de komst van DeepSeek-R1 is een nieuwe golf van reinforcement learning (RL)-methoden ontstaan die sterkere wiskundige redeneervaardigheden lijken te ontgrendelen. Een nadere blik op het open-source-ecosysteem onthult echter een kritische beperking: met voldoende veel steekproeven (bijvoorbeeld pass@1024) lossen veel bestaande basismodellen al bijna alle vragen op veelgebruikte wiskundige benchmarks zoals MATH-500 en AIME 2024 op. Dit suggereert dat de RL-finetuningmethoden die overheersen in de literatuur over redeneren met grote taalmodellen (LLM) vooral bestaande oplossingsmethoden aanscherpen in plaats van geheel nieuwe te ontdekken. Dit aanscherpen staat in contrast met de bredere belofte van RL: het bevorderen van exploratie en het verwerven van nieuwe vaardigheden. Om dit plateau te overstijgen, introduceren we MATH-Beyond (MATH-B), een benchmark die bewust is geconstrueerd om veelgebruikte open-source modellen tot 8B parameters te verslaan, zelfs onder grote steekproefbudgetten. Het verbeteren van prestaties op onze benchmark via RL vereist methoden die leren redeneren op manieren die verder gaan dan de mogelijkheden van basismodellen bij herhaalde steekproeven. Omdat de problemen zijn ontleend aan subsets van de DAPO-Math-17K en DeepScaleR datasets, blijven ze thematisch equivalent aan standaard middelbare schoolwiskunde. Onze premisse wordt bevestigd door het feit dat RL-gefinetunede modellen zoals Nemotron-Research-Reasoning-Qwen-1.5B en DeepScaleR-1.5B-Preview slecht presteren op MATH-B bij pass@1024, wat aantoont hoe bestaande benaderingen tekortschieten bij het aanpakken van moeilijkere gevallen. We hopen dat MATH-B exploratiegedreven RL-benaderingen zal stimuleren die diepere redeneervaardigheden aanboren. We geven MATH-B vrij op https://huggingface.co/datasets/brendel-group/MATH-Beyond.

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.

MATH-Beyond: Een Benchmark voor RL om Voorbij het Basismodel te Gaan

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

Samenvatting

Support