MATH-Beyond: Un Benchmark per l'Apprendimento per Rinforzo per Andare Oltre il Modello di Base

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

October 13, 2025

Autori: Prasanna Mayilvahanan, Ricardo Dominguez-Olmedo, Thaddäus Wiedemer, Wieland Brendel

cs.AI

Abstract

Con l'avvento di DeepSeek-R1, è emersa una nuova ondata di metodi di apprendimento per rinforzo (RL) che sembrano sbloccare capacità di ragionamento matematico più avanzate. Tuttavia, un'analisi più approfondita dell'ecosistema open-source rivela una limitazione critica: con un numero sufficiente di tentativi (ad esempio, pass@1024), molti modelli di base esistenti risolvono già quasi tutte le domande su benchmark matematici ampiamente utilizzati come MATH-500 e AIME 2024. Ciò suggerisce che i metodi di fine-tuning RL prevalenti nella letteratura sul ragionamento dei modelli linguistici di grandi dimensioni (LLM) affinano principalmente modalità di soluzione esistenti piuttosto che scoprirne di completamente nuove. Tale affinamento contrasta con la promessa più ampia dell'RL: favorire l'esplorazione e acquisire nuove abilità. Per superare questo plateau, introduciamo MATH-Beyond (MATH-B), un benchmark progettato deliberatamente per sconfiggere i modelli open-source comuni con fino a 8 miliardi di parametri, anche con budget di campionamento ampi. Migliorare le prestazioni sul nostro benchmark tramite RL richiede metodi che imparino a ragionare in modi che vanno oltre le capacità dei modelli di base nel campionamento ripetuto. Poiché i problemi sono tratti da sottoinsiemi dei dataset DAPO-Math-17K e DeepScaleR, rimangono tematicamente equivalenti alla matematica standard delle scuole superiori. Validando la nostra premessa, modelli fine-tuned con RL come Nemotron-Research-Reasoning-Qwen-1.5B e DeepScaleR-1.5B-Preview ottengono scarse prestazioni su MATH-B a pass@1024, dimostrando come gli approcci esistenti non siano all'altezza di affrontare istanze più difficili. Speriamo che MATH-B catalizzi approcci RL guidati dall'esplorazione che stimolino capacità di ragionamento più profonde. Rilasciamo MATH-B all'indirizzo https://huggingface.co/datasets/brendel-group/MATH-Beyond.

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.