MATH-Beyond: Бенчмарк для обучения с подкреплением, выходящего за пределы базовой модели

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

October 13, 2025

Авторы: Prasanna Mayilvahanan, Ricardo Dominguez-Olmedo, Thaddäus Wiedemer, Wieland Brendel

cs.AI

Аннотация

С появлением DeepSeek-R1 возникла новая волна методов обучения с подкреплением (RL), которые, как кажется, открывают более сильные возможности для математического рассуждения. Однако при более внимательном рассмотрении экосистемы с открытым исходным кодом выявляется критическое ограничение: при достаточно большом количестве попыток (например, pass@1024) многие существующие базовые модели уже решают почти все задачи на широко используемых математических бенчмарках, таких как MATH-500 и AIME 2024. Это говорит о том, что методы тонкой настройки с использованием RL, преобладающие в литературе по рассуждениям в больших языковых моделях (LLM), в основном улучшают существующие режимы решения, а не открывают совершенно новые. Такое улучшение контрастирует с более широкими обещаниями RL: стимулировать исследование и приобретать новые навыки. Чтобы выйти за пределы этого плато, мы представляем MATH-Beyond (MATH-B) — бенчмарк, специально разработанный для того, чтобы преодолеть возможности распространенных моделей с открытым исходным кодом до 8 миллиардов параметров даже при больших бюджетах выборки. Улучшение производительности на нашем бенчмарке с помощью RL требует методов, которые учатся рассуждать способами, выходящими за пределы возможностей базовых моделей при повторной выборке. Поскольку задачи взяты из подмножеств наборов данных DAPO-Math-17K и DeepScaleR, они остаются тематически эквивалентными стандартной школьной математике. Подтверждая нашу гипотезу, модели, тонко настроенные с использованием RL, такие как Nemotron-Research-Reasoning-Qwen-1.5B и DeepScaleR-1.5B-Preview, показывают низкие результаты на MATH-B при pass@1024, демонстрируя, как существующие подходы не справляются с более сложными задачами. Мы надеемся, что MATH-B станет катализатором для исследовательских подходов RL, которые стимулируют более глубокие способности к рассуждению. Мы публикуем MATH-B по адресу https://huggingface.co/datasets/brendel-group/MATH-Beyond.

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.