MATH-Beyond: Un punto de referencia para el aprendizaje por refuerzo que va más allá del modelo base

Resumen

Con la llegada de DeepSeek-R1, ha surgido una nueva ola de métodos de aprendizaje por refuerzo (RL, por sus siglas en inglés) que parecen desbloquear un razonamiento matemático más sólido. Sin embargo, un análisis más detallado del ecosistema de código abierto revela una limitación crítica: con un número suficiente de muestras (por ejemplo, pass@1024), muchos modelos base existentes ya resuelven casi todas las preguntas en puntos de referencia matemáticos ampliamente utilizados, como MATH-500 y AIME 2024. Esto sugiere que los métodos de ajuste fino basados en RL predominantes en la literatura sobre razonamiento en modelos de lenguaje grandes (LLM) principalmente refinan modos de solución existentes en lugar de descubrir otros completamente nuevos. Este refinamiento contrasta con la promesa más amplia del RL: fomentar la exploración y adquirir nuevas habilidades. Para superar esta meseta, presentamos MATH-Beyond (MATH-B), un punto de referencia diseñado deliberadamente para superar a los modelos de código abierto comunes de hasta 8B parámetros, incluso bajo presupuestos de muestreo grandes. Mejorar el rendimiento en nuestro punto de referencia mediante RL requiere métodos que aprendan a razonar de maneras que vayan más allá de las capacidades del modelo base en muestreos repetidos. Dado que los problemas se extraen de subconjuntos de los conjuntos de datos DAPO-Math-17K y DeepScaleR, siguen siendo temáticamente equivalentes a las matemáticas estándar de nivel secundario. Validando nuestra premisa, modelos ajustados con RL, como Nemotron-Research-Reasoning-Qwen-1.5B y DeepScaleR-1.5B-Preview, tienen un rendimiento deficiente en MATH-B en pass@1024, lo que muestra cómo los enfoques existentes no logran abordar instancias más difíciles. Esperamos que MATH-B catalice enfoques de RL impulsados por la exploración que fomenten capacidades de razonamiento más profundas. Publicamos MATH-B en https://huggingface.co/datasets/brendel-group/MATH-Beyond.

English

With the advent of DeepSeek-R1, a new wave of reinforcement learning (RL) methods has emerged that seem to unlock stronger mathematical reasoning. However, a closer look at the open-source ecosystem reveals a critical limitation: with sufficiently many draws (e.g., pass@1024), many existing base models already solve nearly all questions on widely used math benchmarks such as MATH-500 and AIME 2024. This suggests that the RL fine-tuning methods prevalent in the LLM reasoning literature largely sharpen existing solution modes rather than discovering entirely new ones. Such sharpening stands in contrast to the broader promise of RL: to foster exploration and to acquire new skills. To move beyond this plateau, we introduce MATH-Beyond (MATH-B), a benchmark deliberately constructed to defeat common open-source models of up to 8B parameters even under large sampling budgets. Improving performance on our benchmark via RL requires methods that learn to reason in ways that go beyond base model capabilities in repeated sampling. Since the problems are drawn from subsets of DAPO-Math-17K and DeepScaleR datasets, they remain topically equivalent to standard high-school math. Validating our premise, RL fine-tuned models such as Nemotron-Research-Reasoning-Qwen-1.5B and DeepScaleR-1.5B-Preview perform poorly on MATH-B at pass@1024, showing how existing approaches fall short on tackling harder instances. We hope MATH-B will catalyze exploration-driven RL approaches that elicit deeper reasoning capabilities. We release MATH-B at https://huggingface.co/datasets/brendel-group/MATH-Beyond.

MATH-Beyond: Un punto de referencia para el aprendizaje por refuerzo que va más allá del modelo base

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

Resumen

Support