R-Zero: Modelo de Lenguaje de Razonamiento Autoevolutivo a partir de Cero Datos

R-Zero: Self-Evolving Reasoning LLM from Zero Data

August 7, 2025

Autores: Chengsong Huang, Wenhao Yu, Xiaoyang Wang, Hongming Zhang, Zongxia Li, Ruosen Li, Jiaxin Huang, Haitao Mi, Dong Yu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) auto-evolutivos ofrecen un camino escalable hacia la superinteligencia al generar, refinar y aprender de manera autónoma a partir de sus propias experiencias. Sin embargo, los métodos existentes para entrenar dichos modelos aún dependen en gran medida de tareas y etiquetas curadas por humanos, típicamente mediante ajuste fino o aprendizaje por refuerzo, lo que representa un cuello de botella fundamental para avanzar los sistemas de IA hacia capacidades que superen la inteligencia humana. Para superar esta limitación, presentamos R-Zero, un marco completamente autónomo que genera sus propios datos de entrenamiento desde cero. Partiendo de un único LLM base, R-Zero inicializa dos modelos independientes con roles distintos: un Desafiante y un Resolvedor. Estos modelos se optimizan por separado y co-evolucionan a través de la interacción: el Desafiante es recompensado por proponer tareas cerca del límite de la capacidad del Resolvedor, y el Resolvedor es recompensado por resolver tareas cada vez más desafiantes planteadas por el Desafiante. Este proceso genera un currículo automejorado y dirigido sin necesidad de tareas y etiquetas preexistentes. Empíricamente, R-Zero mejora sustancialmente la capacidad de razonamiento en diferentes LLMs base, por ejemplo, aumentando el Qwen3-4B-Base en +6.49 en benchmarks de razonamiento matemático y +7.54 en benchmarks de razonamiento de dominio general.

English

Self-evolving Large Language Models (LLMs) offer a scalable path toward super-intelligence by autonomously generating, refining, and learning from their own experiences. However, existing methods for training such models still rely heavily on vast human-curated tasks and labels, typically via fine-tuning or reinforcement learning, which poses a fundamental bottleneck to advancing AI systems toward capabilities beyond human intelligence. To overcome this limitation, we introduce R-Zero, a fully autonomous framework that generates its own training data from scratch. Starting from a single base LLM, R-Zero initializes two independent models with distinct roles, a Challenger and a Solver. These models are optimized separately and co-evolve through interaction: the Challenger is rewarded for proposing tasks near the edge of the Solver capability, and the Solver is rewarded for solving increasingly challenging tasks posed by the Challenger. This process yields a targeted, self-improving curriculum without any pre-existing tasks and labels. Empirically, R-Zero substantially improves reasoning capability across different backbone LLMs, e.g., boosting the Qwen3-4B-Base by +6.49 on math-reasoning benchmarks and +7.54 on general-domain reasoning benchmarks.