R-Zero: Selbstentwickelndes Reasoning-LLM ohne Ausgangsdaten

R-Zero: Self-Evolving Reasoning LLM from Zero Data

August 7, 2025

papers.authors: Chengsong Huang, Wenhao Yu, Xiaoyang Wang, Hongming Zhang, Zongxia Li, Ruosen Li, Jiaxin Huang, Haitao Mi, Dong Yu

cs.AI

papers.abstract

Selbstentwickelnde Large Language Models (LLMs) bieten einen skalierbaren Weg hin zu Superintelligenz, indem sie autonom ihre eigenen Erfahrungen generieren, verfeinern und daraus lernen. Allerdings basieren bestehende Methoden zur Ausbildung solcher Modelle noch stark auf einer Vielzahl von menschlich kuratierten Aufgaben und Labels, typischerweise durch Feinabstimmung oder bestärkendes Lernen, was einen grundlegenden Engpass für die Weiterentwicklung von KI-Systemen hin zu Fähigkeiten jenseits der menschlichen Intelligenz darstellt. Um diese Einschränkung zu überwinden, führen wir R-Zero ein, ein vollständig autonomes Framework, das seine eigenen Trainingsdaten von Grund auf generiert. Ausgehend von einem einzigen Basis-LLM initialisiert R-Zero zwei unabhängige Modelle mit unterschiedlichen Rollen, einen Herausforderer und einen Löser. Diese Modelle werden separat optimiert und entwickeln sich durch Interaktion gemeinsam weiter: Der Herausforderer wird dafür belohnt, Aufgaben nahe der Grenze der Fähigkeiten des Lösers vorzuschlagen, und der Löser wird dafür belohnt, zunehmend schwierige Aufgaben zu lösen, die vom Herausforderer gestellt werden. Dieser Prozess erzeugt einen gezielten, sich selbst verbessernden Lehrplan ohne vordefinierte Aufgaben und Labels. Empirisch verbessert R-Zero die Fähigkeit zum logischen Denken erheblich über verschiedene Basis-LLMs hinweg, z. B. steigert es die Leistung von Qwen3-4B-Base um +6,49 bei mathematischen Denkaufgaben und um +7,54 bei allgemeinen Denkaufgaben.

English

Self-evolving Large Language Models (LLMs) offer a scalable path toward super-intelligence by autonomously generating, refining, and learning from their own experiences. However, existing methods for training such models still rely heavily on vast human-curated tasks and labels, typically via fine-tuning or reinforcement learning, which poses a fundamental bottleneck to advancing AI systems toward capabilities beyond human intelligence. To overcome this limitation, we introduce R-Zero, a fully autonomous framework that generates its own training data from scratch. Starting from a single base LLM, R-Zero initializes two independent models with distinct roles, a Challenger and a Solver. These models are optimized separately and co-evolve through interaction: the Challenger is rewarded for proposing tasks near the edge of the Solver capability, and the Solver is rewarded for solving increasingly challenging tasks posed by the Challenger. This process yields a targeted, self-improving curriculum without any pre-existing tasks and labels. Empirically, R-Zero substantially improves reasoning capability across different backbone LLMs, e.g., boosting the Qwen3-4B-Base by +6.49 on math-reasoning benchmarks and +7.54 on general-domain reasoning benchmarks.