R-Zero : Modèle de Langage à Raisonnement Auto-Évolutif à partir de Données Nulles

R-Zero: Self-Evolving Reasoning LLM from Zero Data

August 7, 2025

papers.authors: Chengsong Huang, Wenhao Yu, Xiaoyang Wang, Hongming Zhang, Zongxia Li, Ruosen Li, Jiaxin Huang, Haitao Mi, Dong Yu

cs.AI

papers.abstract

Les modèles de langage à grande échelle auto-évolutifs (LLMs) offrent une voie évolutive vers la super-intelligence en générant, affinant et apprenant de manière autonome à partir de leurs propres expériences. Cependant, les méthodes existantes pour entraîner de tels modèles reposent encore largement sur des tâches et des étiquettes soigneusement sélectionnées par des humains, généralement via un ajustement fin ou un apprentissage par renforcement, ce qui constitue un goulot d'étranglement fondamental pour faire progresser les systèmes d'IA vers des capacités dépassant l'intelligence humaine. Pour surmonter cette limitation, nous introduisons R-Zero, un cadre entièrement autonome qui génère ses propres données d'entraînement à partir de zéro. En partant d'un seul modèle de langage de base, R-Zero initialise deux modèles indépendants avec des rôles distincts, un Défi et un Résolveur. Ces modèles sont optimisés séparément et co-évoluent par interaction : le Défi est récompensé pour proposer des tâches à la limite des capacités du Résolveur, et le Résolveur est récompensé pour résoudre des tâches de plus en plus complexes posées par le Défi. Ce processus génère un curriculum ciblé et auto-améliorant sans aucune tâche ou étiquette préexistante. Empiriquement, R-Zero améliore considérablement les capacités de raisonnement à travers différents modèles de langage de base, par exemple en augmentant les performances de Qwen3-4B-Base de +6,49 sur des benchmarks de raisonnement mathématique et de +7,54 sur des benchmarks de raisonnement général.

English

Self-evolving Large Language Models (LLMs) offer a scalable path toward super-intelligence by autonomously generating, refining, and learning from their own experiences. However, existing methods for training such models still rely heavily on vast human-curated tasks and labels, typically via fine-tuning or reinforcement learning, which poses a fundamental bottleneck to advancing AI systems toward capabilities beyond human intelligence. To overcome this limitation, we introduce R-Zero, a fully autonomous framework that generates its own training data from scratch. Starting from a single base LLM, R-Zero initializes two independent models with distinct roles, a Challenger and a Solver. These models are optimized separately and co-evolve through interaction: the Challenger is rewarded for proposing tasks near the edge of the Solver capability, and the Solver is rewarded for solving increasingly challenging tasks posed by the Challenger. This process yields a targeted, self-improving curriculum without any pre-existing tasks and labels. Empirically, R-Zero substantially improves reasoning capability across different backbone LLMs, e.g., boosting the Qwen3-4B-Base by +6.49 on math-reasoning benchmarks and +7.54 on general-domain reasoning benchmarks.