Zero Assoluto: Ragionamento con Autoapprendimento Rinforzato Senza Dati

Absolute Zero: Reinforced Self-play Reasoning with Zero Data

May 6, 2025

Autori: Andrew Zhao, Yiran Wu, Yang Yue, Tong Wu, Quentin Xu, Yang Yue, Matthieu Lin, Shenzhi Wang, Qingyun Wu, Zilong Zheng, Gao Huang

cs.AI

Abstract

Il reinforcement learning con ricompense verificabili (RLVR) ha dimostrato potenzialità nel migliorare le capacità di ragionamento dei grandi modelli linguistici apprendendo direttamente da ricompense basate sui risultati. Recenti lavori RLVR che operano in contesto zero evitano la supervisione nell'etichettatura del processo di ragionamento, ma dipendono comunque da raccolte manualmente curate di domande e risposte per l'addestramento. La scarsità di esempi di alta qualità prodotti da esseri umani solleva preoccupazioni riguardo alla scalabilità a lungo termine del fare affidamento sulla supervisione umana, una sfida già evidente nel campo del pre-addestramento dei modelli linguistici. Inoltre, in un ipotetico futuro in cui l'intelligenza artificiale superi quella umana, i compiti forniti dagli esseri umani potrebbero offrire un potenziale di apprendimento limitato per un sistema superintelligente. Per affrontare queste preoccupazioni, proponiamo un nuovo paradigma RLVR chiamato Absolute Zero, in cui un singolo modello impara a proporre compiti che massimizzano il proprio progresso di apprendimento e migliora il ragionamento risolvendoli, senza fare affidamento su dati esterni. In questo paradigma, introduciamo l'Absolute Zero Reasoner (AZR), un sistema che auto-evolve il proprio curriculum di addestramento e la capacità di ragionamento utilizzando un esecutore di codice sia per validare i compiti di ragionamento proposti che per verificare le risposte, fungendo da fonte unificata di ricompensa verificabile per guidare un apprendimento aperto ma fondato. Nonostante sia addestrato interamente senza dati esterni, AZR raggiunge prestazioni complessive all'avanguardia in compiti di ragionamento matematico e di programmazione, superando i modelli esistenti in contesto zero che si basano su decine di migliaia di esempi curati da esseri umani nel dominio specifico. Inoltre, dimostriamo che AZR può essere efficacemente applicato a diverse scale di modelli ed è compatibile con varie classi di modelli.

English

Reinforcement learning with verifiable rewards (RLVR) has shown promise in enhancing the reasoning capabilities of large language models by learning directly from outcome-based rewards. Recent RLVR works that operate under the zero setting avoid supervision in labeling the reasoning process, but still depend on manually curated collections of questions and answers for training. The scarcity of high-quality, human-produced examples raises concerns about the long-term scalability of relying on human supervision, a challenge already evident in the domain of language model pretraining. Furthermore, in a hypothetical future where AI surpasses human intelligence, tasks provided by humans may offer limited learning potential for a superintelligent system. To address these concerns, we propose a new RLVR paradigm called Absolute Zero, in which a single model learns to propose tasks that maximize its own learning progress and improves reasoning by solving them, without relying on any external data. Under this paradigm, we introduce the Absolute Zero Reasoner (AZR), a system that self-evolves its training curriculum and reasoning ability by using a code executor to both validate proposed code reasoning tasks and verify answers, serving as an unified source of verifiable reward to guide open-ended yet grounded learning. Despite being trained entirely without external data, AZR achieves overall SOTA performance on coding and mathematical reasoning tasks, outperforming existing zero-setting models that rely on tens of thousands of in-domain human-curated examples. Furthermore, we demonstrate that AZR can be effectively applied across different model scales and is compatible with various model classes.