Absoluut Nul: Versterkt Zelfspel Redeneren zonder Gegevens

Samenvatting

Reinforcement learning met verifieerbare beloningen (RLVR) heeft potentie getoond in het verbeteren van de redeneervaardigheden van grote taalmodellen door direct te leren uit op uitkomsten gebaseerde beloningen. Recente RLVR-werkzaamheden die opereren onder de zero-setting vermijden toezicht bij het labelen van het redeneerproces, maar zijn nog steeds afhankelijk van handmatig samengestelde verzamelingen van vragen en antwoorden voor training. De schaarste aan hoogwaardige, door mensen geproduceerde voorbeelden roept zorgen op over de langetermijnschaalbaarheid van het vertrouwen op menselijk toezicht, een uitdaging die al duidelijk is in het domein van taalmodelpretraining. Bovendien, in een hypothetische toekomst waarin AI de menselijke intelligentie overstijgt, kunnen taken die door mensen worden aangeboden beperkt leerpotentieel bieden voor een superintelligent systeem. Om deze zorgen aan te pakken, stellen we een nieuw RLVR-paradigma voor genaamd Absolute Zero, waarin een enkel model leert om taken voor te stellen die zijn eigen leerproces maximaliseren en zijn redeneervaardigheden verbetert door deze op te lossen, zonder afhankelijk te zijn van externe data. Onder dit paradigma introduceren we de Absolute Zero Reasoner (AZR), een systeem dat zijn trainingscurriculum en redeneervaardigheden zelf ontwikkelt door gebruik te maken van een code-uitvoerder om zowel voorgestelde code-redeneertaken te valideren als antwoorden te verifiëren, en zo fungeert als een uniforme bron van verifieerbare beloning om open-ended maar gegrond leren te begeleiden. Ondanks dat het volledig zonder externe data is getraind, behaalt AZR over de hele linie state-of-the-art prestaties op coderings- en wiskundige redeneertaken, en overtreft het bestaande zero-setting modellen die afhankelijk zijn van tienduizenden domeinspecifieke, door mensen samengestelde voorbeelden. Verder tonen we aan dat AZR effectief kan worden toegepast op verschillende modelschalen en compatibel is met diverse modelklassen.

English

Reinforcement learning with verifiable rewards (RLVR) has shown promise in enhancing the reasoning capabilities of large language models by learning directly from outcome-based rewards. Recent RLVR works that operate under the zero setting avoid supervision in labeling the reasoning process, but still depend on manually curated collections of questions and answers for training. The scarcity of high-quality, human-produced examples raises concerns about the long-term scalability of relying on human supervision, a challenge already evident in the domain of language model pretraining. Furthermore, in a hypothetical future where AI surpasses human intelligence, tasks provided by humans may offer limited learning potential for a superintelligent system. To address these concerns, we propose a new RLVR paradigm called Absolute Zero, in which a single model learns to propose tasks that maximize its own learning progress and improves reasoning by solving them, without relying on any external data. Under this paradigm, we introduce the Absolute Zero Reasoner (AZR), a system that self-evolves its training curriculum and reasoning ability by using a code executor to both validate proposed code reasoning tasks and verify answers, serving as an unified source of verifiable reward to guide open-ended yet grounded learning. Despite being trained entirely without external data, AZR achieves overall SOTA performance on coding and mathematical reasoning tasks, outperforming existing zero-setting models that rely on tens of thousands of in-domain human-curated examples. Furthermore, we demonstrate that AZR can be effectively applied across different model scales and is compatible with various model classes.

Absoluut Nul: Versterkt Zelfspel Redeneren zonder Gegevens

Absolute Zero: Reinforced Self-play Reasoning with Zero Data

Samenvatting

Support