Абсолютный ноль: Усиленный самообучающийся процесс рассуждений без использования данных

Absolute Zero: Reinforced Self-play Reasoning with Zero Data

May 6, 2025

Авторы: Andrew Zhao, Yiran Wu, Yang Yue, Tong Wu, Quentin Xu, Yang Yue, Matthieu Lin, Shenzhi Wang, Qingyun Wu, Zilong Zheng, Gao Huang

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) продемонстрировало потенциал в улучшении способностей крупных языковых моделей к рассуждению за счет обучения на основе наград, связанных с результатами. Недавние работы по RLVR, работающие в условиях нулевого надзора, избегают контроля за процессом маркировки рассуждений, но все же зависят от вручную подготовленных наборов вопросов и ответов для обучения. Недостаток высококачественных примеров, созданных человеком, вызывает опасения относительно долгосрочной масштабируемости зависимости от человеческого надзора, что уже заметно в области предварительного обучения языковых моделей. Более того, в гипотетическом будущем, где ИИ превзойдет человеческий интеллект, задачи, предоставляемые людьми, могут предложить ограниченный потенциал для обучения сверхразумной системы. Чтобы решить эти проблемы, мы предлагаем новую парадигму RLVR под названием Absolute Zero, в которой одна модель учится предлагать задачи, которые максимизируют ее собственный прогресс в обучении, и улучшает рассуждения, решая их, не полагаясь на внешние данные. В рамках этой парадигмы мы представляем Absolute Zero Reasoner (AZR) — систему, которая самостоятельно развивает свою учебную программу и способность к рассуждению, используя исполнитель кода как для проверки предложенных задач на рассуждение, так и для верификации ответов, выступая в качестве единого источника верифицируемых наград для руководства открытым, но обоснованным обучением. Несмотря на то, что AZR обучается полностью без внешних данных, она достигает наилучших результатов на задачах по программированию и математическому рассуждению, превосходя существующие модели в условиях нулевого надзора, которые полагаются на десятки тысяч примеров, подготовленных человеком в соответствующей области. Кроме того, мы показываем, что AZR может эффективно применяться на различных масштабах моделей и совместима с различными классами моделей.

English

Reinforcement learning with verifiable rewards (RLVR) has shown promise in enhancing the reasoning capabilities of large language models by learning directly from outcome-based rewards. Recent RLVR works that operate under the zero setting avoid supervision in labeling the reasoning process, but still depend on manually curated collections of questions and answers for training. The scarcity of high-quality, human-produced examples raises concerns about the long-term scalability of relying on human supervision, a challenge already evident in the domain of language model pretraining. Furthermore, in a hypothetical future where AI surpasses human intelligence, tasks provided by humans may offer limited learning potential for a superintelligent system. To address these concerns, we propose a new RLVR paradigm called Absolute Zero, in which a single model learns to propose tasks that maximize its own learning progress and improves reasoning by solving them, without relying on any external data. Under this paradigm, we introduce the Absolute Zero Reasoner (AZR), a system that self-evolves its training curriculum and reasoning ability by using a code executor to both validate proposed code reasoning tasks and verify answers, serving as an unified source of verifiable reward to guide open-ended yet grounded learning. Despite being trained entirely without external data, AZR achieves overall SOTA performance on coding and mathematical reasoning tasks, outperforming existing zero-setting models that rely on tens of thousands of in-domain human-curated examples. Furthermore, we demonstrate that AZR can be effectively applied across different model scales and is compatible with various model classes.