DARC: Развязанная асимметричная учебная программа для эволюции больших языковых моделей
DARC: Decoupled Asymmetric Reasoning Curriculum for LLM Evolution
January 20, 2026
Авторы: Shengda Fan, Xuyan Ye, Yankai Lin
cs.AI
Аннотация
Самоигра с использованием больших языковых моделей стала перспективной парадигмой для создания самосовершенствующегося искусственного интеллекта. Однако существующие фреймворки самоигры часто страдают от нестабильности оптимизации из-за (i) нестационарных целей, вызванных зависимой от решателя обратной связью в виде вознаграждения для Задающего вопросы, и (ii) ошибок бутстрэппинга, возникающих из-за самостоятельно сгенерированных псевдометок, используемых для обучения Решателя. Для смягчения этих проблем мы представляем DARC (Decoupled Asymmetric Reasoning Curriculum — декомпозированный асимметричный учебный план для рассуждений) — двухэтапный фреймворк, стабилизирующий процесс саморазвития. Сначала мы обучаем Задающего вопросы синтезировать вопросы, калиброванные по сложности, с учетом явных уровней сложности и внешних корпусов. Затем мы обучаем Решателя с помощью механизма асимметричной самодистилляции, при котором учитель, усиленный документами, генерирует высококачественные псевдометки для обучения студента-Решателя, не имеющего доступа к документам. Экспериментальные результаты показывают, что DARC является модельно-агностичным, обеспечивая среднее улучшение на 10.9 пунктов по девяти тестам на рассуждения и трем базовым моделям. Более того, DARC стабильно превосходит все базовые методы и приближается к производительности полностью обученных с учителем моделей, не используя человеческие аннотации. Код доступен по адресу https://github.com/RUCBM/DARC.
English
Self-play with large language models has emerged as a promising paradigm for achieving self-improving artificial intelligence. However, existing self-play frameworks often suffer from optimization instability, due to (i) non-stationary objectives induced by solver-dependent reward feedback for the Questioner, and (ii) bootstrapping errors from self-generated pseudo-labels used to supervise the Solver. To mitigate these challenges, we introduce DARC (Decoupled Asymmetric Reasoning Curriculum), a two-stage framework that stabilizes the self-evolution process. First, we train the Questioner to synthesize difficulty-calibrated questions, conditioned on explicit difficulty levels and external corpora. Second, we train the Solver with an asymmetric self-distillation mechanism, where a document-augmented teacher generates high-quality pseudo-labels to supervise the student Solver that lacks document access. Empirical results demonstrate that DARC is model-agnostic, yielding an average improvement of 10.9 points across nine reasoning benchmarks and three backbone models. Moreover, DARC consistently outperforms all baselines and approaches the performance of fully supervised models without relying on human annotations.The code is available at https://github.com/RUCBM/DARC.