DARC: Curriculum di Ragionamento Asimmetrico Disaccoppiato per l'Evoluzione degli LLM

DARC: Decoupled Asymmetric Reasoning Curriculum for LLM Evolution

January 20, 2026

Autori: Shengda Fan, Xuyan Ye, Yankai Lin

cs.AI

Abstract

L'auto-addestramento con grandi modelli linguistici è emerso come un paradigma promettente per raggiungere un'intelligenza artificiale capace di auto-miglioramento. Tuttavia, i framework di auto-addestramento esistenti soffrono spesso di instabilità nell'ottimizzazione, a causa di (i) obiettivi non stazionari indotti dal feedback di ricompensa dipendente dal risolutore per l'Interrogante, e (ii) errori di bootstrap derivanti da pseudo-etichette auto-generate utilizzate per supervisionare il Risolutore. Per mitigare queste problematiche, introduciamo DARC (Decoupled Asymmetric Reasoning Curriculum), un framework a due stadi che stabilizza il processo di auto-evoluzione. In primo luogo, addestriamo l'Interrogante a sintetizzare domande calibrate sulla difficoltà, condizionate su livelli di difficoltà espliciti e corpora esterni. In secondo luogo, addestriamo il Risolutore con un meccanismo asimmetrico di auto-distillazione, in cui un insegnante arricchito con documenti genera pseudo-etichette di alta qualità per supervisionare lo studente Risolutore che non ha accesso ai documenti. I risultati empirici dimostrano che DARC è indipendente dal modello, producendo un miglioramento medio di 10,9 punti su nove benchmark di ragionamento e tre modelli di base. Inoltre, DARC supera costantemente tutte le baseline e si avvicina alle prestazioni di modelli supervisionati senza fare affidamento su annotazioni umane. Il codice è disponibile all'indirizzo https://github.com/RUCBM/DARC.

English

Self-play with large language models has emerged as a promising paradigm for achieving self-improving artificial intelligence. However, existing self-play frameworks often suffer from optimization instability, due to (i) non-stationary objectives induced by solver-dependent reward feedback for the Questioner, and (ii) bootstrapping errors from self-generated pseudo-labels used to supervise the Solver. To mitigate these challenges, we introduce DARC (Decoupled Asymmetric Reasoning Curriculum), a two-stage framework that stabilizes the self-evolution process. First, we train the Questioner to synthesize difficulty-calibrated questions, conditioned on explicit difficulty levels and external corpora. Second, we train the Solver with an asymmetric self-distillation mechanism, where a document-augmented teacher generates high-quality pseudo-labels to supervise the student Solver that lacks document access. Empirical results demonstrate that DARC is model-agnostic, yielding an average improvement of 10.9 points across nine reasoning benchmarks and three backbone models. Moreover, DARC consistently outperforms all baselines and approaches the performance of fully supervised models without relying on human annotations.The code is available at https://github.com/RUCBM/DARC.