SCALER : Environnement Synthétique d'Apprentissage Adaptatif et Évolutif pour le Raisonnement

SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning

January 8, 2026

papers.authors: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao

cs.AI

papers.abstract

L'apprentissage par renforcement (RL) offre une approche rigoureuse pour améliorer les capacités de raisonnement des grands modèles de langage, mais son efficacité dépend de signaux d'entraînement qui restent informatifs à mesure que les modèles évoluent. En pratique, les progrès du RL ralentissent souvent lorsque la difficulté des tâches est mal alignée avec les capacités du modèle, ou lorsque l'entraînement est dominé par un ensemble restreint de schémas problématiques récurrents. Pour résoudre conjointement ces problèmes, nous proposons SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning), un cadre qui maintient des signaux d'apprentissage efficaces grâce à une conception adaptive de l'environnement. SCALER introduit un pipeline de synthèse évolutif qui convertit des problèmes de programmation réels en environnements de raisonnement vérifiables, avec une difficulté contrôlable et une génération illimitée d'instances, permettant un entraînement par RL au-delà des jeux de données finis tout en préservant de fortes garanties de correction. Sur cette base, SCALER utilise en outre une stratégie de RL multi-environnements adaptive qui ajuste dynamiquement la difficulté des instances et sélectionne l'ensemble actif des environnements pour suivre la frontière des capacités du modèle et maintenir une diversité distributionnelle. Cette co-adaptation prévient la rareté des récompenses, atténue le surajustement à des schémas de tâches étroits et soutient une amélioration soutenue tout au long de l'entraînement. Des expériences approfondies montrent que SCALER surpasse constamment les méthodes de référence basées sur des jeux de données dans divers benchmarks de raisonnement et présente une dynamique d'entraînement plus stable et à plus long terme.

English

Reinforcement learning (RL) offers a principled way to enhance the reasoning capabilities of large language models, yet its effectiveness hinges on training signals that remain informative as models evolve. In practice, RL progress often slows when task difficulty becomes poorly aligned with model capability, or when training is dominated by a narrow set of recurring problem patterns. To jointly address these issues, we propose SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning), a framework that sustains effective learning signals through adaptive environment design. SCALER introduces a scalable synthesis pipeline that converts real-world programming problems into verifiable reasoning environments with controllable difficulty and unbounded instance generation, enabling RL training beyond finite datasets while preserving strong correctness guarantees. Building on this, SCALER further employs an adaptive multi-environment RL strategy that dynamically adjusts instance difficulty and curates the active set of environments to track the model's capability frontier and maintain distributional diversity. This co-adaptation prevents reward sparsity, mitigates overfitting to narrow task patterns, and supports sustained improvement throughout training. Extensive experiments show that SCALER consistently outperforms dataset-based RL baselines across diverse reasoning benchmarks and exhibits more stable, long-horizon training dynamics.