SCALER: Synthetische skalierbare adaptive Lernumgebung für logisches Denken
SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning
January 8, 2026
papers.authors: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao
cs.AI
papers.abstract
Reinforcement Learning (RL) bietet einen prinzipienbasierten Ansatz, um die Reasoning-Fähigkeiten großer Sprachmodelle zu verbessern, doch seine Wirksamkeit hängt von Trainingssignalen ab, die auch bei fortschreitender Modellentwicklung informativ bleiben. In der Praxis verlangsamt sich der RL-Fortschritt oft, wenn die Aufgabenschwierigkeit nicht mehr mit den Modellfähigkeiten abgestimmt ist oder wenn das Training von einem begrenzten Satz wiederkehrender Problemdomänen dominiert wird. Um diese Probleme gemeinsam zu adressieren, schlagen wir SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning) vor, ein Framework, das effektive Lernsignale durch adaptive Umgebungsgestaltung aufrechterhält. SCALER führt eine skalierbare Synthese-Pipeline ein, die reale Programmierprobleme in verifizierbare Reasoning-Umgebungen mit kontrollierbarer Schwierigkeit und unbegrenzter Instanzgenerierung umwandelt. Dies ermöglicht RL-Training über endliche Datensätze hinaus bei gleichzeitiger Bewahrung starker Korrektheitsgarantien. Darauf aufbauend setzt SCALER eine adaptive Multi-Umgebungs-RL-Strategie ein, die Instanzschwierigkeiten dynamisch anpasst und den aktiven Satz von Umgebungen kuratiert, um die Modellfähigkeitsgrenze zu verfolgen und die Verteilungsvielfalt aufrechtzuerhalten. Diese Ko-Adaptation verhindert Belohnungssparsität, mildert eine Überanpassung an enge Aufgabenmuster und unterstützt eine anhaltende Verbesserung während des gesamten Trainings. Umfangreiche Experimente zeigen, dass SCALER durchgängig datensatzbasierte RL-Baselines auf verschiedenen Reasoning-Benchmarks übertrifft und stabilere, langfristigere Trainingsdynamiken aufweist.
English
Reinforcement learning (RL) offers a principled way to enhance the reasoning capabilities of large language models, yet its effectiveness hinges on training signals that remain informative as models evolve. In practice, RL progress often slows when task difficulty becomes poorly aligned with model capability, or when training is dominated by a narrow set of recurring problem patterns. To jointly address these issues, we propose SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning), a framework that sustains effective learning signals through adaptive environment design. SCALER introduces a scalable synthesis pipeline that converts real-world programming problems into verifiable reasoning environments with controllable difficulty and unbounded instance generation, enabling RL training beyond finite datasets while preserving strong correctness guarantees. Building on this, SCALER further employs an adaptive multi-environment RL strategy that dynamically adjusts instance difficulty and curates the active set of environments to track the model's capability frontier and maintain distributional diversity. This co-adaptation prevents reward sparsity, mitigates overfitting to narrow task patterns, and supports sustained improvement throughout training. Extensive experiments show that SCALER consistently outperforms dataset-based RL baselines across diverse reasoning benchmarks and exhibits more stable, long-horizon training dynamics.