SCALER: Синтетическая масштабируемая адаптивная среда обучения для развития навыков рассуждения

SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning

January 8, 2026

Авторы: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao

cs.AI

Аннотация

Обучение с подкреплением (ОП) предлагает принципиальный подход к повышению способностей больших языковых моделей к рассуждению, однако его эффективность зависит от обучающих сигналов, которые остаются информативными по мере развития моделей. На практике прогресс ОП часто замедляется, когда сложность задачи плохо согласуется с возможностями модели или когда обучение доминируется узким набором повторяющихся шаблонов проблем. Для совместного решения этих вопросов мы предлагаем SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning) — фреймворк, который поддерживает эффективные обучающие сигналы посредством адаптивного проектирования среды. SCALER представляет масштабируемый конвейер синтеза, который преобразует реальные программные задачи в верифицируемые среды для рассуждений с контролируемой сложностью и неограниченной генерацией примеров, позволяя проводить обучение с подкреплением за пределами конечных наборов данных при сохранении строгих гарантий корректности. На основе этого SCALER дополнительно использует адаптивную стратегию ОП в многопоточной среде, которая динамически регулирует сложность примеров и курирует активный набор сред для отслеживания границы возможностей модели и поддержания диверсификации распределения. Такая ко-адаптация предотвращает разреженность вознаграждения, смягчает переобучение узким шаблонам задач и способствует устойчивому улучшению на протяжении всего обучения. Многочисленные эксперименты показывают, что SCALER последовательно превосходит базовые методы ОП, основанные на наборах данных, в различных тестах на рассуждение и демонстрирует более стабильную динамику обучения на длительных горизонтах.

English

Reinforcement learning (RL) offers a principled way to enhance the reasoning capabilities of large language models, yet its effectiveness hinges on training signals that remain informative as models evolve. In practice, RL progress often slows when task difficulty becomes poorly aligned with model capability, or when training is dominated by a narrow set of recurring problem patterns. To jointly address these issues, we propose SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning), a framework that sustains effective learning signals through adaptive environment design. SCALER introduces a scalable synthesis pipeline that converts real-world programming problems into verifiable reasoning environments with controllable difficulty and unbounded instance generation, enabling RL training beyond finite datasets while preserving strong correctness guarantees. Building on this, SCALER further employs an adaptive multi-environment RL strategy that dynamically adjusts instance difficulty and curates the active set of environments to track the model's capability frontier and maintain distributional diversity. This co-adaptation prevents reward sparsity, mitigates overfitting to narrow task patterns, and supports sustained improvement throughout training. Extensive experiments show that SCALER consistently outperforms dataset-based RL baselines across diverse reasoning benchmarks and exhibits more stable, long-horizon training dynamics.