SCALER: 推論のための合成スケーラブル適応学習環境
SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning
January 8, 2026
著者: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao
cs.AI
要旨
強化学習（RL）は大規模言語モデルの推論能力を向上させる原理的な手法を提供するが、その有効性はモデルの進化に伴って有益な情報を保ち続ける訓練信号に依存している。実際には、タスクの難易度がモデルの能力と適切に一致しなくなったり、訓練が限られた繰り返し発生する問題パターンに支配されたりすると、RLの進展はしばしば鈍化する。これらの課題を同時に解決するため、我々は適応的環境設計を通じて効果的な学習信号を持続させるフレームワークSCALER（Synthetic sCalable Adaptive Learning Environment for Reasoning）を提案する。SCALERは、実世界のプログラミング問題を、難易度が制御可能でインスタンス生成が無制限な検証可能な推論環境に変換するスケーラブルな合成パイプラインを導入する。これにより、強固な正解保証を維持しつつ、有限データセットを超えたRL訓練を可能にする。この基盤に立って、SCALERはさらに、インスタンスの難易度を動的に調整し、モデルの能力フロンティアを追跡して分布の多様性を維持するために活性化する環境セットを選定する、適応的なマルチ環境RL戦略を採用する。この共適応は、報酬の希薄化を防ぎ、狭いタスクパターンへの過学習を緩和し、訓練全体を通じた持続的な改善を支援する。大規模な実験により、SCALERが多様な推論ベンチマークにおいてデータセットベースのRLベースラインを一貫して上回り、より安定した長期的な訓練ダイナミクスを示すことが実証された。
English
Reinforcement learning (RL) offers a principled way to enhance the reasoning capabilities of large language models, yet its effectiveness hinges on training signals that remain informative as models evolve. In practice, RL progress often slows when task difficulty becomes poorly aligned with model capability, or when training is dominated by a narrow set of recurring problem patterns. To jointly address these issues, we propose SCALER (Synthetic sCalable Adaptive Learning Environment for Reasoning), a framework that sustains effective learning signals through adaptive environment design. SCALER introduces a scalable synthesis pipeline that converts real-world programming problems into verifiable reasoning environments with controllable difficulty and unbounded instance generation, enabling RL training beyond finite datasets while preserving strong correctness guarantees. Building on this, SCALER further employs an adaptive multi-environment RL strategy that dynamically adjusts instance difficulty and curates the active set of environments to track the model's capability frontier and maintain distributional diversity. This co-adaptation prevents reward sparsity, mitigates overfitting to narrow task patterns, and supports sustained improvement throughout training. Extensive experiments show that SCALER consistently outperforms dataset-based RL baselines across diverse reasoning benchmarks and exhibits more stable, long-horizon training dynamics.