UloRL：大規模言語モデルの推論能力を向上させるための超長出力強化学習アプローチ

UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models' Reasoning Abilities

July 26, 2025

著者: Dong Du, Shulin Liu, Tao Yang, Shaohua Chen, Yang Li

cs.AI

要旨

大規模言語モデル（LLMs）の最近の進展により、検証可能な報酬を用いた強化学習（RLVR）が、長い出力シーケンスを通じて推論能力を向上させる可能性が浮き彫りになってきました。しかし、従来のRLフレームワークは、超長い出力を扱う際に、ロングテールシーケンス分布やトレーニング中のエントロピー崩壊による非効率性に直面しています。これらの課題に対処するため、我々は大規模言語モデルの推論能力を向上させるための超長出力強化学習（UloRL）アプローチを提案します。具体的には、超長い出力デコードを短いセグメントに分割し、ロングテールサンプルによる遅延を緩和することで効率的なトレーニングを実現します。さらに、エントロピー崩壊を防ぐために、習熟した正のトークン（MPTs）の動的マスキングを導入します。実験結果は、我々のアプローチの有効性を示しています。Qwen3-30B-A3Bモデルでは、セグメントロールアウトを用いたRLによりトレーニング速度が2.06倍向上し、128kトークンの出力を用いたRLトレーニングにより、AIME2025でのモデルの性能が70.9％から85.1％に、BeyondAIMEでは50.7％から61.9％に向上し、Qwen3-235B-A22Bを凌ぐ顕著な成果を達成しました。これらの発見は、超長シーケンス生成を用いたLLMsの推論能力を進化させる我々の手法の可能性を強調しています。我々は、コミュニティのさらなる利用のためにコードとモデルを公開する予定です。

English

Recent advances in large language models (LLMs) have highlighted the potential of reinforcement learning with verifiable rewards (RLVR) to enhance reasoning capabilities through extended output sequences. However, traditional RL frameworks face inefficiencies when handling ultra-long outputs due to long-tail sequence distributions and entropy collapse during training. To address these challenges, we propose an Ultra-Long Output Reinforcement Learning (UloRL) approach for advancing large language models' reasoning abilities. Specifically, we divide ultra long output decoding into short segments, enabling efficient training by mitigating delays caused by long-tail samples. Additionally, we introduce dynamic masking of well-Mastered Positive Tokens (MPTs) to prevent entropy collapse. Experimental results demonstrate the effectiveness of our approach. On the Qwen3-30B-A3B model, RL with segment rollout achieved 2.06x increase in training speed, while RL training with 128k-token outputs improves the model's performance on AIME2025 from 70.9\% to 85.1\% and on BeyondAIME from 50.7\% to 61.9\%, even surpassing Qwen3-235B-A22B with remarkable gains. These findings underscore the potential of our methods to advance the reasoning capabilities of LLMs with ultra-long sequence generation. We will release our code and model for further use by the community.