UP: 非有界正非対称最適化による探索-安定性ジレンマの打破

要旨

強化学習（RL）は、大規模言語モデル（LLM）の複雑な推論能力を強化するための標準的なパラダイムとなっている。サンプル効率を達成するため、現代のRLフレームワークは重要度サンプリング（IS）に依存している。しかし、これらのアルゴリズムは探索と安定性のジレンマに直面する。純粋なISはしばしば壊滅的な訓練の不安定性を引き起こす一方、この不安定性を緩和するために用いられる標準的なクリッピング機構は、ポリシーの更新予算を厳しく制約する。確率容量（Cap）の概念を形式化することにより、保守的なクリッピングが、正しいが低信頼度の推論経路に対する更新予算を早期に打ち切ることで、探索を構造的に抑制することを明らかにする。これらの制約から解放されるために、我々はUnbounded Positive Asymmetric Optimization（UP）を提案する。これは普遍的でプラグアンドプレイな目的関数である。UPは、ストップグラデーション演算子を介してポリシーを現在の状態に固定することで、最適化プロセスを理論的に再構築する。この非対称な設計により、正のアドバンテージに対してはクリッピングなしの安定した勾配を解放して探索を最大化し、負のアドバンテージに対しては標準的なクリッピングの保護を維持して訓練の不安定性を防止する。さらに、我々の定式化は、トークンレベル（GRPO、DAPO）およびシーケンスレベル（GSPO）のフレームワークを含む、異なる最適化粒度に容易に拡張される。大規模な実験により、UPが多様なRLアルゴリズム（DAPO、GSPO、GRPO）、モデルアーキテクチャ（Dense、MoE、視覚言語）、訓練様式（言語およびマルチモーダル）にわたって探索能力を向上させ、優れた推論精度を達成することが示され、UPがRLベースの訓練に対する真に普遍的なプラグアンドプレイの強化手段であることが検証された。

English

Reinforcement learning (RL) has become the standard paradigm for enhancing the complex reasoning capabilities of large language models (LLMs). To achieve sample efficiency, modern RL frameworks rely on importance sampling (IS). However, these algorithms suffer from an exploration-stability dilemma. Pure IS often leads to catastrophic training instability, while standard clipping mechanisms used to mitigate this instability strictly constrain the policy update budget. By formalizing the concept of Probability Capacity (Cap), we reveal that conservative clipping structurally stifles exploration by prematurely truncating the update budget for correct but low-confidence reasoning paths. To break free from these constraints, we propose Unbounded Positive Asymmetric Optimization (UP), a universal and plug-and-play objective. UP theoretically restructures the optimization process by anchoring the policy to its current state via the stop-gradient operator. This asymmetric design unleashes unclipped, stable gradients for positive advantages to maximize exploration, while maintaining standard clipping safeguards for negative advantages to prevent training instability. Furthermore, our formulation readily extends across different optimization granularities, including token-level (GRPO, DAPO) and sequence-level (GSPO) frameworks. Extensive experiments demonstrate that UP enhances exploration capacity and achieves superior reasoning accuracy across diverse RL algorithms (DAPO, GSPO, and GRPO), model architectures (Dense, MoE, and vision-language), and training modalities (language and multimodal), validating UP as a truly universal plug-and-play enhancement for RL-based training.