グループエントロピー制御方策最適化

要旨

エントロピー制御は、大規模言語モデル（LLM）の強化学習（RL）において効果的なツールとなり、アライメントプロセスにおける探索と活用のトレードオフのバランスをとるのに役立っています。このようなRLのパラダイムは、しばしば異種タスクの混合データに対して実行され、同一の方針のもとで異なるエントロピー状態を誘発するため、グローバルまたはトークンレベルのエントロピー調整では、対応する異種の探索ニーズに対して不十分です。この不均一性により、GRPO形式の正規化されたアドバンテージはさらにエントロピー依存のバイアスを誘発し、プロンプトグループ間でのアドバンテージ信号が統計的に比較不可能となります。この問題に対処するため、我々はGroup Entropy-Controlled Policy Optimization（GEPO）を提案します。これはGRPOの軽量な拡張であり、既存のグループ化されたサンプルから推定されたグループエントロピーを用いて、エントロピー条件付きの非対称アドバンテージ整形を行います。GEPOは、低エントロピーグループにおける正のアドバンテージを減衰させて過剰活用を抑え、高エントロピーグループにおける負のアドバンテージを減衰させて探索を維持し、過去のエントロピー統計から導出された適応的しきい値を用います。数学、物理学、科学、コード生成、指示追従にわたる13のベンチマークにおける2つのベースモデルでの広範な実験により、GEPOがGRPOおよび近年のエントロピー制御手法を一貫して上回り、トレーニング全体を通じてタスク固有の探索レベルを維持しながら、タスク間でバランスの取れた改善をもたらすことが示されました。

English

Entropy control has become an effective tool in reinforcement learning (RL) of large language models (LLMs), helping balance exploration-exploitation trade-off during alignment process. Such RL paradigm is often conducted on mixtures of heterogeneous tasks, which induce distinct entropy regimes under the same policy, making global or token-level entropy regulation insufficient to corresponding heterogeneous needs of exploration. This heterogeneity further makes GRPO-style normalized advantages induce an entropy-dependent bias, making advantage signals across prompt groups statistically non-comparable. To address this issue, we propose Group Entropy-Controlled Policy Optimization (GEPO), a lightweight extension to GRPO that uses group entropy, estimated from existing grouped samples to perform entropy-conditioned asymmetric advantage shaping. GEPO attenuates positive advantages in low-entropy groups to reduce over-exploitation, and negative advantages in high-entropy groups to preserve exploration, with adaptive thresholds derived from historical entropy statistics. Extensive experiments on two base models across thirteen benchmarks spanning mathematics, physics, science, code generation, and instruction following show that GEPO consistently outperforms GRPO and recent entropy-controlled methods, delivering balanced cross-task improvements while preserving task-specific exploration levels throughout training.