安定性と探索のジレンマを超えて：LLM方策最適化のための環境正則化
Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization
August 24, 2026
著者: Xianlei Zhou, Xiangdi Meng, Yu He, Tianyu Qi, Shuyan Guan, Xianli Zhang, Jian Zhang, Xin Li, Qika Lin, Jun Liu
cs.AI
要旨
大規模言語モデルに対するポリシー最適化（PO）は、安定性と探索の間のトレードオフに直面しており、現在はアクション側のPolicy-KL正則化器によって調整されている。これにより実務者は二重のジレンマに陥る。すなわち、Policy-KLを維持すれば応答の振る舞いが制約され、アクション側の探索予算を消費する一方、それを外せば最適化は明示的なドリフト制御を失う。我々は、正則化を入力側に移すことでこのジレンマを打破する代替手法を提案する。訓練が進むにつれて、現在のポリシーによって誘導される訓練クエリ上の分布は、強化学習前の参照分布から制御されずにドリフトする。
具体的には、Environment-Regularized Policy Optimization（ERPO）は、このクエリ分布のシフトを制限するQuery-KL（QKL）項を導入するとともに、データセットに対して静的であり参照分布から導出されるクエリごとの重みを用いる。この重みは、各クエリの更新を参照の下で典型的なクエリへと偏らせる。QKL勾配は厳密にクエリ尤度を通してのみ流れ、ポリシー勾配推定器で使用される応答スコア関数はQKL項に現れない。したがって、QKLは応答分布に直接の勾配圧力を及ぼさず、探索は維持される。ERPOは、追加のフォワードパスを必要とせずにGRPO/PPO/REINFORCEスタイルのパイプラインに組み込むことができる。6つの数学推論ベンチマークにおいて、ERPOは標準のPolicy-KL正則化器を置き換えつつ、クエリ分布のドリフトを効果的に制御し、高温デコードおよび長期的訓練の下でより高い精度と大幅に安定した挙動を達成する。ソースコードは https://github.com/alibaba/ERPO で公開している。
English
Policy optimization (PO) for Large Language Models faces a stability--exploration trade-off, currently mediated by an action-side Policy-KL regularizer. This puts practitioners in a double bind: keeping Policy-KL constrains response behavior and consumes the action-side exploration budget, while dropping it leaves the optimization without an explicit drift control. We argue for an alternative that breaks the dilemma by moving regularization to the input side. As training progresses, the distribution over training queries induced by the current policy drifts unchecked from its pre-RL reference distribution.
Concretely, Environment-Regularized Policy Optimization (ERPO) introduces a Query-KL (QKL) term that bounds this query distribution shift, together with a dataset-static reference-derived per-query weight that biases each per-query update toward queries typical under the reference. The QKL gradient flows strictly through the query likelihood; the response score function used by policy-gradient estimators does not appear in the QKL term, so QKL exerts no direct gradient pressure on the response distribution---exploration is preserved. ERPO plugs into GRPO/PPO/REINFORCE-style pipelines without additional forward passes. On six mathematical reasoning benchmarks, ERPO replaces the standard Policy-KL regularizer while achieving effective control over query distribution drift, delivering stronger accuracy and substantially more stable behavior under high-temperature decoding and long-horizon training.Our source code are available at https://github.com/alibaba/ERPO