安定かつ効果的な政策最適化のためのオンライン因果カルマンフィルタリング

要旨

大規模言語モデルにおける強化学習は、高分散なトークンレベルの重要度サンプリング（IS）比に悩まされており、大規模な政策最適化を不安定にする。安定性を向上させるため、最近の手法では一般に、シーケンス内の全トークンに対して固定のシーケンスレベルIS比を使用するか、各トークンのIS比を個別に調整するが、これによりシーケンス内トークン間の時間的オフポリシー導出が無視されがちである。本論文ではまず、局所的オフポリシー偏差がトークンレベルで構造的に不整合であることを実証的に明らかにする。これは隣接トークン間の政策勾配更新を歪め、学習の崩壊を招く可能性がある。この問題に対処するため、我々は安定かつ効果的な政策最適化のためのオンライン因果的カルマンフィルタリング（KPO）を提案する。具体的には、目的とするIS比をトークン間で推移する潜在状態としてモデル化し、カルマンフィルタを適用して、将来のトークンに依存せず、過去のトークンの状態に基づいてこの状態をオンラインかつ自己回帰的に更新する。これにより得られるフィルタリング済みIS比は、トークン単位の局所構造を考慮した変動を保持しつつ、ノイズスパイクを強く平滑化し、より安定かつ効果的な政策更新を実現する。実験では、KPOは困難な数学推論データセットにおいて、最先端の手法と比較して優れた結果を達成する。

English

Reinforcement learning for large language models suffers from high-variance token-level importance sampling (IS) ratios, which would destabilize policy optimization at scale. To improve stability, recent methods typically use a fixed sequence-level IS ratio for all tokens in a sequence or adjust each token's IS ratio separately, thereby neglecting temporal off-policy derivation across tokens in a sequence. In this paper, we first empirically identify that local off-policy deviation is structurally inconsistent at the token level, which may distort policy-gradient updates across adjacent tokens and lead to training collapse. To address the issue, we propose Online Causal Kalman Filtering for stable and effective Policy Optimization (KPO). Concretely, we model the desired IS ratio as a latent state that evolves across tokens and apply a Kalman filter to update this state online and autoregressively based on the states of past tokens, regardless of future tokens. The resulting filtered IS ratios preserve token-wise local structure-aware variation while strongly smoothing noise spikes, yielding more stable and effective policy updates. Experimentally, KPO achieves superior results on challenging math reasoning datasets compared with state-of-the-art counterparts.

安定かつ効果的な政策最適化のためのオンライン因果カルマンフィルタリング

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

要旨

Support