Filtro di Kalman Causale Online per un'Ottimizzazione delle Politiche Stabile ed Efficace

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

February 11, 2026

Autori: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

cs.AI

Abstract

L'apprendimento per rinforzo per i grandi modelli linguistici soffre di rapporti di importance sampling (IS) a livello di token ad alta varianza, che destabilizzerebbero l'ottimizzazione della politica su larga scala. Per migliorare la stabilità, i metodi recenti tipicamente utilizzano un rapporto IS fisso a livello di sequenza per tutti i token in una sequenza o aggiustano separatamente il rapporto IS di ciascun token, trascurando così la derivazione off-policy temporale tra i token in una sequenza. In questo articolo, identifichiamo empiricamente che la deviazione off-policy locale è strutturalmente inconsistente a livello di token, il che può distorcere gli aggiornamenti del policy-gradient tra token adiacenti e portare al collasso dell'addestramento. Per affrontare il problema, proponiamo Online Causal Kalman Filtering for stable and effective Policy Optimization (KPO). Nello specifico, modelliamo il rapporto IS desiderato come uno stato latente che evolve attraverso i token e applichiamo un filtro di Kalman per aggiornare online e autoregressivamente questo stato basandosi sugli stati dei token passati, indipendentemente dai token futuri. I rapporti IS filtrati risultanti preservano una variazione locale consapevole della struttura a livello di token, smussando fortemente i picchi di rumore, producendo così aggiornamenti della politica più stabili ed efficaci. Sperimentalmente, KPO ottiene risultati superiori su dataset impegnativi di ragionamento matematico rispetto alle controparti allo stato dell'arte.

English

Reinforcement learning for large language models suffers from high-variance token-level importance sampling (IS) ratios, which would destabilize policy optimization at scale. To improve stability, recent methods typically use a fixed sequence-level IS ratio for all tokens in a sequence or adjust each token's IS ratio separately, thereby neglecting temporal off-policy derivation across tokens in a sequence. In this paper, we first empirically identify that local off-policy deviation is structurally inconsistent at the token level, which may distort policy-gradient updates across adjacent tokens and lead to training collapse. To address the issue, we propose Online Causal Kalman Filtering for stable and effective Policy Optimization (KPO). Concretely, we model the desired IS ratio as a latent state that evolves across tokens and apply a Kalman filter to update this state online and autoregressively based on the states of past tokens, regardless of future tokens. The resulting filtered IS ratios preserve token-wise local structure-aware variation while strongly smoothing noise spikes, yielding more stable and effective policy updates. Experimentally, KPO achieves superior results on challenging math reasoning datasets compared with state-of-the-art counterparts.