Filtro de Kalman Causal Online para Otimização de Políticas Estável e Eficaz

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

February 11, 2026

Autores: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

cs.AI

Resumo

O aprendizado por reforço para modelos de linguagem de grande escala sofre com altas variâncias nas taxas de amostragem por importância (IS) a nível de token, o que desestabilizaria a otimização da política em larga escala. Para melhorar a estabilidade, métodos recentes geralmente utilizam uma taxa de IS fixa a nível de sequência para todos os tokens em uma sequência ou ajustam a taxa de IS de cada token separadamente, negligenciando assim a derivação temporal *off-policy* entre os tokens em uma sequência. Neste artigo, primeiro identificamos empiricamente que o desvio *off-policy* local é estruturalmente inconsistente a nível de token, o que pode distorcer as atualizações do gradiente da política entre tokens adjacentes e levar a um colapso no treinamento. Para resolver o problema, propomos a Filtragem de Kalman Causal Online para Otimização de Política estável e eficaz (KPO). Concretamente, modelamos a taxa de IS desejada como um estado latente que evolui através dos tokens e aplicamos um filtro de Kalman para atualizar este estado online e autoregressivamente com base nos estados dos tokens passados, independentemente de tokens futuros. As taxas de IS filtradas resultantes preservam a variação local consciente da estrutura a nível de token enquanto suavizam fortemente picos de ruído, produzindo atualizações de política mais estáveis e eficazes. Experimentalmente, o KPO alcança resultados superiores em conjuntos de dados desafiadores de raciocínio matemático em comparação com as contrapartes state-of-the-art.

English

Reinforcement learning for large language models suffers from high-variance token-level importance sampling (IS) ratios, which would destabilize policy optimization at scale. To improve stability, recent methods typically use a fixed sequence-level IS ratio for all tokens in a sequence or adjust each token's IS ratio separately, thereby neglecting temporal off-policy derivation across tokens in a sequence. In this paper, we first empirically identify that local off-policy deviation is structurally inconsistent at the token level, which may distort policy-gradient updates across adjacent tokens and lead to training collapse. To address the issue, we propose Online Causal Kalman Filtering for stable and effective Policy Optimization (KPO). Concretely, we model the desired IS ratio as a latent state that evolves across tokens and apply a Kalman filter to update this state online and autoregressively based on the states of past tokens, regardless of future tokens. The resulting filtered IS ratios preserve token-wise local structure-aware variation while strongly smoothing noise spikes, yielding more stable and effective policy updates. Experimentally, KPO achieves superior results on challenging math reasoning datasets compared with state-of-the-art counterparts.