Онлайн-фильтр Калмана с учетом причинно-следственных связей для стабильной и эффективной оптимизации политик

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

February 11, 2026

Авторы: Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

cs.AI

Аннотация

Подкрепляемое обучение для больших языковых моделей страдает от высокодисперсных коэффициентов важности на уровне токенов, что дестабилизирует оптимизацию политики в крупных масштабах. Для повышения стабильности современные методы обычно используют фиксированный коэффициент важности на уровне последовательности для всех токенов или индивидуально корректируют коэффициент для каждого токена, игнорируя временное внеполитическое отклонение между токенами в последовательности. В данной работе мы сначала эмпирически показываем, что локальное внеполитическое отклонение структурно не согласовано на уровне токенов, что может искажать обновления политики через градиенты для смежных токенов и приводить к коллапсу обучения. Для решения этой проблемы мы предлагаем метод онлайн-каузальной фильтрации Калмана для стабильной и эффективной оптимизации политики. Конкретно, мы моделируем желаемый коэффициент важности как скрытое состояние, эволюционирующее между токенами, и применяем фильтр Калмана для онлайн-обновления этого состояния авторегрессивно на основе состояний предыдущих токенов, независимо от будущих токенов. Полученные отфильтрованные коэффициенты важности сохраняют вариативность с учетом локальной структуры на уровне токенов, одновременно эффективно сглаживая шумовые выбросы, что обеспечивает более стабильные и эффективные обновления политики. Экспериментально метод KPO демонстрирует превосходные результаты на сложных наборах данных по математическим рассуждениям по сравнению с передовыми аналогами.

English

Reinforcement learning for large language models suffers from high-variance token-level importance sampling (IS) ratios, which would destabilize policy optimization at scale. To improve stability, recent methods typically use a fixed sequence-level IS ratio for all tokens in a sequence or adjust each token's IS ratio separately, thereby neglecting temporal off-policy derivation across tokens in a sequence. In this paper, we first empirically identify that local off-policy deviation is structurally inconsistent at the token level, which may distort policy-gradient updates across adjacent tokens and lead to training collapse. To address the issue, we propose Online Causal Kalman Filtering for stable and effective Policy Optimization (KPO). Concretely, we model the desired IS ratio as a latent state that evolves across tokens and apply a Kalman filter to update this state online and autoregressively based on the states of past tokens, regardless of future tokens. The resulting filtered IS ratios preserve token-wise local structure-aware variation while strongly smoothing noise spikes, yielding more stable and effective policy updates. Experimentally, KPO achieves superior results on challenging math reasoning datasets compared with state-of-the-art counterparts.