KVpop -- 予測的オンラインプルーニングによるキー・バリューキャッシュ圧縮

要旨

キーバリュー（KV）キャッシュの増大は自己回帰型デコードにおける主要なボトルネックであり、メモリと帯域幅がコンテキスト長に比例して線形に増加するためである。既存のKV退避手法は、静的ヒューリスティクスやプロキシスコアに依存することが多く、これらは将来のトークンの有用性を適切に追跡できず、関連性の変化に伴って脆弱な退避を引き起こす。この問題に対処するため、我々はKVpopを提案する。KVpopは、保持か削除かの判断を直接教師あり学習することで、固定予算のKV退避ポリシーを学習する。スコアラー（評価器）は、密なアテンションマップを生成することなく効率的に計算される、新規な将来アテンションターゲットに対して訓練される。さらに、学習ベースの退避手法の中でユニークな点として、一定数ステップのスコアリングを遅延させて近い将来のコンテキストを活用する、遅延メモリベーススコアラーを導入する。AIMEおよびHMMTの数学的推論において、KVpopはQwen3-4Bで75%のKVキャッシュ圧縮時にフルアテンション性能の98%、88%圧縮時に97%を維持し、確立された退避ベースラインを一貫して上回る。Qwen3-8Bではさらに強力な結果を示し、ほぼ完全な教師性能に達する。これらの結果は、将来アテンションシグナルを用いた退避の教師あり学習が、品質を維持しながらメモリコストを削減することを示している。

English

Key-value (KV) cache growth is a major bottleneck in autoregressive decoding, as memory and bandwidth scale linearly with context length. Existing KV eviction methods often rely on static heuristics or proxy scores, which poorly track future token utility and cause brittle eviction as relevance shifts. To address this, we introduce KVpop, which learns a fixed-budget KV eviction policy by directly supervising the keep-or-drop decision. The scorer is trained against a novel future-attention target, computed efficiently without materializing dense attention maps. We further introduce a delayed memory-based scorer that, uniquely among learned eviction methods, defers scoring for a fixed number of steps to exploit near-future context. On AIME and HMMT mathematical reasoning, KVpop retains 98% of full-attention performance on Qwen3-4B at 75% KV cache compression and 97% at 88% compression, consistently outperforming established eviction baselines. Qwen3-8B shows even stronger results, reaching near-full teacher performance. These results show that supervising eviction with future-attention signals cuts memory costs while maintaining quality.