RestoreKV: 積極的なクエリ非依存KVキャッシュ排除下における全キャッシュ動作の回復

要旨

クエリ非依存のKVキャッシュ削除（eviction）は、コンテキストを一度圧縮し、得られたキャッシュを任意の将来のクエリに再利用するが、厳しい予算（budget）下では性能が著しく低下し得る。既存手法は主に、どの元のKVペアを保持するかを改善するものである。我々はRestoreKVを導入する。これは、選択ベースの定式化を、同じ総KV予算の下での学習された復元（restoration）によって補完するものである。我々の主要な洞察は、削除によって失われる情報はコンテキスト固有である一方、そのコンパクトな補完を生成するメカニズムはコンテキスト間で共有できるという点である。コンテキストのプレフィル後、少数の復元トークン（restore tokens）が単一のLoRA適応パスで完全なKVキャッシュに注目し、コンパクトでコンテキスト条件付きの復元キャッシュを生成する。基本の重要度スコアラと削除ルールは変更されず、アダプタはその後のすべてのクエリおよびデコード中は無効化される。RestoreKVは、凍結された完全キャッシュモデルからのパラメータ効率的な自己蒸留により訓練され、パラメータのわずか0.4%のみを最適化し、タスク固有のチューニングを必要としない。4つのバックボーンと4つの長文コンテキストベンチマークにわたり、RestoreKVは圧縮による性能劣化を大幅に削減する。Qwen3-4Bでは、5つの基本削除手法にわたる、対になった予算整合設定60件のうち59件で改善する。5%予算では、RULER-4KにおいてKVzipを38.2から73.2へ引き上げる。KVzip+に適用した場合、RestoreKVはKVPressベンチマークにおいて16倍圧縮で86.4のRULER精度に達し、32Kコンテキスト評価では一回限りのキャッシュ構築オーバーヘッドを0.5%未満しか追加しない。プロジェクトページは https://paper.pnu-cvsp.com/RestoreKV/ で利用可能である。

English

Query-agnostic KV cache eviction compresses a context once and reuses the resulting cache for arbitrary future queries, but performance can collapse under tight budgets. Existing methods primarily improve which original KV pairs are retained. We introduce RestoreKV, which complements this selection-based formulation with learned restoration under the same total KV budget. Our key insight is that, although the information lost through eviction is context-specific, the mechanism for generating its compact complement can be shared across contexts. After context prefill, a few restore tokens attend to the full KV cache in a single LoRA-adapted pass, generating a compact, context-conditioned restore cache. The base importance scorer and eviction rule remain unchanged, and the adapters are disabled for all subsequent queries and decoding. RestoreKV is trained through parameter-efficient self-distillation from the frozen full-cache model, optimizing only 0.4% of the parameters and requiring no task-specific tuning. Across four backbones and four long-context benchmarks, RestoreKV substantially reduces compression-induced degradation. On Qwen3-4B, it improves 59 of 60 paired, budget-matched settings across five base eviction methods; at a 5% budget, it raises KVzip from 38.2 to 73.2 on RULER-4K. Applied to KVzip+, RestoreKV reaches 86.4 RULER accuracy at 16times compression on the KVPress Benchmark, while adding less than 0.5% one-time cache-construction overhead in a 32K-context evaluation. Our project page is available at https://paper.pnu-cvsp.com/RestoreKV/