KVpop – Key-Value-Cache-Kompression mit prädiktivem Online-Pruning

Zusammenfassung

Das Wachstum des Key-Value (KV)-Caches stellt einen wesentlichen Engpass beim autoregressiven Decodieren dar, da Speicher und Bandbreite linear mit der Kontextlänge skalieren. Bestehende KV-Verdrängungsmethoden beruhen häufig auf statischen Heuristiken oder Proxy-Scores, die den Nutzen zukünftiger Tokens nur unzureichend erfassen und bei Bedeutungsverschiebungen zu brüchigen Verdrängungen führen. Um dieses Problem zu lösen, stellen wir KVpop vor, das eine bebudgetierte KV-Verdrängungsstrategie durch direkte Überwachung der Behalten-oder-Verwerfen-Entscheidung lernt. Der Scorer wird gegen ein neuartiges Future-Attention-Ziel trainiert, das effizient berechnet wird, ohne dichte Aufmerksamkeitsmatrizen zu materialisieren. Darüber hinaus führen wir einen verzögerten speicherbasierten Scorer ein, der – einzigartig unter gelernten Verdrängungsmethoden – das Scoring um eine feste Anzahl von Schritten verzögert, um den nahen Zukunftskontext auszunutzen. Bei mathematischen Reasoning-Aufgaben von AIME und HMMT behält KVpop mit Qwen3-4B 98% der Full-Attention-Leistung bei 75% KV-Cache-Kompression und 97% bei 88% Kompression und übertrifft durchgängig etablierte Verdrängungsbaselines. Qwen3-8B zeigt noch stärkere Ergebnisse und erreicht nahezu die volle Teacher-Leistung. Diese Ergebnisse belegen, dass die Überwachung der Verdrängung mit Future-Attention-Signalen Speicherkosten senkt, während die Qualität erhalten bleibt.

English

Key-value (KV) cache growth is a major bottleneck in autoregressive decoding, as memory and bandwidth scale linearly with context length. Existing KV eviction methods often rely on static heuristics or proxy scores, which poorly track future token utility and cause brittle eviction as relevance shifts. To address this, we introduce KVpop, which learns a fixed-budget KV eviction policy by directly supervising the keep-or-drop decision. The scorer is trained against a novel future-attention target, computed efficiently without materializing dense attention maps. We further introduce a delayed memory-based scorer that, uniquely among learned eviction methods, defers scoring for a fixed number of steps to exploit near-future context. On AIME and HMMT mathematical reasoning, KVpop retains 98% of full-attention performance on Qwen3-4B at 75% KV cache compression and 97% at 88% compression, consistently outperforming established eviction baselines. Qwen3-8B shows even stronger results, reaching near-full teacher performance. These results show that supervising eviction with future-attention signals cuts memory costs while maintaining quality.