Waardebewuste Stochastische KV-cache-verwijdering voor Redeneermodellen

Samenvatting

Redeneermodellen verbeteren de nauwkeurigheid door middel van uitgebreide denkketens, maar hun lange uitvoer creëert een geheugen- en rekenknelpunt. KV-cache-evictiemethoden verminderen deze kosten door onbelangrijke sleutel-waardeparen uit de cache te verwijderen, maar leveren vaak een lagere nauwkeurigheid op dan op selectie gebaseerde alternatieven voor schaarse aandacht, die de volledige KV-cache behouden. We identificeren sleutelfactoren die cruciaal zijn voor de nauwkeurigheid van KV-cache-evictie. Ten eerste heeft een klein deel van de waarde-toestanden abnormaal grote magnitudes, en het verwijderen ervan leidt tot catastrofale fouten waarbij modellen in repetitieve redeneerlussen terechtkomen. Ten tweede verbetert het introduceren van stochasticiteit tijdens evictie de nauwkeurigheid door de cachediversiteit te vergroten. Op basis van deze bevindingen stellen we Value-aware Stochastic KV Cache Eviction (VaSE) voor, een trainingsvrij recept dat waarde-toestanden met grote magnitudes beschermt en diverse evictiebeslissingen bevordert. Over zes redeneertaken heen leveren Qwen3-modellen die VaSE gebruiken met 4x KV-cachecompressie een hogere gemiddelde nauwkeurigheid op dan de state-of-the-art selectiemethode bij dezelfde schaarste, terwijl ze de sterkste evictiemethode met meer dan 4% overtreffen. Over het algemeen overbrugt VaSE de kloof tussen efficiëntie en nauwkeurigheid, ondersteunt het FlashAttention2 en maakt het een statische geheugenvoetafdruk mogelijk voor redeneermodellen.

English

Reasoning models improve accuracy through extended chains of thought, but their long outputs create a memory and compute bottleneck. KV cache eviction methods reduce this cost by evicting unimportant key-value pairs from the cache, yet they often yield worse accuracy than selection-based sparse attention alternatives, which keep the full KV cache. We identify key factors crucial to KV cache eviction accuracy. First, a small fraction of value states have abnormally large magnitudes, and evicting them causes catastrophic failure where models enter repetitive reasoning loops. Second, introducing stochasticity during eviction improves accuracy by increasing cache diversity. Based on these findings, we propose Value-aware Stochastic KV Cache Eviction (VaSE), a training-free recipe that protects large-magnitude value states and promotes diverse eviction decisions. Across six reasoning tasks, Qwen3 models using VaSE with 4x KV cache compression yield higher average accuracies than SOTA selection method at the same sparsity, while outperforming the strongest eviction method by more than 4%. Overall, VaSE bridges the gap between efficiency and accuracy, supporting FlashAttention2 and enabling a static memory footprint for reasoning models.