IceCache: Geheugenefficiënt KV-cachebeheer voor Large Language Models met lange sequenties
IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs
April 12, 2026
Auteurs: Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li
cs.AI
Samenvatting
Key-Value (KV)-cache speelt een cruciale rol bij het versnellen van inferentie in grote taalmodellen (LLM's) door tussenliggende aandachtstoestanden op te slaan en redundante berekeningen te vermijden tijdens autoregressieve generatie. Het geheugenverbruik ervan schaalt echter lineair met de sequentielengte, wat vaak leidt tot ernstige geheugenknelpunten op hardware met beperkte middelen. Eerder onderzoek heeft de mogelijkheid verkend om de KV-cache naar de CPU uit te besteden, waarbij slechts een subset op de GPU wordt aangehouden. Deze benaderingen zijn echter vaak gebaseerd op onnauwkeurige tokenselectie en leiden tot prestatieverlies bij langere generatietaken, zoals redeneren in een gedachteketen. In dit artikel presenteren we een nieuwe KV-cachebeheerstrategie, IceCache, die semantische tokenclustering integreert met PagedAttention. Door semantisch verwante tokens te organiseren in aaneengesloten geheugengebieden die worden beheerd door een hiërarchische, dynamisch bijwerkbare gegevensstructuur, maakt onze methode efficiëntere tokenselectie en een beter gebruik van de geheugenbandbreedte mogelijk tijdens CPU-GPU-transfers. Experimentele resultaten op LongBench tonen aan dat IceCache, met een budget van 256 tokens, 99% van de oorspronkelijke nauwkeurigheid behoudt die wordt bereikt door het model met een volledige KV-cache. Verder bereikt IceCache, vergeleken met andere op uitbesteding gebaseerde methoden, vergelijkbare of zelfs superieure latentie en nauwkeurigheid terwijl slechts 25% van het KV-cache-tokenbudget wordt gebruikt, wat de effectiviteit ervan in langere-sequentiescenario's aantoont. De code is beschikbaar op onze projectwebsite: https://yuzhenmao.github.io/IceCache/.
English
Key-Value (KV) cache plays a crucial role in accelerating inference in large language models (LLMs) by storing intermediate attention states and avoiding redundant computation during autoregressive generation. However, its memory footprint scales linearly with sequence length, often leading to severe memory bottlenecks on resource-constrained hardware. Prior work has explored offloading KV cache to the CPU while retaining only a subset on the GPU, but these approaches often rely on imprecise token selection and suffer performance degradation in long-generation tasks such as chain-of-thought reasoning. In this paper, we propose a novel KV cache management strategy, IceCache, which integrates semantic token clustering with PagedAttention. By organizing semantically related tokens into contiguous memory regions managed by a hierarchical, dynamically updatable data structure, our method enables more efficient token selection and better utilization of memory bandwidth during CPU-GPU transfers. Experimental results on LongBench show that, with a 256-token budget, IceCache maintains 99% of the original accuracy achieved by the full KV cache model. Moreover, compared to other offloading-based methods, IceCache attains competitive or even superior latency and accuracy while using only 25% of the KV cache token budget, demonstrating its effectiveness in long-sequence scenarios. The code is available on our project website at https://yuzhenmao.github.io/IceCache/.