IceCache: Speichereffizientes KV-Cache-Management für LLMs mit langen Sequenzen
IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs
April 12, 2026
Autoren: Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li
cs.AI
Zusammenfassung
Der Key-Value (KV)-Cache spielt eine entscheidende Rolle bei der Beschleunigung des Inferenzvorgangs in großen Sprachmodellen (LLMs), indem er Zwischenzustände der Attention speichert und redundante Berechnungen während der autoregressiven Generierung vermeidet. Sein Speicherbedarf skaliert jedoch linear mit der Sequenzlänge, was häufig zu erheblichen Speicherengpässen auf ressourcenbeschränkter Hardware führt. Bisherige Arbeiten haben untersucht, den KV-Cache auf die CPU auszulagern, während nur eine Teilmenge auf der GPU verbleibt. Diese Ansätze stützen sich jedoch oft auf ungenaue Token-Auswahl und leiden unter Leistungseinbußen bei Aufgaben mit langen Generierungssequenzen, wie etwa Chain-of-Thought Reasoning. In diesem Beitrag schlagen wir eine neuartige KV-Cache-Management-Strategie namens IceCache vor, die semantische Token-Clustering mit PagedAttention integriert. Indem semantisch verwandte Token in zusammenhängende Speicherbereiche organisiert werden, die durch eine hierarchische, dynamisch aktualisierbare Datenstruktur verwaltet werden, ermöglicht unsere Methode eine effizientere Token-Auswahl und eine bessere Nutzung der Speicherbandbreite während CPU-GPU-Transfers. Experimentelle Ergebnisse auf LongBench zeigen, dass IceCache bei einem Budget von 256 Token 99 % der ursprünglichen Genauigkeit des Voll-KV-Cache-Modells erreicht. Im Vergleich zu anderen auslagerungsbasierten Methoden erzielt IceCache eine vergleichbare oder sogar bessere Latenz und Genauigkeit, während nur 25 % des KV-Cache-Token-Budgets verwendet werden, was seine Wirksamkeit in Langsequenzszenarien demonstriert. Der Code ist auf unserer Projektwebsite unter https://yuzhenmao.github.io/IceCache/ verfügbar.
English
Key-Value (KV) cache plays a crucial role in accelerating inference in large language models (LLMs) by storing intermediate attention states and avoiding redundant computation during autoregressive generation. However, its memory footprint scales linearly with sequence length, often leading to severe memory bottlenecks on resource-constrained hardware. Prior work has explored offloading KV cache to the CPU while retaining only a subset on the GPU, but these approaches often rely on imprecise token selection and suffer performance degradation in long-generation tasks such as chain-of-thought reasoning. In this paper, we propose a novel KV cache management strategy, IceCache, which integrates semantic token clustering with PagedAttention. By organizing semantically related tokens into contiguous memory regions managed by a hierarchical, dynamically updatable data structure, our method enables more efficient token selection and better utilization of memory bandwidth during CPU-GPU transfers. Experimental results on LongBench show that, with a 256-token budget, IceCache maintains 99% of the original accuracy achieved by the full KV cache model. Moreover, compared to other offloading-based methods, IceCache attains competitive or even superior latency and accuracy while using only 25% of the KV cache token budget, demonstrating its effectiveness in long-sequence scenarios. The code is available on our project website at https://yuzhenmao.github.io/IceCache/.