IceCache : Gestion économe en mémoire du cache clé-valeur pour les LLM à longues séquences
IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs
April 12, 2026
Auteurs: Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li
cs.AI
Résumé
Le cache clé-valeur (KV) joue un rôle crucial dans l'accélération de l'inférence des grands modèles de langage (LLM) en stockant les états d'attention intermédiaires et en évitant les calculs redondants lors de la génération auto-régressive. Cependant, son empreinte mémoire augmente linéairement avec la longueur des séquences, entraînant souvent des goulots d'étranglement sévères sur le matériel aux ressources limitées. Les travaux antérieurs ont exploré le déchargement du cache KV vers le CPU tout en ne conservant qu'un sous-ensemble sur le GPU, mais ces approches reposent souvent sur une sélection imprécise des tokens et subissent une dégradation des performances dans les tâches de génération longue telles que le raisonnement en chaîne de pensée. Dans cet article, nous proposons une nouvelle stratégie de gestion du cache KV, IceCache, qui intègre le regroupement sémantique de tokens avec PagedAttention. En organisant les tokens sémantiquement liés dans des régions mémoire contiguës gérées par une structure de données hiérarchique et dynamiquement actualisable, notre méthode permet une sélection plus efficace des tokens et une meilleure utilisation de la bande passante mémoire lors des transferts CPU-GPU. Les résultats expérimentaux sur LongBench montrent qu'avec un budget de 256 tokens, IceCache maintient 99 % de la précision originale obtenue par le modèle utilisant le cache KV complet. De plus, par rapport aux autres méthodes basées sur le déchargement, IceCache atteint une latence et une précision compétitives, voire supérieures, tout en n'utilisant que 25 % du budget token du cache KV, démontrant son efficacité dans les scénarios à longues séquences. Le code est disponible sur notre site web de projet à l'adresse https://yuzhenmao.github.io/IceCache/.
English
Key-Value (KV) cache plays a crucial role in accelerating inference in large language models (LLMs) by storing intermediate attention states and avoiding redundant computation during autoregressive generation. However, its memory footprint scales linearly with sequence length, often leading to severe memory bottlenecks on resource-constrained hardware. Prior work has explored offloading KV cache to the CPU while retaining only a subset on the GPU, but these approaches often rely on imprecise token selection and suffer performance degradation in long-generation tasks such as chain-of-thought reasoning. In this paper, we propose a novel KV cache management strategy, IceCache, which integrates semantic token clustering with PagedAttention. By organizing semantically related tokens into contiguous memory regions managed by a hierarchical, dynamically updatable data structure, our method enables more efficient token selection and better utilization of memory bandwidth during CPU-GPU transfers. Experimental results on LongBench show that, with a 256-token budget, IceCache maintains 99% of the original accuracy achieved by the full KV cache model. Moreover, compared to other offloading-based methods, IceCache attains competitive or even superior latency and accuracy while using only 25% of the KV cache token budget, demonstrating its effectiveness in long-sequence scenarios. The code is available on our project website at https://yuzhenmao.github.io/IceCache/.