IceCache: Gestión eficiente en memoria de caché KV para LLM de secuencias largas
IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs
April 12, 2026
Autores: Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li
cs.AI
Resumen
La caché clave-valor (KV) desempeña un papel crucial en la aceleración de la inferencia en modelos de lenguaje grandes (LLM) al almacenar estados intermedios de atención y evitar cómputos redundantes durante la generación autoregresiva. Sin embargo, su huella de memoria escala linealmente con la longitud de la secuencia, lo que a menudo genera cuellos de botella severos en hardware con recursos limitados. Trabajos previos han explorado la descarga de la caché KV a la CPU mientras se retiene solo un subconjunto en la GPU, pero estos enfoques a menudo dependen de una selección imprecisa de tokens y sufren degradación del rendimiento en tareas de generación larga, como el razonamiento de cadena de pensamiento. En este artículo, proponemos una novedosa estrategia de gestión de caché KV, IceCache, que integra agrupación semántica de tokens con PagedAttention. Al organizar tokens semánticamente relacionados en regiones de memoria contiguas gestionadas por una estructura de datos jerárquica y actualizable dinámicamente, nuestro método permite una selección de tokens más eficiente y una mejor utilización del ancho de banda de memoria durante las transferencias CPU-GPU. Los resultados experimentales en LongBench muestran que, con un presupuesto de 256 tokens, IceCache mantiene el 99% de la precisión original lograda por el modelo con caché KV completa. Además, en comparación con otros métodos basados en descarga, IceCache alcanza una latencia y precisión competitivas o incluso superiores mientras utiliza solo el 25% del presupuesto de tokens de la caché KV, demostrando su eficacia en escenarios de secuencias largas. El código está disponible en nuestro sitio web del proyecto: https://yuzhenmao.github.io/IceCache/.
English
Key-Value (KV) cache plays a crucial role in accelerating inference in large language models (LLMs) by storing intermediate attention states and avoiding redundant computation during autoregressive generation. However, its memory footprint scales linearly with sequence length, often leading to severe memory bottlenecks on resource-constrained hardware. Prior work has explored offloading KV cache to the CPU while retaining only a subset on the GPU, but these approaches often rely on imprecise token selection and suffer performance degradation in long-generation tasks such as chain-of-thought reasoning. In this paper, we propose a novel KV cache management strategy, IceCache, which integrates semantic token clustering with PagedAttention. By organizing semantically related tokens into contiguous memory regions managed by a hierarchical, dynamically updatable data structure, our method enables more efficient token selection and better utilization of memory bandwidth during CPU-GPU transfers. Experimental results on LongBench show that, with a 256-token budget, IceCache maintains 99% of the original accuracy achieved by the full KV cache model. Moreover, compared to other offloading-based methods, IceCache attains competitive or even superior latency and accuracy while using only 25% of the KV cache token budget, demonstrating its effectiveness in long-sequence scenarios. The code is available on our project website at https://yuzhenmao.github.io/IceCache/.