IceCache: Gerenciamento Eficiente em Memória do KV-cache para LLMs de Sequência Longa

IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs

April 12, 2026

Autores: Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li

cs.AI

Resumo

O cache de pares chave-valor (KV) desempenha um papel crucial na aceleração da inferência em grandes modelos de linguagem (LLMs) ao armazenar estados intermediários de atenção e evitar computações redundantes durante a geração autoregressiva. No entanto, sua pegada de memória escala linearmente com o comprimento da sequência, frequentemente resultando em graves gargalos de memória em hardware com recursos limitados. Trabalhos anteriores exploraram a descarga do cache KV para a CPU mantendo apenas um subconjunto na GPU, mas essas abordagens frequentemente dependem de seleção imprecisa de tokens e sofrem degradação de desempenho em tarefas de geração longa, como o raciocínio em cadeia de pensamento. Neste artigo, propomos uma nova estratégia de gerenciamento de cache KV, o IceCache, que integra agrupamento semântico de tokens com PagedAttention. Ao organizar tokens semanticamente relacionados em regiões de memória contíguas gerenciadas por uma estrutura de dados hierárquica e dinamicamente atualizável, nosso método permite uma seleção mais eficiente de tokens e melhor utilização da largura de banda de memória durante as transferências CPU-GPU. Resultados experimentais no LongBench mostram que, com um orçamento de 256 tokens, o IceCache mantém 99% da precisão original alcançada pelo modelo com cache KV completo. Além disso, em comparação com outros métodos baseados em descarga, o IceCache atinge latência e precisão competitivas ou mesmo superiores enquanto utiliza apenas 25% do orçamento de tokens do cache KV, demonstrando sua eficácia em cenários de sequências longas. O código está disponível em nosso site do projeto: https://yuzhenmao.github.io/IceCache/.

English

Key-Value (KV) cache plays a crucial role in accelerating inference in large language models (LLMs) by storing intermediate attention states and avoiding redundant computation during autoregressive generation. However, its memory footprint scales linearly with sequence length, often leading to severe memory bottlenecks on resource-constrained hardware. Prior work has explored offloading KV cache to the CPU while retaining only a subset on the GPU, but these approaches often rely on imprecise token selection and suffer performance degradation in long-generation tasks such as chain-of-thought reasoning. In this paper, we propose a novel KV cache management strategy, IceCache, which integrates semantic token clustering with PagedAttention. By organizing semantically related tokens into contiguous memory regions managed by a hierarchical, dynamically updatable data structure, our method enables more efficient token selection and better utilization of memory bandwidth during CPU-GPU transfers. Experimental results on LongBench show that, with a 256-token budget, IceCache maintains 99% of the original accuracy achieved by the full KV cache model. Moreover, compared to other offloading-based methods, IceCache attains competitive or even superior latency and accuracy while using only 25% of the KV cache token budget, demonstrating its effectiveness in long-sequence scenarios. The code is available on our project website at https://yuzhenmao.github.io/IceCache/.