IceCache: Эффективное управление кэшем ключ-значение для языковых моделей с длинными последовательностями
IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs
April 12, 2026
Авторы: Yuzhen Mao, Qitong Wang, Martin Ester, Ke Li
cs.AI
Аннотация
Ключево-значимый (KV) кеш играет ключевую роль в ускорении вывода больших языковых моделей (LLM), сохраняя промежуточные состояния механизма внимания и избегая избыточных вычислений в процессе авторегрессионной генерации. Однако его объем памяти растет линейно с длиной последовательности, что часто приводит к серьезным ограничениям памяти на аппаратном обеспечении с ограниченными ресурсами. Предыдущие исследования изучали возможность выгрузки KV-кеша в оперативную память CPU с сохранением лишь подмножества на GPU, но эти подходы часто полагаются на неточный выбор токенов и страдают от снижения производительности в задачах длительной генерации, таких как рассуждение по цепочке мыслей. В данной статье мы предлагаем новую стратегию управления KV-кешем, IceCache, которая интегрирует семантическую кластеризацию токенов с PagedAttention. Организуя семантически связанные токены в смежные области памяти, управляемые иерархической, динамически обновляемой структурой данных, наш метод обеспечивает более эффективный выбор токенов и лучшее использование пропускной способности памяти при передачах между CPU и GPU. Результаты экспериментов на LongBench показывают, что при бюджете в 256 токенов IceCache сохраняет 99% исходной точности, достигаемой моделью с полным KV-кешем. Более того, по сравнению с другими методами, основанными на выгрузке, IceCache демонстрирует сопоставимую или даже превосходящую задержку и точность, используя лишь 25% бюджета токенов KV-кеша, что подтверждает его эффективность в сценариях с длинными последовательностями. Код доступен на странице нашего проекта по адресу https://yuzhenmao.github.io/IceCache/.
English
Key-Value (KV) cache plays a crucial role in accelerating inference in large language models (LLMs) by storing intermediate attention states and avoiding redundant computation during autoregressive generation. However, its memory footprint scales linearly with sequence length, often leading to severe memory bottlenecks on resource-constrained hardware. Prior work has explored offloading KV cache to the CPU while retaining only a subset on the GPU, but these approaches often rely on imprecise token selection and suffer performance degradation in long-generation tasks such as chain-of-thought reasoning. In this paper, we propose a novel KV cache management strategy, IceCache, which integrates semantic token clustering with PagedAttention. By organizing semantically related tokens into contiguous memory regions managed by a hierarchical, dynamically updatable data structure, our method enables more efficient token selection and better utilization of memory bandwidth during CPU-GPU transfers. Experimental results on LongBench show that, with a 256-token budget, IceCache maintains 99% of the original accuracy achieved by the full KV cache model. Moreover, compared to other offloading-based methods, IceCache attains competitive or even superior latency and accuracy while using only 25% of the KV cache token budget, demonstrating its effectiveness in long-sequence scenarios. The code is available on our project website at https://yuzhenmao.github.io/IceCache/.