Fast KVzip : Inférence efficace et précise des LLM avec éviction conditionnelle du cache KV

Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction

January 25, 2026

papers.authors: Jang-Hyun Kim, Dongyoon Han, Sangdoo Yun

cs.AI

papers.abstract

La gestion efficace du cache clé-valeur (KV) est cruciale pour le déploiement pratique des grands modèles de langage (LLM), mais les techniques de compression existantes impliquent souvent un compromis entre dégradation des performances et surcharge computationnelle. Nous proposons une méthode novatrice d'éviction du cache KV par gating pour les LLM à poids figés, atteignant des taux de compression élevés avec un coût computationnel négligeable. Notre approche introduit des modules de gating légers par attention sink pour identifier et conserver les paires KV critiques, et s'intègre de manière transparente aux phases de préremplissage et de décodage. L'algorithme d'entraînement du gate proposé s'appuie sur des passes avant d'un LLM, évitant la rétropropagation coûteuse, tout en obtenant une forte généralisation tâche-agnostique via un objectif de reconstruction indépendant de la tâche. Des expériences approfondies sur les familles Qwen2.5-1M, Qwen3 et Gemma3 montrent que notre méthode maintient des performances quasi sans perte tout en évitant jusqu'à 70% du cache KV. Les résultats sont cohérents sur un large éventail de tâches, incluant la compréhension de contexte long, l'analyse de code et le raisonnement mathématique, démontrant la généricité de notre approche.

English

Efficient key-value (KV) cache management is crucial for the practical deployment of large language models (LLMs), yet existing compression techniques often incur a trade-off between performance degradation and computational overhead. We propose a novel gating-based KV cache eviction method for frozen-weight LLMs that achieves high compression ratios with negligible computational cost. Our approach introduces lightweight sink-attention gating modules to identify and retain critical KV pairs, and integrates seamlessly into both the prefill and decoding stages. The proposed gate training algorithm relies on forward passes of an LLM, avoiding expensive backpropagation, while achieving strong task generalization through a task-agnostic reconstruction objective. Extensive experiments across the Qwen2.5-1M, Qwen3, and Gemma3 families show that our method maintains near-lossless performance while evicting up to 70% of the KV cache. The results are consistent across a wide range of tasks, including long-context understanding, code comprehension, and mathematical reasoning, demonstrating the generality of our approach.