Compression de Cache KV Basée sur l'Information pour le Raisonnement Long

Résumé

La capacité de raisonnement a rapidement progressé dans les grands modèles de langage (GML), entraînant une taille croissante du cache clé-valeur (KV) à la fois dans les phases de préremplissage et de décodage. Les méthodes existantes de compression du cache KV reposent principalement sur les poids d’attention pour estimer l’importance des tokens. Bien que l’attention capture efficacement la pertinence contextuelle, elle néglige les signaux complémentaires issus de la théorie de l’information liés à l’incertitude prédictive et à l’informativité des tokens. Dans cet article, nous réexaminons l’importance des tokens d’un point de vue prospectif et introduisons Forward Influence, une métrique qui mesure comment les tokens compressés affectent les contextes futurs. Notre analyse révèle que les tokens sélectionnés par les scores d’attention influencent principalement les contextes proches, tandis que les tokens associés à une incertitude prédictive élevée exercent une influence nettement plus forte sur les contextes futurs lointains. Sur la base de cette observation, nous proposons InfoKV, un cadre de compression du cache KV sensible à l’entropie qui intègre des signaux issus de la théorie de l’information. Il combine l’incertitude prédictive au niveau des tokens avec l’évolution des représentations par couche et intègre les scores d’entropie résultants aux scores d’attention lors du raisonnement. Des expériences sur des benchmarks de raisonnement sur contextes longs avec Llama-3.1, Llama-3.2 et DeepSeek-R1 montrent qu’InfoKV surpasse systématiquement les méthodes existantes de compression KV basées sur l’attention dans les scénarios de préremplissage long et de décodage.

English

Reasoning capability has advanced rapidly in large language models (LLMs), leading to an increasing size of key-value (KV) cache in both prefilling and decoding stages. Existing KV cache compression methods mainly rely on attention weights to estimate token importance. While attention effectively captures contextual relevance, it overlooks complementary information-theoretic signals related to predictive uncertainty and token informativeness. In this paper, we revisit token importance from a forward-looking perspective and introduce Forward Influence, a metric that measures how compressed tokens affect future contexts. Our analysis reveals that tokens selected by attention scores mainly influence nearby contexts, whereas tokens associated with high predictive uncertainty exhibit substantially stronger influence on distant future contexts. Based on the observation, we propose InfoKV, an entropy-aware KV cache compression framework that incorporates information-theoretic signals. It combines token-level predictive uncertainty with layer-wise representation evolution and integrates the resulting entropy scores with attention scores during reasoning. Experiments on long-context reasoning benchmarks with Llama-3.1, Llama-3.2, and DeepSeek-R1 demonstrate that InfoKV consistently outperforms existing attention-based KV compression methods in both long prefilling and decoding scenarios.