Compresión de Caché KV Consciente de la Información para Razonamiento Prolongado

Resumen

La capacidad de razonamiento en los modelos de lenguaje de gran escala (LLMs) ha avanzado rápidamente, lo que lleva a un tamaño creciente de la caché de clave-valor (KV) tanto en las etapas de precarga como de decodificación. Los métodos existentes de compresión de caché KV se basan principalmente en los pesos de atención para estimar la importancia de los tokens. Si bien la atención captura eficazmente la relevancia contextual, pasa por alto señales complementarias de teoría de la información relacionadas con la incertidumbre predictiva y la informatividad del token. En este artículo, revisamos la importancia de los tokens desde una perspectiva prospectiva e introducimos Forward Influence, una métrica que mide cómo los tokens comprimidos afectan a contextos futuros. Nuestro análisis revela que los tokens seleccionados por puntuaciones de atención influyen principalmente en contextos cercanos, mientras que los tokens asociados con una alta incertidumbre predictiva ejercen una influencia sustancialmente mayor en contextos futuros distantes. Basándonos en esta observación, proponemos InfoKV, un marco de compresión de caché KV consciente de la entropía que incorpora señales de teoría de la información. Combina la incertidumbre predictiva a nivel de token con la evolución de la representación a nivel de capa e integra las puntuaciones de entropía resultantes con las puntuaciones de atención durante el razonamiento. Experimentos en puntos de referencia de razonamiento de contexto largo con Llama-3.1, Llama-3.2 y DeepSeek-R1 demuestran que InfoKV supera consistentemente a los métodos de compresión KV basados en atención existentes tanto en escenarios de precarga larga como de decodificación.

English

Reasoning capability has advanced rapidly in large language models (LLMs), leading to an increasing size of key-value (KV) cache in both prefilling and decoding stages. Existing KV cache compression methods mainly rely on attention weights to estimate token importance. While attention effectively captures contextual relevance, it overlooks complementary information-theoretic signals related to predictive uncertainty and token informativeness. In this paper, we revisit token importance from a forward-looking perspective and introduce Forward Influence, a metric that measures how compressed tokens affect future contexts. Our analysis reveals that tokens selected by attention scores mainly influence nearby contexts, whereas tokens associated with high predictive uncertainty exhibit substantially stronger influence on distant future contexts. Based on the observation, we propose InfoKV, an entropy-aware KV cache compression framework that incorporates information-theoretic signals. It combines token-level predictive uncertainty with layer-wise representation evolution and integrates the resulting entropy scores with attention scores during reasoning. Experiments on long-context reasoning benchmarks with Llama-3.1, Llama-3.2, and DeepSeek-R1 demonstrate that InfoKV consistently outperforms existing attention-based KV compression methods in both long prefilling and decoding scenarios.