Informationsbewusste KV-Cache-Kompression für langes Reasoning

Zusammenfassung

Die Reasoning-Fähigkeit großer Sprachmodelle (Large Language Models, LLMs) hat sich rasant verbessert, was zu einer zunehmenden Größe des Schlüssel-Wert-Caches (KV-Cache) sowohl in der Prefilling- als auch in der Dekodierungsphase führt. Bestehende Methoden zur KV-Cache-Kompression verlassen sich hauptsächlich auf Aufmerksamkeitsgewichte, um die Token-Wichtigkeit abzuschätzen. Obwohl die Aufmerksamkeit kontextuelle Relevanz effektiv erfasst, übersieht sie komplementäre informationstheoretische Signale in Bezug auf Vorhersageunsicherheit und Token-Informativität. In dieser Arbeit betrachten wir die Token-Wichtigkeit aus einer zukunftsorientierten Perspektive und führen den Forward Influence ein, eine Metrik, die misst, wie komprimierte Token zukünftige Kontexte beeinflussen. Unsere Analyse zeigt, dass durch Aufmerksamkeitswerte ausgewählte Token hauptsächlich nahegelegene Kontexte beeinflussen, während Token mit hoher Vorhersageunsicherheit einen wesentlich stärkeren Einfluss auf entfernte zukünftige Kontexte ausüben. Basierend auf dieser Beobachtung schlagen wir InfoKV vor, ein entropiebewusstes KV-Cache-Kompressionsframework, das informationstheoretische Signale integriert. Es kombiniert Token-Vorhersageunsicherheit mit schichtweiser Representationsevolution und führt die resultierenden Entropiewerte mit Aufmerksamkeitswerten während des Reasonings zusammen. Experimente auf Long-Context-Reasoning-Benchmarks mit Llama-3.1, Llama-3.2 und DeepSeek-R1 zeigen, dass InfoKV in langen Prefilling- und Dekodierungsszenarien durchweg besser abschneidet als bestehende aufmerksamkeitsbasierte KV-Kompressionsmethoden.

English

Reasoning capability has advanced rapidly in large language models (LLMs), leading to an increasing size of key-value (KV) cache in both prefilling and decoding stages. Existing KV cache compression methods mainly rely on attention weights to estimate token importance. While attention effectively captures contextual relevance, it overlooks complementary information-theoretic signals related to predictive uncertainty and token informativeness. In this paper, we revisit token importance from a forward-looking perspective and introduce Forward Influence, a metric that measures how compressed tokens affect future contexts. Our analysis reveals that tokens selected by attention scores mainly influence nearby contexts, whereas tokens associated with high predictive uncertainty exhibit substantially stronger influence on distant future contexts. Based on the observation, we propose InfoKV, an entropy-aware KV cache compression framework that incorporates information-theoretic signals. It combines token-level predictive uncertainty with layer-wise representation evolution and integrates the resulting entropy scores with attention scores during reasoning. Experiments on long-context reasoning benchmarks with Llama-3.1, Llama-3.2, and DeepSeek-R1 demonstrate that InfoKV consistently outperforms existing attention-based KV compression methods in both long prefilling and decoding scenarios.