Informatiebewuste KV-Cachecompressie voor Lang Redeneren

Samenvatting

De redeneercapaciteit van grote taalmodellen (LLM's) is snel toegenomen, wat leidt tot een groeiende omvang van de key-value (KV) cache in zowel de prefilling- als de decoderingsfase. Bestaande methoden voor KV-cachecompressie vertrouwen voornamelijk op aandachtsgewichten om het belang van tokens te schatten. Hoewel aandacht effectief contextuele relevantie vastlegt, worden complementaire informatietheoretische signalen met betrekking tot predictieve onzekerheid en tokeninformativiteit over het hoofd gezien. In dit artikel herzien we tokenbelang vanuit een vooruitziend perspectief en introduceren we Forward Influence, een maatstaf die meet hoe gecomprimeerde tokens toekomstige contexten beïnvloeden. Onze analyse onthult dat tokens die worden geselecteerd op basis van aandachtscores voornamelijk nabije contexten beïnvloeden, terwijl tokens met hoge predictieve onzekerheid een aanzienlijk sterkere invloed hebben op verre toekomstige contexten. Op basis van deze observatie stellen we InfoKV voor, een entropiebewust raamwerk voor KV-cachecompressie dat informatietheoretische signalen integreert. Het combineert predictieve onzekerheid op tokenniveau met laagsgewijze representatie-evolutie en integreert de resulterende entropiescores met aandachtscores tijdens het redeneren. Experimenten op benchmarks voor langetermijnredeneren met Llama-3.1, Llama-3.2 en DeepSeek-R1 tonen aan dat InfoKV consequent beter presteert dan bestaande op aandacht gebaseerde KV-compressiemethoden in zowel lange prefilling- als decoderingsscenario's.

English

Reasoning capability has advanced rapidly in large language models (LLMs), leading to an increasing size of key-value (KV) cache in both prefilling and decoding stages. Existing KV cache compression methods mainly rely on attention weights to estimate token importance. While attention effectively captures contextual relevance, it overlooks complementary information-theoretic signals related to predictive uncertainty and token informativeness. In this paper, we revisit token importance from a forward-looking perspective and introduce Forward Influence, a metric that measures how compressed tokens affect future contexts. Our analysis reveals that tokens selected by attention scores mainly influence nearby contexts, whereas tokens associated with high predictive uncertainty exhibit substantially stronger influence on distant future contexts. Based on the observation, we propose InfoKV, an entropy-aware KV cache compression framework that incorporates information-theoretic signals. It combines token-level predictive uncertainty with layer-wise representation evolution and integrates the resulting entropy scores with attention scores during reasoning. Experiments on long-context reasoning benchmarks with Llama-3.1, Llama-3.2, and DeepSeek-R1 demonstrate that InfoKV consistently outperforms existing attention-based KV compression methods in both long prefilling and decoding scenarios.