KV-pakket: Herberekeningsvrije contextonafhankelijke KV-caching voor LLM's

KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs

April 14, 2026

Auteurs: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Bing Li, Ulf Schlichtmann

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) zijn sterk afhankelijk van Key-Value (KV)-caching om de inferentielatentie te minimaliseren. Standaard KV-caches zijn echter contextafhankelijk: het hergebruiken van een gecached document in een nieuwe context vereist het opnieuw berekenen van KV-toestanden om verschuivingen in de aandachtspreking te verwerken. Bestaande oplossingen zoals CacheBlend, EPIC en SAM-KV verlichten dit probleem door selectief een subset van tokens opnieuw te berekenen; zij lijden echter nog steeds onder niet-verwaarloosbare rekenkosten (FLOPs) en verhoogde Time-to-First-Token (TTFT)-latentie. In dit artikel stellen we KV Packet voor, een raamwerk voor cachehergebruik zonder herberekening, dat gecachede documenten behandelt als onveranderlijke "pakketten" verpakt in lichtgewicht, trainbare soft-token adapters. Deze worden getraind via zelfgesuperviseerde distillatie om contextdiscontinuïteiten te overbruggen. Experimenten met Llama-3.1 en Qwen2.5 tonen aan dat de voorgestelde KV Packet-methode bijna nul FLOPs en een lagere TTFT bereikt dan op herberekening gebaseerde referentiemethoden, terwijl F1-scores worden gehandhaafd die vergelijkbaar zijn met die van de volledige herberekeningsreferentie.

English

Large Language Models (LLMs) rely heavily on Key-Value (KV) caching to minimize inference latency. However, standard KV caches are context-dependent: reusing a cached document in a new context requires recomputing KV states to account for shifts in attention distribution. Existing solutions such as CacheBlend, EPIC, and SAM-KV mitigate this issue by selectively recomputing a subset of tokens; however, they still incur non-negligible computational overhead (FLOPs) and increased Time-to-First-Token (TTFT) latency. In this paper, we propose KV Packet, a recomputation-free cache reuse framework that treats cached documents as immutable ``packets'' wrapped in light-weight trainable soft-token adapters, which are trained via self-supervised distillation to bridge context discontinuities. Experiments on Llama-3.1 and Qwen2.5 demonstrate that the proposed KV Packet method achieves near-zero FLOPs and lower TTFT than recomputation-based baselines, while retaining F1 scores comparable to those of the full recomputation baseline.