SeKV: Auflösungsadaptiver KV-Cache mit hierarchischem semantischen Gedächtnis für die Inferenz von Large Language Models mit langem Kontext

Zusammenfassung

Große Sprachmodelle arbeiten zunehmend über lange Kontexte, wobei der KV-Cache zu einem dominanten Speicherengpass wird: Seine Größe wächst linear mit der Sequenzlänge und muss während der gesamten Dekodierung vorgehalten werden, was eine vollständige GPU-Caching ohne Komprimierung prohibitiver teuer macht. Bestehende Methoden zur KV-Cache-Komprimierung haben Schwierigkeiten, Effizienz und originalgetreue Kontexterhaltung in Einklang zu bringen. Token-Verwerfung verwirft Informationen, während semantische Gruppierung die Komprimierungsentscheidungen zum Zeitpunkt der Prefill-Festlegung trifft; keines von beiden kann Token-Detailinformationen aus einer komprimierten Spanne wiederherstellen, sobald diese während der Generierung relevant wird. Als Lösung schlagen wir SeKV vor, einen auflösungsadaptiven semantischen KV-Cache, der den Kontext in entropiegesteuerte semantische Spannen organisiert und diese über eine GPU-CPU-Speicherhierarchie speichert, ohne Informationen zu verwerfen. Jede Spanne behält einen leichten Zusammenfassungsvektor auf der GPU für grobe Weiterleitung und eine niedrigrangige SVD-Basis auf der CPU für die bedarfsgesteuerte Rekonstruktion auf Token-Ebene. Ein trainierter Zoom-In-Mechanismus erweitert während der Dekodierung selektiv abfragerelevante Spannen, was eine präzise Rückgewinnung ermöglicht, ohne den vollständigen KV-Cache auf der GPU materialisieren zu müssen. SeKV ermöglicht adaptive Rekonstruktion auf Token-Ebene, während das zugrunde liegende LLM vollständig eingefroren bleibt und weniger als 0,05 % trainierbare Parameter hinzugefügt werden. Über vier Benchmarks hinweg verbessert SeKV die stärkste semantische Komprimierungs-Baseline im Durchschnitt um 5,9 %, während der GPU-Speicher gegenüber vollständigem KV-Caching bei 128K Kontext um 53,3 % reduziert wird. Der Code ist verfügbar unter https://github.com/AmirAbaskohi/SeKV.

English

Large language models increasingly operate over long contexts, where the KV cache becomes a dominant memory bottleneck: its size grows linearly with sequence length and must be retained throughout decoding, making full GPU caching prohibitively expensive without compression. Existing KV cache compression methods struggle to balance efficiency with faithful context preservation. Token eviction discards information, while semantic grouping fixes compression decisions at prefill time; neither can recover token-level detail from a compressed span once it becomes relevant during generation. As a solution, we propose SeKV, a resolution-adaptive semantic KV cache that organizes context into entropy-guided semantic spans and stores them across a GPU-CPU memory hierarchy without discarding information. Each span keeps a lightweight summary vector on GPU for coarse routing and a low-rank SVD basis on CPU for on-demand token-level reconstruction. A trained zoom-in mechanism selectively expands query-relevant spans during decoding, enabling precise retrieval without materializing the full KV cache on GPU. SeKV enables adaptive token-level reconstruction while keeping the base LLM fully frozen and adding fewer than 0.05% trainable parameters. Across four benchmarks, SeKV improves over the strongest semantic compression baseline by 5.9% on average while reducing GPU memory by 53.3% versus full KV caching at 128K context. Code is available on https://github.com/AmirAbaskohi/SeKV.