KV-CoRE: Benchmarking der datenabhängigen Niedrigrang-Komprimierbarkeit von KV-Caches in LLMs
KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
February 5, 2026
papers.authors: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu
cs.AI
papers.abstract
Große Sprachmodelle nutzen KV-Caches, um redundante Berechnungen während des autoregressiven Decodierens zu vermeiden. Mit wachsender Kontextlänge kann das Lesen und Schreiben des Caches jedoch schnell die GPU-Speicherbandbreite sättigen. Neuere Arbeiten haben KV-Cache-Kompression untersucht, doch die meisten Ansätze vernachlässigen die datenabhängige Natur von KV-Caches und deren Variation über die Schichten hinweg. Wir stellen KV-CoRE (KV-Cache Compressibility by Rank Evaluation) vor, eine SVD-basierte Methode zur Quantifizierung der datenabhängigen Niedrigrang-Komprimierbarkeit von KV-Caches. KV-CoRE berechnet die optimale Niedrigrang-Approximation unter der Frobenius-Norm und ermöglicht durch Gradientenfreiheit und Inkrementalität eine effiziente datensatzweite, schichtenspezifische Auswertung. Mit dieser Methode analysieren wir mehrere Modelle und Datensätze aus fünf englischen Domänen und sechzehn Sprachen und decken systematische Muster auf, die Komprimierbarkeit mit Modellarchitektur, Trainingsdaten und Sprachabdeckung verknüpfen. Im Rahmen dieser Analyse verwenden wir den Normalized Effective Rank als Metrik für die Komprimierbarkeit und zeigen, dass er stark mit Leistungseinbußen unter Kompression korreliert. Unsere Studie etabliert einen prinzipienbasierten Evaluierungsrahmen und den ersten umfassenden Benchmark für KV-Cache-Komprimierbarkeit in LLMs, was Erkenntnisse für dynamische, datenbewusste Kompression und datenzentrierte Modellentwicklung liefert.
English
Large language models rely on kv-caches to avoid redundant computation during autoregressive decoding, but as context length grows, reading and writing the cache can quickly saturate GPU memory bandwidth. Recent work has explored KV-cache compression, yet most approaches neglect the data-dependent nature of kv-caches and their variation across layers. We introduce KV-CoRE KV-cache Compressibility by Rank Evaluation), an SVD-based method for quantifying the data-dependent low-rank compressibility of kv-caches. KV-CoRE computes the optimal low-rank approximation under the Frobenius norm and, being gradient-free and incremental, enables efficient dataset-level, layer-wise evaluation. Using this method, we analyze multiple models and datasets spanning five English domains and sixteen languages, uncovering systematic patterns that link compressibility to model architecture, training data, and language coverage. As part of this analysis, we employ the Normalized Effective Rank as a metric of compressibility and show that it correlates strongly with performance degradation under compression. Our study establishes a principled evaluation framework and the first large-scale benchmark of kv-cache compressibility in LLMs, offering insights for dynamic, data-aware compression and data-centric model development.