KV-CoRE: Benchmarken van de gegevensafhankelijke laagrang-compressibiliteit van KV-caches in LLM's
KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
February 5, 2026
Auteurs: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu
cs.AI
Samenvatting
Grote taalmodellen maken gebruik van kv-caches om redundante berekeningen tijdens autoregressieve decodering te vermijden, maar naarmate de contextlengte toeneemt, kunnen het lezen en schrijven van de cache snel de GPU-geheugenbandbreedte verzadigen. Recent onderzoek heeft kv-cache-compressie verkend, maar de meeste methoden negeren de data-afhankelijke aard van kv-caches en hun variatie tussen lagen. Wij introduceren KV-CoRE (KV-cache Compressibility by Rank Evaluation), een SVD-gebaseerde methode om de data-afhankelijke lage-rangcompressibiliteit van kv-caches te kwantificeren. KV-CoRE berekent de optimale lage-rangbenadering onder de Frobeniusnorm en maakt, doordat het gradient-vrij en incrementeel is, efficiënte evaluatie op datasetniveau en per laag mogelijk. Met deze methode analyseren we meerdere modellen en datasets die vijf Engelstalige domeinen en zestien talen beslaan, waarbij we systematische patronen ontdekken die compressibiliteit koppelen aan modelarchitectuur, trainingsdata en taaldekking. Als onderdeel van deze analyse gebruiken we de Genormaliseerde Effectieve Rang als maatstaf voor compressibiliteit en tonen we aan dat deze sterk correleert met prestatieverlies onder compressie. Onze studie vestigt een principieel evaluatieraamwerk en de eerste grootschalige benchmark voor kv-cache-compressibiliteit in grote taalmodellen, wat inzichten biedt voor dynamische, data-bewuste compressie en data-gefocuste modelontwikkeling.
English
Large language models rely on kv-caches to avoid redundant computation during autoregressive decoding, but as context length grows, reading and writing the cache can quickly saturate GPU memory bandwidth. Recent work has explored KV-cache compression, yet most approaches neglect the data-dependent nature of kv-caches and their variation across layers. We introduce KV-CoRE KV-cache Compressibility by Rank Evaluation), an SVD-based method for quantifying the data-dependent low-rank compressibility of kv-caches. KV-CoRE computes the optimal low-rank approximation under the Frobenius norm and, being gradient-free and incremental, enables efficient dataset-level, layer-wise evaluation. Using this method, we analyze multiple models and datasets spanning five English domains and sixteen languages, uncovering systematic patterns that link compressibility to model architecture, training data, and language coverage. As part of this analysis, we employ the Normalized Effective Rank as a metric of compressibility and show that it correlates strongly with performance degradation under compression. Our study establishes a principled evaluation framework and the first large-scale benchmark of kv-cache compressibility in LLMs, offering insights for dynamic, data-aware compression and data-centric model development.