KV-CoRE : Évaluation de la compressibilité à faible rang dépendante des données pour les caches KV dans les LLM
KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
February 5, 2026
papers.authors: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu
cs.AI
papers.abstract
Les grands modèles de langage utilisent des caches KV pour éviter les calculs redondants lors du décodage autorégressif, mais avec l'augmentation de la longueur du contexte, la lecture et l'écriture du cache peuvent rapidement saturer la bande passante mémoire des GPU. Des travaux récents ont exploré la compression des caches KV, mais la plupart des approches négligent la nature dépendante des données de ces caches et leur variation entre les couches. Nous présentons KV-CoRE (KV-cache Compressibility by Rank Evaluation), une méthode basée sur la SVD pour quantifier la compressibilité en bas rang dépendante des données des caches KV. KV-CoRE calcule l'approximation optimale en bas rang sous la norme de Frobenius et, étant sans gradient et incrémentale, permet une évaluation efficace au niveau du jeu de données et par couche. En utilisant cette méthode, nous analysons plusieurs modèles et jeux de données couvrant cinq domaines de l'anglais et seize langues, révélant des motifs systématiques liant la compressibilité à l'architecture du modèle, aux données d'entraînement et à la couverture linguistique. Dans le cadre de cette analyse, nous utilisons le Rang Effectif Normalisé comme métrique de compressibilité et montrons qu'il corrèle fortement avec la dégradation des performances sous compression. Notre étude établit un cadre d'évaluation principiel et le premier benchmark à grande échelle de la compressibilité des caches KV dans les LLM, offrant des perspectives pour une compression dynamique et consciente des données, ainsi que pour le développement de modèles centrés sur les données.
English
Large language models rely on kv-caches to avoid redundant computation during autoregressive decoding, but as context length grows, reading and writing the cache can quickly saturate GPU memory bandwidth. Recent work has explored KV-cache compression, yet most approaches neglect the data-dependent nature of kv-caches and their variation across layers. We introduce KV-CoRE KV-cache Compressibility by Rank Evaluation), an SVD-based method for quantifying the data-dependent low-rank compressibility of kv-caches. KV-CoRE computes the optimal low-rank approximation under the Frobenius norm and, being gradient-free and incremental, enables efficient dataset-level, layer-wise evaluation. Using this method, we analyze multiple models and datasets spanning five English domains and sixteen languages, uncovering systematic patterns that link compressibility to model architecture, training data, and language coverage. As part of this analysis, we employ the Normalized Effective Rank as a metric of compressibility and show that it correlates strongly with performance degradation under compression. Our study establishes a principled evaluation framework and the first large-scale benchmark of kv-cache compressibility in LLMs, offering insights for dynamic, data-aware compression and data-centric model development.