KV-CoRE: Avaliação da Capacidade de Compressão de Baixo Rank Dependente de Dados em Caches KV de LLMs
KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs
February 5, 2026
Autores: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu
cs.AI
Resumo
Os modelos de linguagem de grande escala dependem de caches KV para evitar computação redundante durante a decodagem autoregressiva, mas à medida que o comprimento do contexto aumenta, a leitura e escrita do cache podem saturar rapidamente a largura de banda da memória da GPU. Trabalhos recentes exploraram a compressão do cache KV, porém a maioria das abordagens negligencia a natureza dependente de dados dos caches KV e sua variação entre as camadas. Apresentamos o KV-CoRE (Compressibilidade do Cache KV por Avaliação de Posto), um método baseado em SVD para quantificar a compressibilidade de baixo posto dependente de dados dos caches KV. O KV-CoRE calcula a aproximação ótima de baixo posto sob a norma de Frobenius e, por ser livre de gradientes e incremental, permite uma avaliação eficiente a nível de conjunto de dados e por camada. Usando este método, analisamos múltiplos modelos e conjuntos de dados abrangendo cinco domínios do inglês e dezesseis idiomas, revelando padrões sistemáticos que vinculam a compressibilidade à arquitetura do modelo, dados de treinamento e cobertura linguística. Como parte desta análise, empregamos o Posto Efetivo Normalizado como métrica de compressibilidade e demonstramos que ele se correlaciona fortemente com a degradação de desempenho sob compressão. Nosso estudo estabelece uma estrutura de avaliação fundamentada e o primeiro benchmark em larga escala da compressibilidade do cache KV em LLMs, oferecendo insights para compressão dinâmica e consciente dos dados e para o desenvolvimento de modelos centrados em dados.
English
Large language models rely on kv-caches to avoid redundant computation during autoregressive decoding, but as context length grows, reading and writing the cache can quickly saturate GPU memory bandwidth. Recent work has explored KV-cache compression, yet most approaches neglect the data-dependent nature of kv-caches and their variation across layers. We introduce KV-CoRE KV-cache Compressibility by Rank Evaluation), an SVD-based method for quantifying the data-dependent low-rank compressibility of kv-caches. KV-CoRE computes the optimal low-rank approximation under the Frobenius norm and, being gradient-free and incremental, enables efficient dataset-level, layer-wise evaluation. Using this method, we analyze multiple models and datasets spanning five English domains and sixteen languages, uncovering systematic patterns that link compressibility to model architecture, training data, and language coverage. As part of this analysis, we employ the Normalized Effective Rank as a metric of compressibility and show that it correlates strongly with performance degradation under compression. Our study establishes a principled evaluation framework and the first large-scale benchmark of kv-cache compressibility in LLMs, offering insights for dynamic, data-aware compression and data-centric model development.