KV-CoRE: Evaluación Comparativa de la Compresibilidad de Cachés KV en LLMs mediante Técnicas de Bajo Rango Dependientes de los Datos

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs

February 5, 2026

Autores: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu

cs.AI

Resumen

Los modelos de lenguaje de gran tamaño dependen de cachés KV para evitar cálculos redundantes durante la decodificación autoregresiva, pero a medida que crece la longitud del contexto, la lectura y escritura de la caché puede saturar rápidamente el ancho de banda de la memoria de la GPU. Trabajos recientes han explorado la compresión de la caché KV, aunque la mayoría de los enfoques pasan por alto la naturaleza dependiente de los datos de las cachés KV y su variación entre capas. Presentamos KV-CoRE (Compresibilidad de la Caché KV por Evaluación de Rango), un método basado en SVD para cuantificar la compresibilidad de bajo rango dependiente de los datos de las cachés KV. KV-CoRE calcula la aproximación de bajo rango óptima bajo la norma de Frobenius y, al estar libre de gradientes y ser incremental, permite una evaluación eficiente a nivel de conjunto de datos y por capas. Utilizando este método, analizamos múltiples modelos y conjuntos de datos que abarcan cinco dominios del inglés y dieciséis idiomas, descubriendo patrones sistemáticos que vinculan la compresibilidad con la arquitectura del modelo, los datos de entrenamiento y la cobertura lingüística. Como parte de este análisis, empleamos el Rango Efectivo Normalizado como métrica de compresibilidad y demostramos que se correlaciona fuertemente con la degradación del rendimiento bajo compresión. Nuestro estudio establece un marco de evaluación fundamentado y el primer benchmark a gran escala de la compresibilidad de la caché KV en LLMs, ofreciendo perspectivas para la compresión dinámica y consciente de los datos, y el desarrollo de modelos centrado en los datos.

English

Large language models rely on kv-caches to avoid redundant computation during autoregressive decoding, but as context length grows, reading and writing the cache can quickly saturate GPU memory bandwidth. Recent work has explored KV-cache compression, yet most approaches neglect the data-dependent nature of kv-caches and their variation across layers. We introduce KV-CoRE KV-cache Compressibility by Rank Evaluation), an SVD-based method for quantifying the data-dependent low-rank compressibility of kv-caches. KV-CoRE computes the optimal low-rank approximation under the Frobenius norm and, being gradient-free and incremental, enables efficient dataset-level, layer-wise evaluation. Using this method, we analyze multiple models and datasets spanning five English domains and sixteen languages, uncovering systematic patterns that link compressibility to model architecture, training data, and language coverage. As part of this analysis, we employ the Normalized Effective Rank as a metric of compressibility and show that it correlates strongly with performance degradation under compression. Our study establishes a principled evaluation framework and the first large-scale benchmark of kv-cache compressibility in LLMs, offering insights for dynamic, data-aware compression and data-centric model development.