KV-CoRE: LLMにおけるKVキャッシュのデータ依存型低ランク圧縮性のベンチマーキング

KV-CoRE: Benchmarking Data-Dependent Low-Rank Compressibility of KV-Caches in LLMs

February 5, 2026

著者: Jian Chen, Zhuoran Wang, Jiayu Qin, Ming Li, Meng Wang, Changyou Chen, Yin Chen, Qizhen Weng, Yirui Liu

cs.AI

要旨

大規模言語モデルは、自己回帰的なデコード処理における冗長な計算を回避するためにキーバリューキャッシュ（KVキャッシュ）に依存しているが、コンテキスト長が増大するにつれて、キャッシュの読み書きがGPUメモリ帯域幅を急速に飽和させる可能性がある。近年、KVキャッシュ圧縮の手法が探求されているが、ほとんどのアプローチはKVキャッシュのデータ依存性や層間での変動を考慮していない。本研究では、KVキャッシュのデータ依存的な低ランク圧縮性を定量化するSVDベースの手法であるKV-CoRE（Rank EvaluationによるKVキャッシュ圧縮性評価）を提案する。KV-CoREはフロベニウスノルムにおける最適な低ランク近似を計算し、勾配不要かつ増分的な処理により、データセットレベルでの層ごとの効率的な評価を可能とする。本手法を用いて、5つの英語ドメインおよび16言語にわたる複数のモデルとデータセットを分析し、圧縮性とモデルアーキテクチャ、学習データ、言語カバレッジを結びつける体系的なパターンを明らかにする。この分析の一環として、正規化有効ランクを圧縮性の指標として採用し、圧縮時の性能劣化と強い相関があることを示す。本研究は、LLMにおけるKVキャッシュ圧縮性の原則的な評価フレームワークと初の大規模ベンチマークを確立し、動的かつデータを考慮した圧縮技術およびデータ中心のモデル開発への示唆を提供する。

English

Large language models rely on kv-caches to avoid redundant computation during autoregressive decoding, but as context length grows, reading and writing the cache can quickly saturate GPU memory bandwidth. Recent work has explored KV-cache compression, yet most approaches neglect the data-dependent nature of kv-caches and their variation across layers. We introduce KV-CoRE KV-cache Compressibility by Rank Evaluation), an SVD-based method for quantifying the data-dependent low-rank compressibility of kv-caches. KV-CoRE computes the optimal low-rank approximation under the Frobenius norm and, being gradient-free and incremental, enables efficient dataset-level, layer-wise evaluation. Using this method, we analyze multiple models and datasets spanning five English domains and sixteen languages, uncovering systematic patterns that link compressibility to model architecture, training data, and language coverage. As part of this analysis, we employ the Normalized Effective Rank as a metric of compressibility and show that it correlates strongly with performance degradation under compression. Our study establishes a principled evaluation framework and the first large-scale benchmark of kv-cache compressibility in LLMs, offering insights for dynamic, data-aware compression and data-centric model development.