KVキャッシュ圧縮の落とし穴

要旨

KVキャッシュ圧縮は、パフォーマンスの低下をほとんど伴わずにスループットと効率の向上を約束します。スループットの向上は疑いようがなく、最近の研究では特定のベンチマークにおいて最小限の劣化しか示されていないものの、現実的なシナリオ（例えば複数指示プロンプト）における圧縮の影響は十分に研究されていません。本論文では、KVキャッシュ圧縮されたLLMをデプロイする際に実務者が注意すべきいくつかの落とし穴を特定します。特に、特定の指示は圧縮によって急速に劣化し、LLMによって完全に無視されてしまうことを示します。その実践的な例として、システムプロンプトのリークをケーススタディとして取り上げ、圧縮がリークと一般的な指示追従に与える影響を実証的に示します。プロンプトリークに関与するいくつかの要因（圧縮方法、指示の順序、KVエビクションのバイアス）を示し、これらの要因の影響を軽減し、複数指示タスクにおける全体的なパフォーマンスを向上させるためのKVキャッシュエビクションポリシーの簡単な変更を提案します。

English

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.

KVキャッシュ圧縮の落とし穴

The Pitfalls of KV Cache Compression

要旨

Support