Les Pièges de la Compression du Cache KV

papers.abstract

La compression du cache KV promet un débit accru et une efficacité améliorée avec une perte de performance négligeable. Bien que les gains en débit soient indéniables et que la littérature récente ait effectivement montré une dégradation minimale sur certains benchmarks, les conséquences de la compression dans des scénarios réalistes, tels que l'invocation multi-instructions, ont été insuffisamment étudiées. Dans cet article, nous identifions plusieurs écueils dont les praticiens devraient être conscients lors du déploiement de modèles de langage (LLM) avec un cache KV compressé. Nous montrons notamment que certaines instructions se dégradent beaucoup plus rapidement avec la compression, ce qui les rend effectivement ignorées par le LLM. À titre d'exemple pratique, nous mettons en lumière la fuite des prompts système comme étude de cas, en démontrant empiriquement l'impact de la compression sur la fuite et le suivi général des instructions. Nous identifions plusieurs facteurs qui jouent un rôle dans la fuite des prompts : la méthode de compression, l'ordre des instructions et le biais d'éviction du cache KV. Nous proposons ensuite des modifications simples aux politiques d'éviction du cache KV qui peuvent réduire l'impact de ces facteurs et améliorer les performances globales dans les tâches multi-instructions.

English

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.

Les Pièges de la Compression du Cache KV

The Pitfalls of KV Cache Compression

papers.abstract

Support