As Armadilhas da Compressão do Cache KV

The Pitfalls of KV Cache Compression

September 30, 2025

Autores: Alex Chen, Renato Geh, Aditya Grover, Guy Van den Broeck, Daniel Israel

cs.AI

Resumo

A compressão do cache KV promete maior taxa de transferência e eficiência com perda insignificante de desempenho. Embora os ganhos em taxa de transferência sejam indiscutíveis e a literatura recente tenha de fato mostrado degradação mínima em benchmarks específicos, em geral, as consequências da compressão em cenários realistas, como prompts de múltiplas instruções, têm sido insuficientemente estudadas. Neste artigo, identificamos várias armadilhas que os profissionais devem estar cientes ao implantar LLMs com cache KV comprimido. Importante, mostramos que certas instruções se degradam muito mais rapidamente com a compressão, efetivamente fazendo com que sejam completamente ignoradas pelo LLM. Como um exemplo prático disso, destacamos o vazamento de prompts do sistema como um estudo de caso, mostrando empiricamente o impacto da compressão no vazamento e no seguimento geral de instruções. Mostramos vários fatores que desempenham um papel no vazamento de prompts: método de compressão, ordem das instruções e viés de evicção do KV. Em seguida, propomos mudanças simples nas políticas de evicção do cache KV que podem reduzir o impacto desses fatores e melhorar o desempenho geral em tarefas de múltiplas instruções.

English

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.