Los Peligros de la Compresión de la Caché KV

The Pitfalls of KV Cache Compression

September 30, 2025

Autores: Alex Chen, Renato Geh, Aditya Grover, Guy Van den Broeck, Daniel Israel

cs.AI

Resumen

La compresión de la caché KV promete un mayor rendimiento y eficiencia con una pérdida mínima en el desempeño. Si bien las ganancias en rendimiento son indiscutibles y la literatura reciente ha demostrado una degradación mínima en ciertos puntos de referencia, en general, las consecuencias de la compresión en escenarios realistas, como el uso de múltiples instrucciones, han sido insuficientemente estudiadas. En este artículo, identificamos varios desafíos que los profesionales deben tener en cuenta al implementar LLMs con caché KV comprimida. Es importante destacar que demostramos que ciertas instrucciones se degradan mucho más rápidamente con la compresión, lo que hace que el LLM las ignore por completo. Como ejemplo práctico, destacamos la filtración de instrucciones del sistema como un caso de estudio, mostrando empíricamente el impacto de la compresión en la filtración y el seguimiento general de instrucciones. Identificamos varios factores que influyen en la filtración de instrucciones: el método de compresión, el orden de las instrucciones y el sesgo en la expulsión de la caché KV. Luego, proponemos cambios simples en las políticas de expulsión de la caché KV que pueden reducir el impacto de estos factores y mejorar el desempeño general en tareas de múltiples instrucciones.

English

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.