Ловушки сжатия кэша ключ-значение

The Pitfalls of KV Cache Compression

September 30, 2025

Авторы: Alex Chen, Renato Geh, Aditya Grover, Guy Van den Broeck, Daniel Israel

cs.AI

Аннотация

Сжатие KV-кэша обещает повышение пропускной способности и эффективности при незначительной потере производительности. Хотя прирост пропускной способности не вызывает сомнений, и недавние исследования действительно показали минимальное ухудшение на определённых бенчмарках, в целом последствия сжатия в реалистичных сценариях, таких как многозадачные запросы, изучены недостаточно. В данной статье мы выявляем несколько подводных камней, о которых следует знать специалистам при внедрении LLM со сжатым KV-кэшем. Важно отметить, что мы показываем, что определённые инструкции деградируют значительно быстрее при сжатии, что фактически приводит к их полному игнорированию LLM. В качестве практического примера мы рассматриваем утечку системных промптов, эмпирически демонстрируя влияние сжатия на утечку и общее выполнение инструкций. Мы выделяем несколько факторов, влияющих на утечку промптов: метод сжатия, порядок инструкций и предвзятость при вытеснении из KV-кэша. Затем мы предлагаем простые изменения в политиках вытеснения KV-кэша, которые могут снизить влияние этих факторов и улучшить общую производительность в многозадачных сценариях.

English

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.