Le Insidie della Compressione della Cache KV

The Pitfalls of KV Cache Compression

September 30, 2025

Autori: Alex Chen, Renato Geh, Aditya Grover, Guy Van den Broeck, Daniel Israel

cs.AI

Abstract

La compressione della cache KV promette un aumento della produttività e dell'efficienza con una perdita trascurabile delle prestazioni. Sebbene i guadagni in termini di produttività siano indiscutibili e la letteratura recente abbia effettivamente mostrato un degrado minimo su benchmark specifici, in generale le conseguenze della compressione in scenari realistici come il prompting multi-istruzione sono state insufficientemente studiate. In questo articolo, identifichiamo diverse insidie di cui i professionisti dovrebbero essere consapevoli quando implementano LLM con cache KV compressa. In particolare, dimostriamo che alcune istruzioni si degradano molto più rapidamente con la compressione, facendo sì che vengano completamente ignorate dall'LLM. Come esempio pratico di ciò, evidenziamo la fuoriuscita del prompt di sistema come caso di studio, mostrando empiricamente l'impatto della compressione sulla fuoriuscita e sul rispetto generale delle istruzioni. Mostriamo diversi fattori che giocano un ruolo nella fuoriuscita del prompt: metodo di compressione, ordine delle istruzioni e bias di eliminazione della cache KV. Proponiamo quindi semplici modifiche alle politiche di eliminazione della cache KV che possono ridurre l'impatto di questi fattori e migliorare le prestazioni complessive nei task multi-istruzione.

English

KV cache compression promises increased throughput and efficiency with negligible loss in performance. While the gains in throughput are indisputable and recent literature has indeed shown minimal degradation on particular benchmarks, in general the consequences of compression in realistic scenarios such as multi-instruction prompting have been insufficiently studied. In this paper, we identify several pitfalls practitioners should be aware of when deploying KV cache compressed LLMs. Importantly, we show that certain instructions degrade much more rapidly with compression, effectively causing them to be completely ignored by the LLM. As a practical example of that, we highlight system prompt leakage as a case study, empirically showing the impact of compression on leakage and general instruction following. We show several factors that play a role in prompt leakage: compression method, instruction order, and KV eviction bias. We then propose simple changes to KV cache eviction policies that can reduce the impact of these factors and improve the overall performance in multi-instruction tasks.