ReFreeKV: Naar drempelvrije KV-cachecompressie

Samenvatting

Om het geheugengebruik tijdens LLM-inferentie te verminderen, zijn er een aantal methoden voorgesteld voor KV-cache-snoei. Hoewel deze technieken op veel datasets verliesvrije geheugenreductie kunnen bereiken, zijn ze vaak afhankelijk van een onderbelichte voorwaarde: er moet een input-/domeinspecifieke drempelwaarde voor het KV-cache-budget worden vooraf bepaald om optimale prestaties te behalen. Een dergelijk inputsensitief ontwerp kan echter aanzienlijk beperkt zijn in realistische scenario's, omdat open-domein-inputs uiteenlopende domeinen, lengtes en moeilijkheidsgraden beslaan, zonder duidelijke grenzen voor drempelselectie. Als gevolg hiervan kan de afhankelijkheid van een dergelijke inputsensitieve drempel een fundamentele beperking vormen die leidt tot grote verslechtering bij willekeurige inputs. In dit werk stellen we een nieuwe doelstelling voor die de drempelbeperkingen voor robuuste KV-compressie opheft, en pleiten we voor 'drempelvrije' methoden die de budgettoewijzing adaptief aanpassen terwijl de volledige cacheprestaties behouden blijven. Vervolgens stellen we een nieuwe methode voor, ReFreeKV, die dient als de eerste concretisering van deze doelstelling. Uitgebreide experimenten op 13 datasets met uiteenlopende contextlengtes, taaktypen en modelgroottes tonen de effectiviteit en efficiëntie aan. Onze code is openbaar beschikbaar gesteld op https://github.com/Patrick-Ni/ReFreeKV.

English

To reduce memory consumption during LLM inference, a handful of methods have been proposed for KV cache pruning. While these techniques can accomplish lossless memory reduction on many datasets, they often hinge on an under-emphasized condition: an input/domain-specific threshold for KV cache budget needs to be pre-determined to achieve the optimal performance. However, such input-sensitive design may be considerably limited in real-world scenarios, as open-domain inputs span diverse domains, lengths and difficulty levels, without clear boundaries for threshold selection. As a result, the dependence of such input-sensitive threshold can be a fundamental limitation that causes large degradation on arbitrary inputs. In this work, we propose a new objective that lifts the threshold constraints for robust KV compression, advocating for "threshold-free" methods that adaptively adjust budget allocation while preserving full-cache performance. We then propose a novel method, ReFreeKV, serving as the first instantiation of this objective. Extensive experiments across 13 datasets with diverse context lengths, task types, and model sizes demonstrate its efficacy and efficiency. Our code is publicly released at https://github.com/Patrick-Ni/ReFreeKV.