ReFreeKV: Zur schwellenwertfreien KV-Cache-Kompression

Zusammenfassung

Um den Speicherverbrauch während der LLM-Inferenz zu reduzieren, wurden einige Methoden zur KV-Cache-Bereinigung vorgeschlagen. Obwohl diese Techniken bei vielen Datensätzen eine verlustfreie Speicherreduktion erreichen können, hängen sie oft von einer wenig betonten Bedingung ab: Ein eingabe-/domänenspezifischer Schwellenwert für das KV-Cache-Budget muss vorab festgelegt werden, um die optimale Leistung zu erzielen. Ein derartiges eingabesensitives Design kann jedoch in realen Szenarien erheblich eingeschränkt sein, da Eingaben aus offenen Domänen verschiedene Bereiche, Längen und Schwierigkeitsgrade umfassen, ohne klare Grenzen für die Schwellenwertauswahl. Infolgedessen kann die Abhängigkeit von einem solchen eingabesensitiven Schwellenwert eine grundlegende Einschränkung darstellen, die bei beliebigen Eingaben zu großen Beeinträchtigungen führt. In dieser Arbeit schlagen wir ein neues Ziel vor, das die Schwellenwertbeschränkungen für eine robuste KV-Kompression aufhebt, und plädieren für „schwellenwertfreie“ Methoden, die die Budgetzuweisung adaptiv anpassen, während die Leistung des vollständigen Caches erhalten bleibt. Anschließend stellen wir eine neuartige Methode, ReFreeKV, vor, die als erste Umsetzung dieses Ziels dient. Umfangreiche Experimente mit 13 Datensätzen unterschiedlicher Kontextlängen, Aufgabentypen und Modellgrößen belegen ihre Wirksamkeit und Effizienz. Unser Code ist unter https://github.com/Patrick-Ni/ReFreeKV öffentlich zugänglich.

English

To reduce memory consumption during LLM inference, a handful of methods have been proposed for KV cache pruning. While these techniques can accomplish lossless memory reduction on many datasets, they often hinge on an under-emphasized condition: an input/domain-specific threshold for KV cache budget needs to be pre-determined to achieve the optimal performance. However, such input-sensitive design may be considerably limited in real-world scenarios, as open-domain inputs span diverse domains, lengths and difficulty levels, without clear boundaries for threshold selection. As a result, the dependence of such input-sensitive threshold can be a fundamental limitation that causes large degradation on arbitrary inputs. In this work, we propose a new objective that lifts the threshold constraints for robust KV compression, advocating for "threshold-free" methods that adaptively adjust budget allocation while preserving full-cache performance. We then propose a novel method, ReFreeKV, serving as the first instantiation of this objective. Extensive experiments across 13 datasets with diverse context lengths, task types, and model sizes demonstrate its efficacy and efficiency. Our code is publicly released at https://github.com/Patrick-Ni/ReFreeKV.