Speichereffizientes visuelles autoregressives Modellieren mit skalensensitiver KV-Cache-Komprimierung

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression

May 26, 2025

Autoren: Kunjun Li, Zigeng Chen, Cheng-Yen Yang, Jenq-Neng Hwang

cs.AI

Zusammenfassung

Das Visual Autoregressive (VAR) Modell hat aufgrund seines innovativen Ansatzes zur Vorhersage auf der nächsten Skala erhebliche Aufmerksamkeit erregt, was zu deutlichen Verbesserungen in Effizienz, Skalierbarkeit und Zero-Shot-Generalisierung führt. Dennoch führt die in VAR inhärente Methode von grob zu fein zu einem exponentiellen Wachstum des KV-Caches während der Inferenz, was erheblichen Speicherverbrauch und Rechenredundanz verursacht. Um diese Engpässe zu adressieren, stellen wir ScaleKV vor, ein neuartiges KV-Cache-Kompressionsframework, das speziell für VAR-Architekturen entwickelt wurde. ScaleKV nutzt zwei kritische Beobachtungen: unterschiedliche Cache-Anforderungen über die Transformer-Schichten hinweg und unterschiedliche Aufmerksamkeitsmuster auf verschiedenen Skalen. Basierend auf diesen Erkenntnissen kategorisiert ScaleKV die Transformer-Schichten in zwei funktionale Gruppen: Drafters und Refiners. Drafters zeigen eine verteilte Aufmerksamkeit über mehrere Skalen hinweg und benötigen daher eine größere Cache-Kapazität. Im Gegensatz dazu konzentrieren Refiners die Aufmerksamkeit auf die aktuelle Token-Map, um lokale Details zu verarbeiten, was folglich eine deutlich reduzierte Cache-Kapazität erfordert. ScaleKV optimiert die Multi-Scale-Inferenzpipeline, indem es skalen-spezifische Drafters und Refiners identifiziert und so eine differenzierte Cache-Verwaltung ermöglicht, die auf jede Skala zugeschnitten ist. Die Evaluierung auf der state-of-the-art Text-zu-Bild-VAR-Modellfamilie, Infinity, zeigt, dass unser Ansatz den benötigten KV-Cache-Speicher effektiv auf 10 % reduziert, während die Pixelgenauigkeit erhalten bleibt.

English

Visual Autoregressive (VAR) modeling has garnered significant attention for its innovative next-scale prediction approach, which yields substantial improvements in efficiency, scalability, and zero-shot generalization. Nevertheless, the coarse-to-fine methodology inherent in VAR results in exponential growth of the KV cache during inference, causing considerable memory consumption and computational redundancy. To address these bottlenecks, we introduce ScaleKV, a novel KV cache compression framework tailored for VAR architectures. ScaleKV leverages two critical observations: varying cache demands across transformer layers and distinct attention patterns at different scales. Based on these insights, ScaleKV categorizes transformer layers into two functional groups: drafters and refiners. Drafters exhibit dispersed attention across multiple scales, thereby requiring greater cache capacity. Conversely, refiners focus attention on the current token map to process local details, consequently necessitating substantially reduced cache capacity. ScaleKV optimizes the multi-scale inference pipeline by identifying scale-specific drafters and refiners, facilitating differentiated cache management tailored to each scale. Evaluation on the state-of-the-art text-to-image VAR model family, Infinity, demonstrates that our approach effectively reduces the required KV cache memory to 10% while preserving pixel-level fidelity.