Modélisation visuelle autorégressive économe en mémoire avec compression de cache KV adaptative à l'échelle

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression

May 26, 2025

Auteurs: Kunjun Li, Zigeng Chen, Cheng-Yen Yang, Jenq-Neng Hwang

cs.AI

Résumé

La modélisation visuelle autorégressive (VAR) a suscité un intérêt considérable pour son approche innovante de prédiction à l'échelle suivante, qui apporte des améliorations substantielles en termes d'efficacité, de scalabilité et de généralisation zero-shot. Cependant, la méthodologie grossière-à-fine inhérente à VAR entraîne une croissance exponentielle du cache KV lors de l'inférence, provoquant une consommation de mémoire importante et une redondance computationnelle. Pour résoudre ces goulots d'étranglement, nous introduisons ScaleKV, un nouveau cadre de compression du cache KV spécialement conçu pour les architectures VAR. ScaleKV s'appuie sur deux observations critiques : les besoins variables en cache à travers les couches du transformateur et les motifs d'attention distincts à différentes échelles. Sur la base de ces insights, ScaleKV classe les couches du transformateur en deux groupes fonctionnels : les ébaucheurs (drafters) et les affineurs (refiners). Les ébaucheurs présentent une attention dispersée sur plusieurs échelles, nécessitant ainsi une plus grande capacité de cache. À l'inverse, les affineurs concentrent leur attention sur la carte de tokens actuelle pour traiter les détails locaux, nécessitant par conséquent une capacité de cache considérablement réduite. ScaleKV optimise le pipeline d'inférence multi-échelle en identifiant les ébaucheurs et affineurs spécifiques à chaque échelle, facilitant ainsi une gestion différenciée du cache adaptée à chaque échelle. L'évaluation sur la famille de modèles VAR text-to-image de pointe, Infinity, démontre que notre approche réduit efficacement la mémoire requise du cache KV à 10 % tout en préservant la fidélité au niveau des pixels.

English

Visual Autoregressive (VAR) modeling has garnered significant attention for its innovative next-scale prediction approach, which yields substantial improvements in efficiency, scalability, and zero-shot generalization. Nevertheless, the coarse-to-fine methodology inherent in VAR results in exponential growth of the KV cache during inference, causing considerable memory consumption and computational redundancy. To address these bottlenecks, we introduce ScaleKV, a novel KV cache compression framework tailored for VAR architectures. ScaleKV leverages two critical observations: varying cache demands across transformer layers and distinct attention patterns at different scales. Based on these insights, ScaleKV categorizes transformer layers into two functional groups: drafters and refiners. Drafters exhibit dispersed attention across multiple scales, thereby requiring greater cache capacity. Conversely, refiners focus attention on the current token map to process local details, consequently necessitating substantially reduced cache capacity. ScaleKV optimizes the multi-scale inference pipeline by identifying scale-specific drafters and refiners, facilitating differentiated cache management tailored to each scale. Evaluation on the state-of-the-art text-to-image VAR model family, Infinity, demonstrates that our approach effectively reduces the required KV cache memory to 10% while preserving pixel-level fidelity.