Modellazione Autoregressiva Visiva Efficiente in Memoria con Compressione KV Cache Consapevole della Scala

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression

May 26, 2025

Autori: Kunjun Li, Zigeng Chen, Cheng-Yen Yang, Jenq-Neng Hwang

cs.AI

Abstract

La modellazione Visual Autoregressive (VAR) ha attirato notevole attenzione per il suo innovativo approccio di previsione a scala successiva, che porta a significativi miglioramenti in termini di efficienza, scalabilità e generalizzazione zero-shot. Tuttavia, la metodologia da grossolana a fine intrinseca nel VAR comporta una crescita esponenziale della cache KV durante l'inferenza, causando un notevole consumo di memoria e ridondanza computazionale. Per affrontare questi colli di bottiglia, introduciamo ScaleKV, un nuovo framework di compressione della cache KV progettato specificamente per le architetture VAR. ScaleKV sfrutta due osservazioni critiche: la variazione delle esigenze di cache tra i livelli del transformer e i distinti pattern di attenzione a diverse scale. Sulla base di queste intuizioni, ScaleKV classifica i livelli del transformer in due gruppi funzionali: drafters e refiners. I drafters mostrano un'attenzione dispersa su più scale, richiedendo quindi una maggiore capacità di cache. Al contrario, i refiners concentrano l'attenzione sulla mappa dei token corrente per elaborare i dettagli locali, necessitando di una capacità di cache sostanzialmente ridotta. ScaleKV ottimizza la pipeline di inferenza multi-scala identificando drafters e refiners specifici per ogni scala, facilitando una gestione differenziata della cache adattata a ciascuna scala. La valutazione sulla famiglia di modelli VAR text-to-image all'avanguardia, Infinity, dimostra che il nostro approccio riduce efficacemente la memoria richiesta per la cache KV al 10%, preservando la fedeltà a livello di pixel.

English

Visual Autoregressive (VAR) modeling has garnered significant attention for its innovative next-scale prediction approach, which yields substantial improvements in efficiency, scalability, and zero-shot generalization. Nevertheless, the coarse-to-fine methodology inherent in VAR results in exponential growth of the KV cache during inference, causing considerable memory consumption and computational redundancy. To address these bottlenecks, we introduce ScaleKV, a novel KV cache compression framework tailored for VAR architectures. ScaleKV leverages two critical observations: varying cache demands across transformer layers and distinct attention patterns at different scales. Based on these insights, ScaleKV categorizes transformer layers into two functional groups: drafters and refiners. Drafters exhibit dispersed attention across multiple scales, thereby requiring greater cache capacity. Conversely, refiners focus attention on the current token map to process local details, consequently necessitating substantially reduced cache capacity. ScaleKV optimizes the multi-scale inference pipeline by identifying scale-specific drafters and refiners, facilitating differentiated cache management tailored to each scale. Evaluation on the state-of-the-art text-to-image VAR model family, Infinity, demonstrates that our approach effectively reduces the required KV cache memory to 10% while preserving pixel-level fidelity.