Modelado Visual Autoregresivo Eficiente en Memoria con Compresión de Caché KV Consciente de la Escala

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression

May 26, 2025

Autores: Kunjun Li, Zigeng Chen, Cheng-Yen Yang, Jenq-Neng Hwang

cs.AI

Resumen

El modelado Visual Autoregresivo (VAR) ha captado una atención significativa por su enfoque innovador de predicción a múltiples escalas, que ofrece mejoras sustanciales en eficiencia, escalabilidad y generalización zero-shot. Sin embargo, la metodología de lo grueso a lo fino inherente a VAR resulta en un crecimiento exponencial de la caché KV durante la inferencia, lo que genera un consumo considerable de memoria y redundancia computacional. Para abordar estos cuellos de botella, presentamos ScaleKV, un novedoso marco de compresión de la caché KV diseñado específicamente para arquitecturas VAR. ScaleKV aprovecha dos observaciones críticas: las demandas variables de caché en las diferentes capas del transformador y los patrones de atención distintos en distintas escalas. Basándose en estas ideas, ScaleKV clasifica las capas del transformador en dos grupos funcionales: bosquejadores y refinadores. Los bosquejadores exhiben una atención dispersa a través de múltiples escalas, lo que requiere una mayor capacidad de caché. Por el contrario, los refinadores concentran la atención en el mapa de tokens actual para procesar detalles locales, lo que reduce significativamente la capacidad de caché necesaria. ScaleKV optimiza la canalización de inferencia multiescala identificando bosquejadores y refinadores específicos para cada escala, facilitando una gestión diferenciada de la caché adaptada a cada nivel. La evaluación en la familia de modelos VAR de última generación para generación de imágenes a partir de texto, Infinity, demuestra que nuestro enfoque reduce efectivamente la memoria requerida para la caché KV al 10%, manteniendo la fidelidad a nivel de píxel.

English

Visual Autoregressive (VAR) modeling has garnered significant attention for its innovative next-scale prediction approach, which yields substantial improvements in efficiency, scalability, and zero-shot generalization. Nevertheless, the coarse-to-fine methodology inherent in VAR results in exponential growth of the KV cache during inference, causing considerable memory consumption and computational redundancy. To address these bottlenecks, we introduce ScaleKV, a novel KV cache compression framework tailored for VAR architectures. ScaleKV leverages two critical observations: varying cache demands across transformer layers and distinct attention patterns at different scales. Based on these insights, ScaleKV categorizes transformer layers into two functional groups: drafters and refiners. Drafters exhibit dispersed attention across multiple scales, thereby requiring greater cache capacity. Conversely, refiners focus attention on the current token map to process local details, consequently necessitating substantially reduced cache capacity. ScaleKV optimizes the multi-scale inference pipeline by identifying scale-specific drafters and refiners, facilitating differentiated cache management tailored to each scale. Evaluation on the state-of-the-art text-to-image VAR model family, Infinity, demonstrates that our approach effectively reduces the required KV cache memory to 10% while preserving pixel-level fidelity.