Modelagem Visual Autorregressiva Eficiente em Memória com Compressão de Cache KV Consciente de Escala

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression

May 26, 2025

Autores: Kunjun Li, Zigeng Chen, Cheng-Yen Yang, Jenq-Neng Hwang

cs.AI

Resumo

A modelagem Visual Autoregressiva (VAR) tem recebido atenção significativa por sua abordagem inovadora de previsão em múltiplas escalas, que resulta em melhorias substanciais em eficiência, escalabilidade e generalização zero-shot. No entanto, a metodologia de granularidade grossa para fina inerente ao VAR leva a um crescimento exponencial do cache KV durante a inferência, causando consumo considerável de memória e redundância computacional. Para abordar esses gargalos, introduzimos o ScaleKV, um novo framework de compressão de cache KV projetado especificamente para arquiteturas VAR. O ScaleKV aproveita duas observações críticas: a variação na demanda de cache entre as camadas do transformer e os padrões distintos de atenção em diferentes escalas. Com base nessas percepções, o ScaleKV categoriza as camadas do transformer em dois grupos funcionais: rascunhadores e refinadores. Os rascunhadores exibem atenção dispersa em múltiplas escalas, exigindo, portanto, maior capacidade de cache. Por outro lado, os refinadores concentram a atenção no mapa de tokens atual para processar detalhes locais, necessitando, consequentemente, de uma capacidade de cache substancialmente reduzida. O ScaleKV otimiza o pipeline de inferência em múltiplas escalas ao identificar rascunhadores e refinadores específicos para cada escala, facilitando o gerenciamento diferenciado de cache adaptado a cada nível. A avaliação na família de modelos VAR state-of-the-art de texto para imagem, Infinity, demonstra que nossa abordagem reduz efetivamente a memória necessária do cache KV para 10%, mantendo a fidelidade em nível de pixel.

English

Visual Autoregressive (VAR) modeling has garnered significant attention for its innovative next-scale prediction approach, which yields substantial improvements in efficiency, scalability, and zero-shot generalization. Nevertheless, the coarse-to-fine methodology inherent in VAR results in exponential growth of the KV cache during inference, causing considerable memory consumption and computational redundancy. To address these bottlenecks, we introduce ScaleKV, a novel KV cache compression framework tailored for VAR architectures. ScaleKV leverages two critical observations: varying cache demands across transformer layers and distinct attention patterns at different scales. Based on these insights, ScaleKV categorizes transformer layers into two functional groups: drafters and refiners. Drafters exhibit dispersed attention across multiple scales, thereby requiring greater cache capacity. Conversely, refiners focus attention on the current token map to process local details, consequently necessitating substantially reduced cache capacity. ScaleKV optimizes the multi-scale inference pipeline by identifying scale-specific drafters and refiners, facilitating differentiated cache management tailored to each scale. Evaluation on the state-of-the-art text-to-image VAR model family, Infinity, demonstrates that our approach effectively reduces the required KV cache memory to 10% while preserving pixel-level fidelity.