メモリ効率の良い視覚的自動回帰モデリング：スケール対応KVキャッシュ圧縮

Memory-Efficient Visual Autoregressive Modeling with Scale-Aware KV Cache Compression

May 26, 2025

著者: Kunjun Li, Zigeng Chen, Cheng-Yen Yang, Jenq-Neng Hwang

cs.AI

要旨

ビジュアル自己回帰（VAR）モデリングは、その革新的な次スケール予測アプローチにより、効率性、スケーラビリティ、ゼロショット汎化能力の大幅な向上をもたらし、注目を集めています。しかしながら、VARに内在する粗から細への方法論は、推論中にKVキャッシュの指数関数的な増大を引き起こし、多大なメモリ消費と計算の冗長性を生み出します。これらのボトルネックに対処するため、我々はVARアーキテクチャに特化した新しいKVキャッシュ圧縮フレームワーク、ScaleKVを提案します。ScaleKVは、トランスフォーマー層間でのキャッシュ需要の差異と、異なるスケールでの注意パターンの違いという2つの重要な観察を活用します。これらの洞察に基づき、ScaleKVはトランスフォーマー層を2つの機能グループに分類します：ドラフターとリファイナーです。ドラフターは複数のスケールにわたって分散した注意を示し、より大きなキャッシュ容量を必要とします。一方、リファイナーは現在のトークンマップに注意を集中させて局所的な詳細を処理するため、大幅に削減されたキャッシュ容量で済みます。ScaleKVは、スケール固有のドラフターとリファイナーを特定することで、マルチスケール推論パイプラインを最適化し、各スケールに適した差別化されたキャッシュ管理を可能にします。最先端のテキストから画像へのVARモデルファミリーであるInfinityでの評価により、本アプローチがピクセルレベルの忠実度を保ちつつ、必要なKVキャッシュメモリを10%に削減できることが実証されました。

English

Visual Autoregressive (VAR) modeling has garnered significant attention for its innovative next-scale prediction approach, which yields substantial improvements in efficiency, scalability, and zero-shot generalization. Nevertheless, the coarse-to-fine methodology inherent in VAR results in exponential growth of the KV cache during inference, causing considerable memory consumption and computational redundancy. To address these bottlenecks, we introduce ScaleKV, a novel KV cache compression framework tailored for VAR architectures. ScaleKV leverages two critical observations: varying cache demands across transformer layers and distinct attention patterns at different scales. Based on these insights, ScaleKV categorizes transformer layers into two functional groups: drafters and refiners. Drafters exhibit dispersed attention across multiple scales, thereby requiring greater cache capacity. Conversely, refiners focus attention on the current token map to process local details, consequently necessitating substantially reduced cache capacity. ScaleKV optimizes the multi-scale inference pipeline by identifying scale-specific drafters and refiners, facilitating differentiated cache management tailored to each scale. Evaluation on the state-of-the-art text-to-image VAR model family, Infinity, demonstrates that our approach effectively reduces the required KV cache memory to 10% while preserving pixel-level fidelity.