ToDo: Downsampling dei Token per la Generazione Efficiente di Immagini ad Alta Risoluzione

ToDo: Token Downsampling for Efficient Generation of High-Resolution Images

February 21, 2024

Autori: Ethan Smith, Nayan Saxena, Aninda Saha

cs.AI

Abstract

Il meccanismo di attenzione è stato cruciale per i modelli di diffusione delle immagini, tuttavia, la loro complessità computazionale quadratica limita le dimensioni delle immagini che possiamo elaborare entro tempi e vincoli di memoria ragionevoli. Questo articolo indaga l'importanza dell'attenzione densa nei modelli generativi di immagini, che spesso contengono caratteristiche ridondanti, rendendoli adatti a meccanismi di attenzione più sparsi. Proponiamo un nuovo metodo ToDo, che non richiede addestramento, basato sul campionamento ridotto dei token chiave e valore per accelerare l'inferenza di Stable Diffusion fino a 2x per dimensioni comuni e fino a 4.5x o più per risoluzioni elevate come 2048x2048. Dimostriamo che il nostro approccio supera i metodi precedenti nel bilanciare un'efficiente velocità di elaborazione e fedeltà.

English

Attention mechanism has been crucial for image diffusion models, however, their quadratic computational complexity limits the sizes of images we can process within reasonable time and memory constraints. This paper investigates the importance of dense attention in generative image models, which often contain redundant features, making them suitable for sparser attention mechanisms. We propose a novel training-free method ToDo that relies on token downsampling of key and value tokens to accelerate Stable Diffusion inference by up to 2x for common sizes and up to 4.5x or more for high resolutions like 2048x2048. We demonstrate that our approach outperforms previous methods in balancing efficient throughput and fidelity.