ToDo: Subamostragem de Tokens para Geração Eficiente de Imagens de Alta Resolução

ToDo: Token Downsampling for Efficient Generation of High-Resolution Images

February 21, 2024

Autores: Ethan Smith, Nayan Saxena, Aninda Saha

cs.AI

Resumo

O mecanismo de atenção tem sido crucial para modelos de difusão de imagens, no entanto, sua complexidade computacional quadrática limita os tamanhos de imagens que podemos processar dentro de restrições razoáveis de tempo e memória. Este artigo investiga a importância da atenção densa em modelos generativos de imagens, que frequentemente contêm características redundantes, tornando-os adequados para mecanismos de atenção mais esparsos. Propomos um novo método sem treinamento, chamado ToDo, que se baseia na redução de amostragem de tokens de chave e valor para acelerar a inferência do Stable Diffusion em até 2x para tamanhos comuns e até 4,5x ou mais para resoluções altas como 2048x2048. Demonstramos que nossa abordagem supera métodos anteriores no equilíbrio entre eficiência de processamento e fidelidade.

English

Attention mechanism has been crucial for image diffusion models, however, their quadratic computational complexity limits the sizes of images we can process within reasonable time and memory constraints. This paper investigates the importance of dense attention in generative image models, which often contain redundant features, making them suitable for sparser attention mechanisms. We propose a novel training-free method ToDo that relies on token downsampling of key and value tokens to accelerate Stable Diffusion inference by up to 2x for common sizes and up to 4.5x or more for high resolutions like 2048x2048. We demonstrate that our approach outperforms previous methods in balancing efficient throughput and fidelity.