ToDo: Submuestreo de Tokens para la Generación Eficiente de Imágenes de Alta Resolución
ToDo: Token Downsampling for Efficient Generation of High-Resolution Images
February 21, 2024
Autores: Ethan Smith, Nayan Saxena, Aninda Saha
cs.AI
Resumen
El mecanismo de atención ha sido crucial para los modelos de difusión de imágenes, sin embargo, su complejidad computacional cuadrática limita los tamaños de las imágenes que podemos procesar dentro de márgenes razonables de tiempo y memoria. Este artículo investiga la importancia de la atención densa en los modelos generativos de imágenes, los cuales a menudo contienen características redundantes, lo que los hace adecuados para mecanismos de atención más dispersos. Proponemos un nuevo método ToDo, que no requiere entrenamiento y se basa en el submuestreo de tokens de clave y valor para acelerar la inferencia de Stable Diffusion hasta 2x para tamaños comunes y hasta 4.5x o más para resoluciones altas como 2048x2048. Demostramos que nuestro enfoque supera a métodos anteriores en el equilibrio entre un rendimiento eficiente y la fidelidad.
English
Attention mechanism has been crucial for image diffusion models, however,
their quadratic computational complexity limits the sizes of images we can
process within reasonable time and memory constraints. This paper investigates
the importance of dense attention in generative image models, which often
contain redundant features, making them suitable for sparser attention
mechanisms. We propose a novel training-free method ToDo that relies on token
downsampling of key and value tokens to accelerate Stable Diffusion inference
by up to 2x for common sizes and up to 4.5x or more for high resolutions like
2048x2048. We demonstrate that our approach outperforms previous methods in
balancing efficient throughput and fidelity.