ToDo: Понижение частоты токенов для эффективной генерации изображений высокого разрешения
ToDo: Token Downsampling for Efficient Generation of High-Resolution Images
February 21, 2024
Авторы: Ethan Smith, Nayan Saxena, Aninda Saha
cs.AI
Аннотация
Механизм внимания играет ключевую роль в моделях диффузии изображений, однако их квадратичная вычислительная сложность ограничивает размеры изображений, которые можно обработать в разумные временные и ресурсные рамки. В данной работе исследуется важность плотного внимания в генеративных моделях изображений, которые часто содержат избыточные признаки, что делает их подходящими для более разреженных механизмов внимания. Мы предлагаем новый метод ToDo, не требующий обучения, который основывается на понижении размерности токенов ключей и значений для ускорения вывода Stable Diffusion до 2 раз для стандартных размеров и до 4,5 раз и более для высоких разрешений, таких как 2048x2048. Мы показываем, что наш подход превосходит предыдущие методы в балансировке эффективной пропускной способности и качества изображений.
English
Attention mechanism has been crucial for image diffusion models, however,
their quadratic computational complexity limits the sizes of images we can
process within reasonable time and memory constraints. This paper investigates
the importance of dense attention in generative image models, which often
contain redundant features, making them suitable for sparser attention
mechanisms. We propose a novel training-free method ToDo that relies on token
downsampling of key and value tokens to accelerate Stable Diffusion inference
by up to 2x for common sizes and up to 4.5x or more for high resolutions like
2048x2048. We demonstrate that our approach outperforms previous methods in
balancing efficient throughput and fidelity.