Масштабируемый синтез изображений с высоким разрешением в пиксельном пространстве с использованием трансформеров диффузии типа "песочные часы"

Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers

January 21, 2024

Авторы: Katherine Crowson, Stefan Andreas Baumann, Alex Birch, Tanishq Mathew Abraham, Daniel Z. Kaplan, Enrico Shippole

cs.AI

Аннотация

Мы представляем Hourglass Diffusion Transformer (HDiT) — генеративную модель изображений, которая демонстрирует линейное масштабирование в зависимости от количества пикселей, поддерживая обучение на высоких разрешениях (например, 1024×1024) непосредственно в пространстве пикселей. Основанная на архитектуре Transformer, известной своей способностью масштабироваться до миллиардов параметров, HDiT устраняет разрыв между эффективностью сверточных U-Net и масштабируемостью Transformers. HDiT успешно обучается без использования типичных методов для высоких разрешений, таких как многоуровневые архитектуры, латентные автокодировщики или самокондиционирование. Мы показываем, что HDiT конкурирует с существующими моделями на ImageNet 256^2 и устанавливает новый рекорд для диффузионных моделей на FFHQ-1024^2.

English

We present the Hourglass Diffusion Transformer (HDiT), an image generative model that exhibits linear scaling with pixel count, supporting training at high-resolution (e.g. 1024 times 1024) directly in pixel-space. Building on the Transformer architecture, which is known to scale to billions of parameters, it bridges the gap between the efficiency of convolutional U-Nets and the scalability of Transformers. HDiT trains successfully without typical high-resolution training techniques such as multiscale architectures, latent autoencoders or self-conditioning. We demonstrate that HDiT performs competitively with existing models on ImageNet 256^2, and sets a new state-of-the-art for diffusion models on FFHQ-1024^2.