Synthèse d'images à haute résolution dans l'espace pixel avec des transformateurs de diffusion en sablier : une approche évolutive

Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers

January 21, 2024

Auteurs: Katherine Crowson, Stefan Andreas Baumann, Alex Birch, Tanishq Mathew Abraham, Daniel Z. Kaplan, Enrico Shippole

cs.AI

Résumé

Nous présentons le Transformer de Diffusion en Sablier (HDiT), un modèle génératif d'images qui présente une mise à l'échelle linéaire avec le nombre de pixels, permettant un entraînement à haute résolution (par exemple 1024 × 1024) directement dans l'espace des pixels. S'appuyant sur l'architecture Transformer, connue pour sa capacité à s'adapter à des milliards de paramètres, il comble l'écart entre l'efficacité des U-Nets convolutifs et la scalabilité des Transformers. HDiT s'entraîne avec succès sans recourir aux techniques typiques d'entraînement à haute résolution telles que les architectures multirésolution, les autoencodeurs latents ou l'auto-conditionnement. Nous démontrons qu'HDiT rivalise avec les modèles existants sur ImageNet 256^2 et établit un nouvel état de l'art pour les modèles de diffusion sur FFHQ-1024^2.

English

We present the Hourglass Diffusion Transformer (HDiT), an image generative model that exhibits linear scaling with pixel count, supporting training at high-resolution (e.g. 1024 times 1024) directly in pixel-space. Building on the Transformer architecture, which is known to scale to billions of parameters, it bridges the gap between the efficiency of convolutional U-Nets and the scalability of Transformers. HDiT trains successfully without typical high-resolution training techniques such as multiscale architectures, latent autoencoders or self-conditioning. We demonstrate that HDiT performs competitively with existing models on ImageNet 256^2, and sets a new state-of-the-art for diffusion models on FFHQ-1024^2.