Skalierbare hochauflösende Pixelraum-Bildsynthese mit Hourglass-Diffusionstransformern

Zusammenfassung

Wir präsentieren den Hourglass Diffusion Transformer (HDiT), ein Bildgenerierungsmodell, das eine lineare Skalierung mit der Pixelanzahl aufweist und das Training in hoher Auflösung (z.B. 1024 mal 1024) direkt im Pixelraum unterstützt. Basierend auf der Transformer-Architektur, die für ihre Skalierbarkeit auf Milliarden von Parametern bekannt ist, schließt HDiT die Lücke zwischen der Effizienz von konvolutionalen U-Nets und der Skalierbarkeit von Transformern. HDiT trainiert erfolgreich ohne typische Hochauflösungstechniken wie mehrstufige Architekturen, latente Autoencoder oder Selbstkonditionierung. Wir zeigen, dass HDiT auf ImageNet 256^2 wettbewerbsfähig mit bestehenden Modellen abschneidet und einen neuen State-of-the-Art für Diffusionsmodelle auf FFHQ-1024^2 setzt.

English

We present the Hourglass Diffusion Transformer (HDiT), an image generative model that exhibits linear scaling with pixel count, supporting training at high-resolution (e.g. 1024 times 1024) directly in pixel-space. Building on the Transformer architecture, which is known to scale to billions of parameters, it bridges the gap between the efficiency of convolutional U-Nets and the scalability of Transformers. HDiT trains successfully without typical high-resolution training techniques such as multiscale architectures, latent autoencoders or self-conditioning. We demonstrate that HDiT performs competitively with existing models on ImageNet 256^2, and sets a new state-of-the-art for diffusion models on FFHQ-1024^2.

Skalierbare hochauflösende Pixelraum-Bildsynthese mit Hourglass-Diffusionstransformern

Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers

Zusammenfassung

Support