Síntese Escalável de Imagens em Alta Resolução no Espaço de Pixels com Transformadores de Difusão em Formato de Ampulheta
Scalable High-Resolution Pixel-Space Image Synthesis with Hourglass Diffusion Transformers
January 21, 2024
Autores: Katherine Crowson, Stefan Andreas Baumann, Alex Birch, Tanishq Mathew Abraham, Daniel Z. Kaplan, Enrico Shippole
cs.AI
Resumo
Apresentamos o Hourglass Diffusion Transformer (HDiT), um modelo generativo de imagens que exibe escalonamento linear com a contagem de pixels, suportando treinamento em alta resolução (por exemplo, 1024x1024) diretamente no espaço de pixels. Baseado na arquitetura Transformer, conhecida por escalar para bilhões de parâmetros, ele preenche a lacuna entre a eficiência das U-Nets convolucionais e a escalabilidade dos Transformers. O HDiT treina com sucesso sem técnicas típicas de treinamento em alta resolução, como arquiteturas multiescala, autoencoders latentes ou autocondicionamento. Demonstramos que o HDiT tem desempenho competitivo com modelos existentes no ImageNet 256^2 e estabelece um novo estado da arte para modelos de difusão no FFHQ-1024^2.
English
We present the Hourglass Diffusion Transformer (HDiT), an image generative
model that exhibits linear scaling with pixel count, supporting training at
high-resolution (e.g. 1024 times 1024) directly in pixel-space. Building on
the Transformer architecture, which is known to scale to billions of
parameters, it bridges the gap between the efficiency of convolutional U-Nets
and the scalability of Transformers. HDiT trains successfully without typical
high-resolution training techniques such as multiscale architectures, latent
autoencoders or self-conditioning. We demonstrate that HDiT performs
competitively with existing models on ImageNet 256^2, and sets a new
state-of-the-art for diffusion models on FFHQ-1024^2.