DART: Transformer Autoregressivo de Desnvolvimento para Geração Escalável de Texto-para-Imagem

DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation

October 10, 2024

Autores: Jiatao Gu, Yuyang Wang, Yizhe Zhang, Qihang Zhang, Dinghuai Zhang, Navdeep Jaitly, Josh Susskind, Shuangfei Zhai

cs.AI

Resumo

Os modelos de difusão tornaram-se a abordagem dominante para geração visual. Eles são treinados através da remoção de ruído de um processo Markoviano que gradualmente adiciona ruído à entrada. Argumentamos que a propriedade Markoviana limita a capacidade dos modelos de utilizar plenamente a trajetória de geração, levando a ineficiências durante o treinamento e inferência. Neste artigo, propomos DART, um modelo baseado em transformadores que unifica autoregressivo (AR) e difusão dentro de um framework não Markoviano. DART remove iterativamente patches de imagem espacialmente e espectralmente usando um modelo AR com a mesma arquitetura dos modelos de linguagem padrão. DART não depende de quantização de imagem, permitindo modelagem de imagem mais eficaz mantendo a flexibilidade. Além disso, DART treina de forma integrada com dados de texto e imagem em um modelo unificado. Nossa abordagem demonstra desempenho competitivo em tarefas de geração condicionada por classe e texto-para-imagem, oferecendo uma alternativa escalável e eficiente aos modelos de difusão tradicionais. Através deste framework unificado, DART estabelece um novo referencial para síntese de imagem escalável e de alta qualidade.

English

Diffusion models have become the dominant approach for visual generation. They are trained by denoising a Markovian process that gradually adds noise to the input. We argue that the Markovian property limits the models ability to fully utilize the generation trajectory, leading to inefficiencies during training and inference. In this paper, we propose DART, a transformer-based model that unifies autoregressive (AR) and diffusion within a non-Markovian framework. DART iteratively denoises image patches spatially and spectrally using an AR model with the same architecture as standard language models. DART does not rely on image quantization, enabling more effective image modeling while maintaining flexibility. Furthermore, DART seamlessly trains with both text and image data in a unified model. Our approach demonstrates competitive performance on class-conditioned and text-to-image generation tasks, offering a scalable, efficient alternative to traditional diffusion models. Through this unified framework, DART sets a new benchmark for scalable, high-quality image synthesis.