GenTron: Explorando a Fundo os Transformadores de Difusão para Geração de Imagens e Vídeos

GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation

December 7, 2023

Autores: Shoufa Chen, Mengmeng Xu, Jiawei Ren, Yuren Cong, Sen He, Yanping Xie, Animesh Sinha, Ping Luo, Tao Xiang, Juan-Manuel Perez-Rua

cs.AI

Resumo

Neste estudo, exploramos modelos de difusão baseados em Transformers para geração de imagens e vídeos. Apesar da dominância das arquiteturas Transformer em várias áreas devido à sua flexibilidade e escalabilidade, o domínio de geração visual utiliza principalmente arquiteturas U-Net baseadas em CNN, especialmente em modelos baseados em difusão. Introduzimos o GenTron, uma família de modelos generativos que empregam difusão baseada em Transformer, para abordar essa lacuna. Nosso primeiro passo foi adaptar os Transformers de Difusão (DiTs) de condicionamento por classe para condicionamento por texto, um processo que envolveu uma exploração empírica detalhada do mecanismo de condicionamento. Em seguida, escalamos o GenTron de aproximadamente 900M para mais de 3B parâmetros, observando melhorias significativas na qualidade visual. Além disso, estendemos o GenTron para geração de texto para vídeo, incorporando uma nova orientação sem movimento para aprimorar a qualidade do vídeo. Em avaliações humanas contra o SDXL, o GenTron alcança uma taxa de vitória de 51,1% em qualidade visual (com uma taxa de empate de 19,8%) e uma taxa de vitória de 42,3% em alinhamento de texto (com uma taxa de empate de 42,9%). O GenTron também se destaca no T2I-CompBench, destacando seus pontos fortes na geração composicional. Acreditamos que este trabalho fornecerá insights significativos e servirá como uma referência valiosa para pesquisas futuras.

English

In this study, we explore Transformer-based diffusion models for image and video generation. Despite the dominance of Transformer architectures in various fields due to their flexibility and scalability, the visual generative domain primarily utilizes CNN-based U-Net architectures, particularly in diffusion-based models. We introduce GenTron, a family of Generative models employing Transformer-based diffusion, to address this gap. Our initial step was to adapt Diffusion Transformers (DiTs) from class to text conditioning, a process involving thorough empirical exploration of the conditioning mechanism. We then scale GenTron from approximately 900M to over 3B parameters, observing significant improvements in visual quality. Furthermore, we extend GenTron to text-to-video generation, incorporating novel motion-free guidance to enhance video quality. In human evaluations against SDXL, GenTron achieves a 51.1% win rate in visual quality (with a 19.8% draw rate), and a 42.3% win rate in text alignment (with a 42.9% draw rate). GenTron also excels in the T2I-CompBench, underscoring its strengths in compositional generation. We believe this work will provide meaningful insights and serve as a valuable reference for future research.