GenTron: Explorando a Fondo los Transformadores de Difusión para la Generación de Imágenes y Videos

GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation

December 7, 2023

Autores: Shoufa Chen, Mengmeng Xu, Jiawei Ren, Yuren Cong, Sen He, Yanping Xie, Animesh Sinha, Ping Luo, Tao Xiang, Juan-Manuel Perez-Rua

cs.AI

Resumen

En este estudio, exploramos modelos de difusión basados en Transformers para la generación de imágenes y videos. A pesar del dominio de las arquitecturas Transformer en diversos campos debido a su flexibilidad y escalabilidad, el dominio de la generación visual utiliza principalmente arquitecturas U-Net basadas en CNN, particularmente en modelos basados en difusión. Introducimos GenTron, una familia de modelos generativos que emplean difusión basada en Transformers, para abordar esta brecha. Nuestro primer paso fue adaptar los Transformers de Difusión (DiTs) del condicionamiento por clase al condicionamiento por texto, un proceso que implicó una exploración empírica exhaustiva del mecanismo de condicionamiento. Luego, escalamos GenTron desde aproximadamente 900M a más de 3B parámetros, observando mejoras significativas en la calidad visual. Además, extendemos GenTron a la generación de texto a video, incorporando una novedosa guía sin movimiento para mejorar la calidad del video. En evaluaciones humanas frente a SDXL, GenTron logra una tasa de victoria del 51.1% en calidad visual (con un 19.8% de empates) y una tasa de victoria del 42.3% en alineación de texto (con un 42.9% de empates). GenTron también destaca en el T2I-CompBench, destacando sus fortalezas en la generación composicional. Creemos que este trabajo proporcionará insights significativos y servirá como una referencia valiosa para futuras investigaciones.

English

In this study, we explore Transformer-based diffusion models for image and video generation. Despite the dominance of Transformer architectures in various fields due to their flexibility and scalability, the visual generative domain primarily utilizes CNN-based U-Net architectures, particularly in diffusion-based models. We introduce GenTron, a family of Generative models employing Transformer-based diffusion, to address this gap. Our initial step was to adapt Diffusion Transformers (DiTs) from class to text conditioning, a process involving thorough empirical exploration of the conditioning mechanism. We then scale GenTron from approximately 900M to over 3B parameters, observing significant improvements in visual quality. Furthermore, we extend GenTron to text-to-video generation, incorporating novel motion-free guidance to enhance video quality. In human evaluations against SDXL, GenTron achieves a 51.1% win rate in visual quality (with a 19.8% draw rate), and a 42.3% win rate in text alignment (with a 42.9% draw rate). GenTron also excels in the T2I-CompBench, underscoring its strengths in compositional generation. We believe this work will provide meaningful insights and serve as a valuable reference for future research.