GenTron : Exploration approfondie des Transformers de diffusion pour la génération d'images et de vidéos

GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation

December 7, 2023

Auteurs: Shoufa Chen, Mengmeng Xu, Jiawei Ren, Yuren Cong, Sen He, Yanping Xie, Animesh Sinha, Ping Luo, Tao Xiang, Juan-Manuel Perez-Rua

cs.AI

Résumé

Dans cette étude, nous explorons les modèles de diffusion basés sur les Transformers pour la génération d'images et de vidéos. Bien que les architectures Transformer dominent divers domaines grâce à leur flexibilité et leur évolutivité, le domaine de la génération visuelle utilise principalement des architectures U-Net basées sur les CNN, en particulier dans les modèles de diffusion. Nous présentons GenTron, une famille de modèles génératifs utilisant la diffusion basée sur les Transformers, pour combler cette lacune. Notre première étape a été d'adapter les Diffusion Transformers (DiTs) du conditionnement par classe au conditionnement par texte, un processus impliquant une exploration empirique approfondie du mécanisme de conditionnement. Nous avons ensuite mis à l'échelle GenTron d'environ 900 millions à plus de 3 milliards de paramètres, observant des améliorations significatives de la qualité visuelle. De plus, nous étendons GenTron à la génération de texte à vidéo, en intégrant une nouvelle guidance sans mouvement pour améliorer la qualité vidéo. Dans les évaluations humaines contre SDXL, GenTron atteint un taux de victoire de 51,1 % en qualité visuelle (avec un taux de match nul de 19,8 %) et un taux de victoire de 42,3 % en alignement textuel (avec un taux de match nul de 42,9 %). GenTron excelle également dans le T2I-CompBench, mettant en évidence ses forces dans la génération compositionnelle. Nous croyons que ce travail fournira des insights significatifs et servira de référence précieuse pour les recherches futures.

English

In this study, we explore Transformer-based diffusion models for image and video generation. Despite the dominance of Transformer architectures in various fields due to their flexibility and scalability, the visual generative domain primarily utilizes CNN-based U-Net architectures, particularly in diffusion-based models. We introduce GenTron, a family of Generative models employing Transformer-based diffusion, to address this gap. Our initial step was to adapt Diffusion Transformers (DiTs) from class to text conditioning, a process involving thorough empirical exploration of the conditioning mechanism. We then scale GenTron from approximately 900M to over 3B parameters, observing significant improvements in visual quality. Furthermore, we extend GenTron to text-to-video generation, incorporating novel motion-free guidance to enhance video quality. In human evaluations against SDXL, GenTron achieves a 51.1% win rate in visual quality (with a 19.8% draw rate), and a 42.3% win rate in text alignment (with a 42.9% draw rate). GenTron also excels in the T2I-CompBench, underscoring its strengths in compositional generation. We believe this work will provide meaningful insights and serve as a valuable reference for future research.