GenTron: Tiefgehende Untersuchung von Diffusions-Transformatoren für die Bild- und Videogenerierung

GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation

December 7, 2023

Autoren: Shoufa Chen, Mengmeng Xu, Jiawei Ren, Yuren Cong, Sen He, Yanping Xie, Animesh Sinha, Ping Luo, Tao Xiang, Juan-Manuel Perez-Rua

cs.AI

Zusammenfassung

In dieser Studie untersuchen wir Transformer-basierte Diffusionsmodelle für die Bild- und Videogenerierung. Trotz der Dominanz von Transformer-Architekturen in verschiedenen Bereichen aufgrund ihrer Flexibilität und Skalierbarkeit, nutzt der visuelle generative Bereich hauptsächlich CNN-basierte U-Net-Architekturen, insbesondere in diffusionsbasierten Modellen. Wir stellen GenTron vor, eine Familie von generativen Modellen, die Transformer-basierte Diffusion verwenden, um diese Lücke zu schließen. Unser erster Schritt bestand darin, Diffusion Transformers (DiTs) von der Klassen- zur Textkonditionierung anzupassen, ein Prozess, der eine umfassende empirische Untersuchung des Konditionierungsmechanismus beinhaltete. Anschließend skalieren wir GenTron von etwa 900M auf über 3B Parameter und beobachten signifikante Verbesserungen in der visuellen Qualität. Darüber hinaus erweitern wir GenTron auf die Text-zu-Video-Generierung und integrieren eine neuartige bewegungsfreie Führung, um die Videoqualität zu verbessern. In menschlichen Bewertungen gegen SDXL erreicht GenTron eine Gewinnrate von 51,1 % in der visuellen Qualität (mit einer Unentschiedenrate von 19,8 %) und eine Gewinnrate von 42,3 % in der Textausrichtung (mit einer Unentschiedenrate von 42,9 %). GenTron überzeugt auch im T2I-CompBench und unterstreicht seine Stärken in der kompositionellen Generierung. Wir glauben, dass diese Arbeit wertvolle Einblicke bietet und als wertvolle Referenz für zukünftige Forschung dienen wird.

English

In this study, we explore Transformer-based diffusion models for image and video generation. Despite the dominance of Transformer architectures in various fields due to their flexibility and scalability, the visual generative domain primarily utilizes CNN-based U-Net architectures, particularly in diffusion-based models. We introduce GenTron, a family of Generative models employing Transformer-based diffusion, to address this gap. Our initial step was to adapt Diffusion Transformers (DiTs) from class to text conditioning, a process involving thorough empirical exploration of the conditioning mechanism. We then scale GenTron from approximately 900M to over 3B parameters, observing significant improvements in visual quality. Furthermore, we extend GenTron to text-to-video generation, incorporating novel motion-free guidance to enhance video quality. In human evaluations against SDXL, GenTron achieves a 51.1% win rate in visual quality (with a 19.8% draw rate), and a 42.3% win rate in text alignment (with a 42.9% draw rate). GenTron also excels in the T2I-CompBench, underscoring its strengths in compositional generation. We believe this work will provide meaningful insights and serve as a valuable reference for future research.