GenTron: Een Diepgaande Verkenning van Diffusie-Transformers voor Beeld- en Videogeneratie

Samenvatting

In deze studie onderzoeken we Transformer-gebaseerde diffusiemodellen voor beeld- en videogeneratie. Ondanks de dominantie van Transformer-architecturen in verschillende domeinen vanwege hun flexibiliteit en schaalbaarheid, maakt de visuele generatieve sector voornamelijk gebruik van CNN-gebaseerde U-Net-architecturen, met name in diffusiegebaseerde modellen. We introduceren GenTron, een familie van generatieve modellen die Transformer-gebaseerde diffusie toepassen, om deze kloof te overbruggen. Onze eerste stap was het aanpassen van Diffusion Transformers (DiTs) van klasseconditionering naar tekstconditionering, een proces dat een grondige empirische verkenning van het conditioneringsmechanisme omvatte. Vervolgens schalen we GenTron op van ongeveer 900M naar meer dan 3B parameters, waarbij we aanzienlijke verbeteringen in visuele kwaliteit waarnemen. Bovendien breiden we GenTron uit naar tekst-naar-videogeneratie, waarbij we nieuwe motion-free guidance introduceren om de videokwaliteit te verbeteren. In menselijke evaluaties tegen SDXL behaalt GenTron een winstpercentage van 51,1% in visuele kwaliteit (met een gelijkspelpercentage van 19,8%) en een winstpercentage van 42,3% in tekstafstemming (met een gelijkspelpercentage van 42,9%). GenTron presteert ook uitstekend in de T2I-CompBench, wat zijn sterke punten in compositionele generatie onderstreept. Wij geloven dat dit werk waardevolle inzichten zal bieden en als een nuttige referentie zal dienen voor toekomstig onderzoek.

English

In this study, we explore Transformer-based diffusion models for image and video generation. Despite the dominance of Transformer architectures in various fields due to their flexibility and scalability, the visual generative domain primarily utilizes CNN-based U-Net architectures, particularly in diffusion-based models. We introduce GenTron, a family of Generative models employing Transformer-based diffusion, to address this gap. Our initial step was to adapt Diffusion Transformers (DiTs) from class to text conditioning, a process involving thorough empirical exploration of the conditioning mechanism. We then scale GenTron from approximately 900M to over 3B parameters, observing significant improvements in visual quality. Furthermore, we extend GenTron to text-to-video generation, incorporating novel motion-free guidance to enhance video quality. In human evaluations against SDXL, GenTron achieves a 51.1% win rate in visual quality (with a 19.8% draw rate), and a 42.3% win rate in text alignment (with a 42.9% draw rate). GenTron also excels in the T2I-CompBench, underscoring its strengths in compositional generation. We believe this work will provide meaningful insights and serve as a valuable reference for future research.

GenTron: Een Diepgaande Verkenning van Diffusie-Transformers voor Beeld- en Videogeneratie

GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation

Samenvatting

Support