GenTron: Esplorazione Approfondita dei Transformer di Diffusione per la Generazione di Immagini e Video

Abstract

In questo studio, esploriamo modelli di diffusione basati su Transformer per la generazione di immagini e video. Nonostante il dominio delle architetture Transformer in vari campi grazie alla loro flessibilità e scalabilità, il dominio della generazione visiva utilizza principalmente architetture U-Net basate su CNN, in particolare nei modelli basati su diffusione. Introduciamo GenTron, una famiglia di modelli generativi che impiegano la diffusione basata su Transformer, per colmare questa lacuna. Il nostro primo passo è stato adattare i Diffusion Transformer (DiT) dal condizionamento di classe a quello testuale, un processo che ha comportato un'approfondita esplorazione empirica del meccanismo di condizionamento. Successivamente, abbiamo scalato GenTron da circa 900M a oltre 3B parametri, osservando miglioramenti significativi nella qualità visiva. Inoltre, estendiamo GenTron alla generazione di video da testo, incorporando una nuova guida senza movimento per migliorare la qualità del video. Nelle valutazioni umane rispetto a SDXL, GenTron raggiunge un tasso di vittoria del 51.1% nella qualità visiva (con un tasso di pareggio del 19.8%) e un tasso di vittoria del 42.3% nell'allineamento al testo (con un tasso di pareggio del 42.9%). GenTron eccelle anche nel T2I-CompBench, evidenziando i suoi punti di forza nella generazione composizionale. Crediamo che questo lavoro fornirà spunti significativi e servirà come riferimento prezioso per la ricerca futura.

English

In this study, we explore Transformer-based diffusion models for image and video generation. Despite the dominance of Transformer architectures in various fields due to their flexibility and scalability, the visual generative domain primarily utilizes CNN-based U-Net architectures, particularly in diffusion-based models. We introduce GenTron, a family of Generative models employing Transformer-based diffusion, to address this gap. Our initial step was to adapt Diffusion Transformers (DiTs) from class to text conditioning, a process involving thorough empirical exploration of the conditioning mechanism. We then scale GenTron from approximately 900M to over 3B parameters, observing significant improvements in visual quality. Furthermore, we extend GenTron to text-to-video generation, incorporating novel motion-free guidance to enhance video quality. In human evaluations against SDXL, GenTron achieves a 51.1% win rate in visual quality (with a 19.8% draw rate), and a 42.3% win rate in text alignment (with a 42.9% draw rate). GenTron also excels in the T2I-CompBench, underscoring its strengths in compositional generation. We believe this work will provide meaningful insights and serve as a valuable reference for future research.

GenTron: Esplorazione Approfondita dei Transformer di Diffusione per la Generazione di Immagini e Video

GenTron: Delving Deep into Diffusion Transformers for Image and Video Generation

Abstract

Support