DiT-Air: De efficiëntie van diffusiemodelarchitectuurontwerp opnieuw bekijken in tekst-naar-beeldgeneratie

DiT-Air: Revisiting the Efficiency of Diffusion Model Architecture Design in Text to Image Generation

March 13, 2025

Auteurs: Chen Chen, Rui Qian, Wenze Hu, Tsu-Jui Fu, Lezhi Li, Bowen Zhang, Alex Schwing, Wei Liu, Yinfei Yang

cs.AI

Samenvatting

In dit werk bestuderen we empirisch Diffusion Transformers (DiTs) voor tekst-naar-beeldgeneratie, met een focus op architecturale keuzes, tekstconditioneringsstrategieën en trainingsprotocollen. We evalueren een reeks DiT-gebaseerde architecturen—inclusief PixArt-stijl en MMDiT-varianten—en vergelijken deze met een standaard DiT-variant die direct concatenated tekst- en ruisinputs verwerkt. Verrassend genoeg tonen onze bevindingen aan dat de prestaties van standaard DiT vergelijkbaar zijn met die van gespecialiseerde modellen, terwijl ze superieure parameter-efficiëntie demonstreren, vooral wanneer ze worden opgeschaald. Door gebruik te maken van de laaggewijze parameterdelingstrategie, bereiken we een verdere reductie van 66% in modelgrootte vergeleken met een MMDiT-architectuur, met minimale impact op de prestaties. Op basis van een diepgaande analyse van kritieke componenten zoals tekstencoders en Variational Auto-Encoders (VAEs), introduceren we DiT-Air en DiT-Air-Lite. Met supervised en reward fine-tuning bereikt DiT-Air state-of-the-art prestaties op GenEval en T2I CompBench, terwijl DiT-Air-Lite zeer competitief blijft en de meeste bestaande modellen overtreft ondanks zijn compacte formaat.

English

In this work, we empirically study Diffusion Transformers (DiTs) for text-to-image generation, focusing on architectural choices, text-conditioning strategies, and training protocols. We evaluate a range of DiT-based architectures--including PixArt-style and MMDiT variants--and compare them with a standard DiT variant which directly processes concatenated text and noise inputs. Surprisingly, our findings reveal that the performance of standard DiT is comparable with those specialized models, while demonstrating superior parameter-efficiency, especially when scaled up. Leveraging the layer-wise parameter sharing strategy, we achieve a further reduction of 66% in model size compared to an MMDiT architecture, with minimal performance impact. Building on an in-depth analysis of critical components such as text encoders and Variational Auto-Encoders (VAEs), we introduce DiT-Air and DiT-Air-Lite. With supervised and reward fine-tuning, DiT-Air achieves state-of-the-art performance on GenEval and T2I CompBench, while DiT-Air-Lite remains highly competitive, surpassing most existing models despite its compact size.