DiT-Air: Revisión de la Eficiencia del Diseño de Arquitectura de Modelos de Difusión en la Generación de Imágenes a partir de Texto

DiT-Air: Revisiting the Efficiency of Diffusion Model Architecture Design in Text to Image Generation

March 13, 2025

Autores: Chen Chen, Rui Qian, Wenze Hu, Tsu-Jui Fu, Lezhi Li, Bowen Zhang, Alex Schwing, Wei Liu, Yinfei Yang

cs.AI

Resumen

En este trabajo, estudiamos empíricamente los Transformadores de Difusión (DiTs) para la generación de texto a imagen, centrándonos en las decisiones arquitectónicas, las estrategias de condicionamiento de texto y los protocolos de entrenamiento. Evaluamos una variedad de arquitecturas basadas en DiT—incluyendo variantes de estilo PixArt y MMDiT—y las comparamos con una variante estándar de DiT que procesa directamente entradas concatenadas de texto y ruido. Sorprendentemente, nuestros hallazgos revelan que el rendimiento del DiT estándar es comparable con el de esos modelos especializados, mientras demuestra una superior eficiencia en parámetros, especialmente cuando se escala. Aprovechando la estrategia de compartición de parámetros por capas, logramos una reducción adicional del 66% en el tamaño del modelo en comparación con una arquitectura MMDiT, con un impacto mínimo en el rendimiento. Basándonos en un análisis en profundidad de componentes críticos como los codificadores de texto y los Auto-Codificadores Variacionales (VAEs), introducimos DiT-Air y DiT-Air-Lite. Con ajuste fino supervisado y basado en recompensas, DiT-Air alcanza un rendimiento de vanguardia en GenEval y T2I CompBench, mientras que DiT-Air-Lite sigue siendo altamente competitivo, superando a la mayoría de los modelos existentes a pesar de su tamaño compacto.

English

In this work, we empirically study Diffusion Transformers (DiTs) for text-to-image generation, focusing on architectural choices, text-conditioning strategies, and training protocols. We evaluate a range of DiT-based architectures--including PixArt-style and MMDiT variants--and compare them with a standard DiT variant which directly processes concatenated text and noise inputs. Surprisingly, our findings reveal that the performance of standard DiT is comparable with those specialized models, while demonstrating superior parameter-efficiency, especially when scaled up. Leveraging the layer-wise parameter sharing strategy, we achieve a further reduction of 66% in model size compared to an MMDiT architecture, with minimal performance impact. Building on an in-depth analysis of critical components such as text encoders and Variational Auto-Encoders (VAEs), we introduce DiT-Air and DiT-Air-Lite. With supervised and reward fine-tuning, DiT-Air achieves state-of-the-art performance on GenEval and T2I CompBench, while DiT-Air-Lite remains highly competitive, surpassing most existing models despite its compact size.