DiT-Air: Eine Neubewertung der Effizienz von Diffusionsmodell-Architekturen im Text-zu-Bild-Generierungsprozess

DiT-Air: Revisiting the Efficiency of Diffusion Model Architecture Design in Text to Image Generation

March 13, 2025

Autoren: Chen Chen, Rui Qian, Wenze Hu, Tsu-Jui Fu, Lezhi Li, Bowen Zhang, Alex Schwing, Wei Liu, Yinfei Yang

cs.AI

Zusammenfassung

In dieser Arbeit untersuchen wir empirisch Diffusion Transformers (DiTs) für die Text-zu-Bild-Generierung, mit einem Fokus auf architektonische Entscheidungen, Text-Konditionierungsstrategien und Trainingsprotokolle. Wir bewerten eine Reihe von DiT-basierten Architekturen – einschließlich PixArt-Stil- und MMDiT-Varianten – und vergleichen sie mit einer Standard-DiT-Variante, die direkt verkettete Text- und Rausch-Eingaben verarbeitet. Überraschenderweise zeigen unsere Ergebnisse, dass die Leistung der Standard-DiT mit denen der spezialisierten Modelle vergleichbar ist, während sie eine überlegene Parameter-Effizienz aufweist, insbesondere bei der Skalierung. Durch die Nutzung einer schichtenweisen Parameter-Sharing-Strategie erreichen wir eine weitere Reduzierung der Modellgröße um 66 % im Vergleich zu einer MMDiT-Architektur, bei minimalem Leistungsverlust. Basierend auf einer detaillierten Analyse kritischer Komponenten wie Text-Encoder und Variational Auto-Encoders (VAEs) führen wir DiT-Air und DiT-Air-Lite ein. Mit überwachtem und belohnungsbasiertem Fein-Tuning erreicht DiT-Air state-of-the-art Leistung auf GenEval und T2I CompBench, während DiT-Air-Lite trotz seiner kompakten Größe äußerst wettbewerbsfähig bleibt und die meisten bestehenden Modelle übertrifft.

English

In this work, we empirically study Diffusion Transformers (DiTs) for text-to-image generation, focusing on architectural choices, text-conditioning strategies, and training protocols. We evaluate a range of DiT-based architectures--including PixArt-style and MMDiT variants--and compare them with a standard DiT variant which directly processes concatenated text and noise inputs. Surprisingly, our findings reveal that the performance of standard DiT is comparable with those specialized models, while demonstrating superior parameter-efficiency, especially when scaled up. Leveraging the layer-wise parameter sharing strategy, we achieve a further reduction of 66% in model size compared to an MMDiT architecture, with minimal performance impact. Building on an in-depth analysis of critical components such as text encoders and Variational Auto-Encoders (VAEs), we introduce DiT-Air and DiT-Air-Lite. With supervised and reward fine-tuning, DiT-Air achieves state-of-the-art performance on GenEval and T2I CompBench, while DiT-Air-Lite remains highly competitive, surpassing most existing models despite its compact size.