Erforschung der tiefen Fusion von großen Sprachmodellen und Diffusions-Transformern für die Text-zu-Bild-Synthese

Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis

May 15, 2025

Autoren: Bingda Tang, Boyang Zheng, Xichen Pan, Sayak Paul, Saining Xie

cs.AI

Zusammenfassung

Dieses Papier beschreibt keine neue Methode; stattdessen bietet es eine umfassende Untersuchung eines wichtigen, aber bisher wenig erforschten Designraums im Zusammenhang mit den jüngsten Fortschritten in der Text-zu-Bild-Synthese – insbesondere die tiefe Integration von großen Sprachmodellen (LLMs) und Diffusions-Transformatoren (DiTs) für die multimodale Generierung. Frühere Studien konzentrierten sich hauptsächlich auf die Gesamtleistung des Systems, anstatt detaillierte Vergleiche mit alternativen Methoden durchzuführen, und wichtige Designdetails sowie Trainingsrezepte wurden oft nicht offengelegt. Diese Lücken schaffen Unsicherheit über das tatsächliche Potenzial dieses Ansatzes. Um diese Lücken zu schließen, führen wir eine empirische Studie zur Text-zu-Bild-Generierung durch, führen kontrollierte Vergleiche mit etablierten Baselines durch, analysieren wichtige Designentscheidungen und stellen ein klares, reproduzierbares Rezept für das Training in großem Maßstab bereit. Wir hoffen, dass diese Arbeit aussagekräftige Datenpunkte und praktische Leitlinien für zukünftige Forschungen im Bereich der multimodalen Generierung bietet.

English

This paper does not describe a new method; instead, it provides a thorough exploration of an important yet understudied design space related to recent advances in text-to-image synthesis -- specifically, the deep fusion of large language models (LLMs) and diffusion transformers (DiTs) for multi-modal generation. Previous studies mainly focused on overall system performance rather than detailed comparisons with alternative methods, and key design details and training recipes were often left undisclosed. These gaps create uncertainty about the real potential of this approach. To fill these gaps, we conduct an empirical study on text-to-image generation, performing controlled comparisons with established baselines, analyzing important design choices, and providing a clear, reproducible recipe for training at scale. We hope this work offers meaningful data points and practical guidelines for future research in multi-modal generation.