Esplorando la Fusione Profonda tra Modelli Linguistici di Grandi Dimensioni e Trasformatori Diffusivi per la Sintesi da Testo a Immagine

Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis

May 15, 2025

Autori: Bingda Tang, Boyang Zheng, Xichen Pan, Sayak Paul, Saining Xie

cs.AI

Abstract

Questo articolo non descrive un nuovo metodo; piuttosto, offre un'esplorazione approfondita di uno spazio di progettazione importante ma poco studiato, legato ai recenti progressi nella sintesi di immagini da testo, in particolare la fusione profonda di modelli linguistici di grandi dimensioni (LLM) e trasformatori di diffusione (DiT) per la generazione multimodale. Gli studi precedenti si sono concentrati principalmente sulle prestazioni complessive del sistema piuttosto che su confronti dettagliati con metodi alternativi, e i dettagli chiave di progettazione e le ricette di addestramento sono spesso rimasti non divulgati. Queste lacune creano incertezza riguardo al reale potenziale di questo approccio. Per colmare queste lacune, conduciamo uno studio empirico sulla generazione di immagini da testo, eseguendo confronti controllati con baseline consolidate, analizzando scelte progettuali importanti e fornendo una ricetta chiara e riproducibile per l'addestramento su larga scala. Speriamo che questo lavoro offra dati significativi e linee guida pratiche per la ricerca futura nella generazione multimodale.

English

This paper does not describe a new method; instead, it provides a thorough exploration of an important yet understudied design space related to recent advances in text-to-image synthesis -- specifically, the deep fusion of large language models (LLMs) and diffusion transformers (DiTs) for multi-modal generation. Previous studies mainly focused on overall system performance rather than detailed comparisons with alternative methods, and key design details and training recipes were often left undisclosed. These gaps create uncertainty about the real potential of this approach. To fill these gaps, we conduct an empirical study on text-to-image generation, performing controlled comparisons with established baselines, analyzing important design choices, and providing a clear, reproducible recipe for training at scale. We hope this work offers meaningful data points and practical guidelines for future research in multi-modal generation.