Explorando a Fusão Profunda de Modelos de Linguagem de Grande Escala e Transformadores de Difusão para Síntese de Texto em Imagem

Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis

May 15, 2025

Autores: Bingda Tang, Boyang Zheng, Xichen Pan, Sayak Paul, Saining Xie

cs.AI

Resumo

Este artigo não descreve um novo método; em vez disso, oferece uma exploração detalhada de um espaço de design importante, porém pouco estudado, relacionado aos avanços recentes na síntese de texto para imagem — especificamente, a fusão profunda de modelos de linguagem de grande escala (LLMs) e transformadores de difusão (DiTs) para geração multimodal. Estudos anteriores concentraram-se principalmente no desempenho geral do sistema, em vez de comparações detalhadas com métodos alternativos, e detalhes cruciais de design e receitas de treinamento frequentemente não foram divulgados. Essas lacunas geram incertezas sobre o verdadeiro potencial dessa abordagem. Para preencher essas lacunas, realizamos um estudo empírico sobre geração de texto para imagem, realizando comparações controladas com baselines estabelecidas, analisando escolhas importantes de design e fornecendo uma receita clara e reproduzível para treinamento em larga escala. Esperamos que este trabalho ofereça pontos de dados significativos e diretrizes práticas para pesquisas futuras em geração multimodal.

English

This paper does not describe a new method; instead, it provides a thorough exploration of an important yet understudied design space related to recent advances in text-to-image synthesis -- specifically, the deep fusion of large language models (LLMs) and diffusion transformers (DiTs) for multi-modal generation. Previous studies mainly focused on overall system performance rather than detailed comparisons with alternative methods, and key design details and training recipes were often left undisclosed. These gaps create uncertainty about the real potential of this approach. To fill these gaps, we conduct an empirical study on text-to-image generation, performing controlled comparisons with established baselines, analyzing important design choices, and providing a clear, reproducible recipe for training at scale. We hope this work offers meaningful data points and practical guidelines for future research in multi-modal generation.