Исследование глубокого слияния крупных языковых моделей и диффузионных трансформаторов для синтеза изображений по тексту

Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis

May 15, 2025

Авторы: Bingda Tang, Boyang Zheng, Xichen Pan, Sayak Paul, Saining Xie

cs.AI

Аннотация

В данной статье не представлен новый метод; вместо этого она предлагает глубокое исследование важного, но недостаточно изученного пространства проектирования, связанного с последними достижениями в области синтеза изображений на основе текста — а именно, глубокого объединения больших языковых моделей (LLM) и диффузионных трансформеров (DiT) для мультимодальной генерации. Предыдущие исследования в основном сосредотачивались на общей производительности системы, а не на детальных сравнениях с альтернативными методами, при этом ключевые аспекты проектирования и рецепты обучения часто оставались нераскрытыми. Эти пробелы создают неопределенность в отношении реального потенциала данного подхода. Чтобы восполнить эти пробелы, мы проводим эмпирическое исследование генерации изображений на основе текста, выполняя контролируемые сравнения с установленными базовыми методами, анализируя важные проектные решения и предоставляя четкий, воспроизводимый рецепт для масштабного обучения. Мы надеемся, что эта работа предложит значимые данные и практические рекомендации для будущих исследований в области мультимодальной генерации.

English

This paper does not describe a new method; instead, it provides a thorough exploration of an important yet understudied design space related to recent advances in text-to-image synthesis -- specifically, the deep fusion of large language models (LLMs) and diffusion transformers (DiTs) for multi-modal generation. Previous studies mainly focused on overall system performance rather than detailed comparisons with alternative methods, and key design details and training recipes were often left undisclosed. These gaps create uncertainty about the real potential of this approach. To fill these gaps, we conduct an empirical study on text-to-image generation, performing controlled comparisons with established baselines, analyzing important design choices, and providing a clear, reproducible recipe for training at scale. We hope this work offers meaningful data points and practical guidelines for future research in multi-modal generation.