大規模言語モデルと拡散トランスフォーマーの深層融合を探る ―テキストから画像生成への応用―

Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis

May 15, 2025

著者: Bingda Tang, Boyang Zheng, Xichen Pan, Sayak Paul, Saining Xie

cs.AI

要旨

本論文は新たな手法を提案するものではなく、テキストから画像への合成における最近の進展、特に大規模言語モデル（LLM）と拡散トランスフォーマー（DiT）の深い融合によるマルチモーダル生成に関連する、重要でありながら十分に研究されていない設計空間を徹底的に探求するものである。これまでの研究は主にシステム全体の性能に焦点を当てており、代替手法との詳細な比較や、重要な設計詳細およびトレーニングレシピが明らかにされないことが多かった。これらのギャップは、このアプローチの真の可能性についての不確実性を生み出している。これらのギャップを埋めるため、我々はテキストから画像への生成に関する実証研究を行い、確立されたベースラインとの制御された比較を実施し、重要な設計選択を分析し、大規模なトレーニングのための明確で再現可能なレシピを提供する。本論文が、マルチモーダル生成の将来の研究において、有意義なデータポイントと実践的なガイドラインを提供することを期待する。

English

This paper does not describe a new method; instead, it provides a thorough exploration of an important yet understudied design space related to recent advances in text-to-image synthesis -- specifically, the deep fusion of large language models (LLMs) and diffusion transformers (DiTs) for multi-modal generation. Previous studies mainly focused on overall system performance rather than detailed comparisons with alternative methods, and key design details and training recipes were often left undisclosed. These gaps create uncertainty about the real potential of this approach. To fill these gaps, we conduct an empirical study on text-to-image generation, performing controlled comparisons with established baselines, analyzing important design choices, and providing a clear, reproducible recipe for training at scale. We hope this work offers meaningful data points and practical guidelines for future research in multi-modal generation.