LDGen：大規模言語モデル駆動型言語表現を介したテキストから画像への合成の向上

LDGen: Enhancing Text-to-Image Synthesis via Large Language Model-Driven Language Representation

February 25, 2025

著者: Pengzhi Li, Pengfei Yu, Zide Liu, Wei He, Xuhao Pan, Xudong Rao, Tao Wei, Wei Chen

cs.AI

要旨

本論文では、既存のテキストから画像への拡散モデルに大規模言語モデル（LLMs）を統合する革新的な手法であるLDGenを紹介します。従来のテキストエンコーダーであるCLIPやT5は、多言語処理において制約があり、異なる言語間での画像生成を妨げています。私たちは、LLMsの高度な機能を活用することでこれらの課題に取り組んでいます。私たちのアプローチは、階層的なキャプション最適化と人間の指示技術を適用した言語表現戦略を採用し、正確な意味情報を導き出します。その後、軽量なアダプターとクロスモーダルリファイナーを組み込み、LLMsと画像特徴の効率的な特徴整列と相互作用を促進します。LDGenはトレーニング時間を短縮し、ゼロショットの多言語画像生成を可能にします。実験結果は、当社の手法がプロンプトの遵守と画像の美的品質の両方でベースラインモデルを上回り、複数の言語をシームレスにサポートしていることを示しています。プロジェクトページ: https://zrealli.github.io/LDGen.

English

In this paper, we introduce LDGen, a novel method for integrating large language models (LLMs) into existing text-to-image diffusion models while minimizing computational demands. Traditional text encoders, such as CLIP and T5, exhibit limitations in multilingual processing, hindering image generation across diverse languages. We address these challenges by leveraging the advanced capabilities of LLMs. Our approach employs a language representation strategy that applies hierarchical caption optimization and human instruction techniques to derive precise semantic information,. Subsequently, we incorporate a lightweight adapter and a cross-modal refiner to facilitate efficient feature alignment and interaction between LLMs and image features. LDGen reduces training time and enables zero-shot multilingual image generation. Experimental results indicate that our method surpasses baseline models in both prompt adherence and image aesthetic quality, while seamlessly supporting multiple languages. Project page: https://zrealli.github.io/LDGen.