LDGen: Verbetering van tekst-naar-beeld-synthese via taalrepresentatie aangedreven door grote taalmodellen

LDGen: Enhancing Text-to-Image Synthesis via Large Language Model-Driven Language Representation

February 25, 2025

Auteurs: Pengzhi Li, Pengfei Yu, Zide Liu, Wei He, Xuhao Pan, Xudong Rao, Tao Wei, Wei Chen

cs.AI

Samenvatting

In dit artikel introduceren we LDGen, een nieuwe methode voor het integreren van grote taalmodellen (LLM's) in bestaande tekst-naar-beeld diffusiemodellen, terwijl de rekenkundige eisen worden geminimaliseerd. Traditionele tekstencoders, zoals CLIP en T5, vertonen beperkingen in meertalige verwerking, wat de beeldgeneratie over diverse talen hindert. Wij pakken deze uitdagingen aan door gebruik te maken van de geavanceerde mogelijkheden van LLM's. Onze aanpak hanteert een taalrepresentatiestrategie die hiërarchische bijschriftoptimalisatie en menselijke instructietechnieken toepast om precieze semantische informatie te verkrijgen. Vervolgens integreren we een lichtgewicht adapter en een cross-modale verfijner om efficiënte kenmerkuitlijning en interactie tussen LLM's en beeldkenmerken te faciliteren. LDGen verkort de trainingsduur en maakt zero-shot meertalige beeldgeneratie mogelijk. Experimentele resultaten tonen aan dat onze methode de basislijnmodellen overtreft in zowel promptnaleving als beeldesthetische kwaliteit, terwijl naadloos meerdere talen worden ondersteund. Projectpagina: https://zrealli.github.io/LDGen.

English

In this paper, we introduce LDGen, a novel method for integrating large language models (LLMs) into existing text-to-image diffusion models while minimizing computational demands. Traditional text encoders, such as CLIP and T5, exhibit limitations in multilingual processing, hindering image generation across diverse languages. We address these challenges by leveraging the advanced capabilities of LLMs. Our approach employs a language representation strategy that applies hierarchical caption optimization and human instruction techniques to derive precise semantic information,. Subsequently, we incorporate a lightweight adapter and a cross-modal refiner to facilitate efficient feature alignment and interaction between LLMs and image features. LDGen reduces training time and enables zero-shot multilingual image generation. Experimental results indicate that our method surpasses baseline models in both prompt adherence and image aesthetic quality, while seamlessly supporting multiple languages. Project page: https://zrealli.github.io/LDGen.