LDGen : Amélioration de la synthèse texte-image via une représentation linguistique pilotée par un grand modèle de langage

LDGen: Enhancing Text-to-Image Synthesis via Large Language Model-Driven Language Representation

February 25, 2025

Auteurs: Pengzhi Li, Pengfei Yu, Zide Liu, Wei He, Xuhao Pan, Xudong Rao, Tao Wei, Wei Chen

cs.AI

Résumé

Dans cet article, nous présentons LDGen, une méthode novatrice pour intégrer de grands modèles de langage (LLM) dans des modèles de diffusion texte-image existants tout en minimisant les exigences computationnelles. Les encodeurs de texte traditionnels, tels que CLIP et T5, présentent des limitations dans le traitement multilingue, entravant la génération d'images dans diverses langues. Nous relevons ces défis en exploitant les capacités avancées des LLM. Notre approche utilise une stratégie de représentation linguistique qui applique une optimisation de légendes hiérarchiques et des techniques d'instruction humaine pour dériver des informations sémantiques précises. Ensuite, nous incorporons un adaptateur léger et un raffineur multimodal pour faciliter l'alignement efficace des caractéristiques et l'interaction entre les LLM et les caractéristiques des images. LDGen réduit le temps d'entraînement et permet la génération d'images multilingues sans étiquette. Les résultats expérimentaux indiquent que notre méthode dépasse les modèles de référence à la fois en termes de conformité à la consigne et de qualité esthétique des images, tout en prenant en charge de manière transparente plusieurs langues. Page du projet : https://zrealli.github.io/LDGen.

English

In this paper, we introduce LDGen, a novel method for integrating large language models (LLMs) into existing text-to-image diffusion models while minimizing computational demands. Traditional text encoders, such as CLIP and T5, exhibit limitations in multilingual processing, hindering image generation across diverse languages. We address these challenges by leveraging the advanced capabilities of LLMs. Our approach employs a language representation strategy that applies hierarchical caption optimization and human instruction techniques to derive precise semantic information,. Subsequently, we incorporate a lightweight adapter and a cross-modal refiner to facilitate efficient feature alignment and interaction between LLMs and image features. LDGen reduces training time and enables zero-shot multilingual image generation. Experimental results indicate that our method surpasses baseline models in both prompt adherence and image aesthetic quality, while seamlessly supporting multiple languages. Project page: https://zrealli.github.io/LDGen.