LDGen: Aprimorando a Síntese de Texto para Imagem por meio de Representação de Linguagem Orientada por Modelos de Linguagem de Grande Escala

LDGen: Enhancing Text-to-Image Synthesis via Large Language Model-Driven Language Representation

February 25, 2025

Autores: Pengzhi Li, Pengfei Yu, Zide Liu, Wei He, Xuhao Pan, Xudong Rao, Tao Wei, Wei Chen

cs.AI

Resumo

Neste artigo, apresentamos o LDGen, um método inovador para integrar modelos de linguagem de grande escala (LLMs) em modelos de difusão texto-imagem existentes, minimizando as demandas computacionais. Codificadores de texto tradicionais, como CLIP e T5, apresentam limitações no processamento multilíngue, dificultando a geração de imagens em diversos idiomas. Abordamos esses desafios aproveitando as capacidades avançadas dos LLMs. Nossa abordagem emprega uma estratégia de representação de linguagem que aplica otimização hierárquica de legendas e técnicas de instrução humana para extrair informações semânticas precisas. Posteriormente, incorporamos um adaptador leve e um refinador cross-modal para facilitar o alinhamento eficiente de características e a interação entre LLMs e características de imagem. O LDGen reduz o tempo de treinamento e permite a geração de imagens multilíngue zero-shot. Resultados experimentais indicam que nosso método supera os modelos de referência tanto na aderência ao prompt quanto na qualidade estética da imagem, enquanto suporta perfeitamente múltiplos idiomas. Página do projeto: https://zrealli.github.io/LDGen.

English

In this paper, we introduce LDGen, a novel method for integrating large language models (LLMs) into existing text-to-image diffusion models while minimizing computational demands. Traditional text encoders, such as CLIP and T5, exhibit limitations in multilingual processing, hindering image generation across diverse languages. We address these challenges by leveraging the advanced capabilities of LLMs. Our approach employs a language representation strategy that applies hierarchical caption optimization and human instruction techniques to derive precise semantic information,. Subsequently, we incorporate a lightweight adapter and a cross-modal refiner to facilitate efficient feature alignment and interaction between LLMs and image features. LDGen reduces training time and enables zero-shot multilingual image generation. Experimental results indicate that our method surpasses baseline models in both prompt adherence and image aesthetic quality, while seamlessly supporting multiple languages. Project page: https://zrealli.github.io/LDGen.