ELLA: Equipar Modelos de Difusión con LLM para una Mejor Alineación Semántica

ELLA: Equip Diffusion Models with LLM for Enhanced Semantic Alignment

March 8, 2024

Autores: Xiwei Hu, Rui Wang, Yixiao Fang, Bin Fu, Pei Cheng, Gang Yu

cs.AI

Resumen

Los modelos de difusión han demostrado un rendimiento notable en el dominio de la generación de texto a imagen. Sin embargo, la mayoría de los modelos ampliamente utilizados aún emplean CLIP como su codificador de texto, lo que limita su capacidad para comprender instrucciones densas, que abarcan múltiples objetos, atributos detallados, relaciones complejas, alineación de texto largo, etc. En este artículo, presentamos un Adaptador Eficiente de Modelos de Lenguaje Grande, denominado ELLA, que equipa a los modelos de difusión de texto a imagen con potentes Modelos de Lenguaje Grande (LLM) para mejorar la alineación del texto sin necesidad de entrenar ni la U-Net ni el LLM. Para conectar de manera fluida dos modelos preentrenados, investigamos una variedad de diseños de conectores de alineación semántica y proponemos un nuevo módulo, el Conector Semántico Consciente del Paso de Tiempo (TSC), que extrae dinámicamente condiciones dependientes del paso de tiempo del LLM. Nuestro enfoque adapta las características semánticas en diferentes etapas del proceso de eliminación de ruido, ayudando a los modelos de difusión a interpretar instrucciones largas y complejas a lo largo de los pasos de muestreo. Además, ELLA puede integrarse fácilmente con modelos y herramientas de la comunidad para mejorar sus capacidades de seguimiento de instrucciones. Para evaluar los modelos de texto a imagen en el seguimiento de instrucciones densas, presentamos el Benchmark de Gráficos de Instrucciones Densas (DPG-Bench), un punto de referencia desafiante que consta de 1K instrucciones densas. Experimentos extensos demuestran la superioridad de ELLA en el seguimiento de instrucciones densas en comparación con los métodos más avanzados, particularmente en composiciones de múltiples objetos que involucran diversos atributos y relaciones.

English

Diffusion models have demonstrated remarkable performance in the domain of text-to-image generation. However, most widely used models still employ CLIP as their text encoder, which constrains their ability to comprehend dense prompts, encompassing multiple objects, detailed attributes, complex relationships, long-text alignment, etc. In this paper, we introduce an Efficient Large Language Model Adapter, termed ELLA, which equips text-to-image diffusion models with powerful Large Language Models (LLM) to enhance text alignment without training of either U-Net or LLM. To seamlessly bridge two pre-trained models, we investigate a range of semantic alignment connector designs and propose a novel module, the Timestep-Aware Semantic Connector (TSC), which dynamically extracts timestep-dependent conditions from LLM. Our approach adapts semantic features at different stages of the denoising process, assisting diffusion models in interpreting lengthy and intricate prompts over sampling timesteps. Additionally, ELLA can be readily incorporated with community models and tools to improve their prompt-following capabilities. To assess text-to-image models in dense prompt following, we introduce Dense Prompt Graph Benchmark (DPG-Bench), a challenging benchmark consisting of 1K dense prompts. Extensive experiments demonstrate the superiority of ELLA in dense prompt following compared to state-of-the-art methods, particularly in multiple object compositions involving diverse attributes and relationships.