ELLA: Uitrusting van Diffusiemodellen met LLM voor Verbeterde Semantische Afstemming

ELLA: Equip Diffusion Models with LLM for Enhanced Semantic Alignment

March 8, 2024

Auteurs: Xiwei Hu, Rui Wang, Yixiao Fang, Bin Fu, Pei Cheng, Gang Yu

cs.AI

Samenvatting

Diffusiemodellen hebben opmerkelijke prestaties geleverd op het gebied van tekst-naar-beeldgeneratie. De meeste veelgebruikte modellen maken echter nog steeds gebruik van CLIP als hun tekstencoder, wat hun vermogen beperkt om uitgebreide prompts te begrijpen, zoals meerdere objecten, gedetailleerde attributen, complexe relaties, lange tekstalignering, enz. In dit artikel introduceren we een Efficient Large Language Model Adapter, genaamd ELLA, die tekst-naar-beeld diffusiemodellen uitrust met krachtige Large Language Models (LLM) om tekstalignering te verbeteren zonder training van U-Net of LLM. Om twee vooraf getrainde modellen naadloos te verbinden, onderzoeken we een reeks ontwerpen voor semantische aligneringsconnectoren en introduceren we een nieuwe module, de Timestep-Aware Semantic Connector (TSC), die dynamisch tijdsafhankelijke condities uit LLM extraheert. Onze aanpak past semantische kenmerken aan in verschillende fasen van het denoisingsproces, waardoor diffusiemodellen worden geholpen bij het interpreteren van lange en ingewikkelde prompts over samplingtijdstappen. Daarnaast kan ELLA eenvoudig worden geïntegreerd met communitymodellen en -tools om hun promptvolgcapaciteiten te verbeteren. Om tekst-naar-beeldmodellen te evalueren in het volgen van uitgebreide prompts, introduceren we het Dense Prompt Graph Benchmark (DPG-Bench), een uitdagende benchmark bestaande uit 1K uitgebreide prompts. Uitgebreide experimenten tonen de superioriteit van ELLA aan in het volgen van uitgebreide prompts in vergelijking met state-of-the-art methoden, met name in composities van meerdere objecten met diverse attributen en relaties.

English

Diffusion models have demonstrated remarkable performance in the domain of text-to-image generation. However, most widely used models still employ CLIP as their text encoder, which constrains their ability to comprehend dense prompts, encompassing multiple objects, detailed attributes, complex relationships, long-text alignment, etc. In this paper, we introduce an Efficient Large Language Model Adapter, termed ELLA, which equips text-to-image diffusion models with powerful Large Language Models (LLM) to enhance text alignment without training of either U-Net or LLM. To seamlessly bridge two pre-trained models, we investigate a range of semantic alignment connector designs and propose a novel module, the Timestep-Aware Semantic Connector (TSC), which dynamically extracts timestep-dependent conditions from LLM. Our approach adapts semantic features at different stages of the denoising process, assisting diffusion models in interpreting lengthy and intricate prompts over sampling timesteps. Additionally, ELLA can be readily incorporated with community models and tools to improve their prompt-following capabilities. To assess text-to-image models in dense prompt following, we introduce Dense Prompt Graph Benchmark (DPG-Bench), a challenging benchmark consisting of 1K dense prompts. Extensive experiments demonstrate the superiority of ELLA in dense prompt following compared to state-of-the-art methods, particularly in multiple object compositions involving diverse attributes and relationships.