ELLA: Оборудование моделей диффузии LLM для улучшенного семантического выравнивания

ELLA: Equip Diffusion Models with LLM for Enhanced Semantic Alignment

March 8, 2024

Авторы: Xiwei Hu, Rui Wang, Yixiao Fang, Bin Fu, Pei Cheng, Gang Yu

cs.AI

Аннотация

Модели диффузии продемонстрировали выдающуюся производительность в области генерации текста в изображения. Однако большинство широко используемых моделей все еще используют CLIP в качестве своего текстового кодировщика, что ограничивает их способность понимать плотные подсказки, охватывающие несколько объектов, детальные атрибуты, сложные отношения, выравнивание длинных текстов и т. д. В данной статье мы представляем Эффективный Большой Адаптер Языковой Модели, обозначенный как ELLA, который оснащает модели диффузии текста в изображение мощными Большими Языковыми Моделями (LLM) для улучшения выравнивания текста без обучения как U-Net, так и LLM. Для плавного соединения двух предварительно обученных моделей мы исследуем ряд конструкций семантического соединителя и предлагаем новый модуль, Соединитель Семантики С Осознанием Времени (TSC), который динамически извлекает временно-зависимые условия из LLM. Наш подход адаптирует семантические признаки на различных этапах процесса устранения шума, помогая моделям диффузии интерпретировать длинные и сложные подсказки на протяжении временных отсчетов. Кроме того, ELLA может легко интегрироваться с моделями и инструментами сообщества для улучшения их способностей следовать за подсказками. Для оценки моделей текста в изображение при плотном следовании за подсказками мы представляем Бенчмарк Графа Плотных Подсказок (DPG-Bench), сложный бенчмарк, состоящий из 1K плотных подсказок. Обширные эксперименты демонстрируют превосходство ELLA в плотном следовании за подсказками по сравнению с современными методами, особенно в случае составления нескольких объектов, включающих разнообразные атрибуты и отношения.

English

Diffusion models have demonstrated remarkable performance in the domain of text-to-image generation. However, most widely used models still employ CLIP as their text encoder, which constrains their ability to comprehend dense prompts, encompassing multiple objects, detailed attributes, complex relationships, long-text alignment, etc. In this paper, we introduce an Efficient Large Language Model Adapter, termed ELLA, which equips text-to-image diffusion models with powerful Large Language Models (LLM) to enhance text alignment without training of either U-Net or LLM. To seamlessly bridge two pre-trained models, we investigate a range of semantic alignment connector designs and propose a novel module, the Timestep-Aware Semantic Connector (TSC), which dynamically extracts timestep-dependent conditions from LLM. Our approach adapts semantic features at different stages of the denoising process, assisting diffusion models in interpreting lengthy and intricate prompts over sampling timesteps. Additionally, ELLA can be readily incorporated with community models and tools to improve their prompt-following capabilities. To assess text-to-image models in dense prompt following, we introduce Dense Prompt Graph Benchmark (DPG-Bench), a challenging benchmark consisting of 1K dense prompts. Extensive experiments demonstrate the superiority of ELLA in dense prompt following compared to state-of-the-art methods, particularly in multiple object compositions involving diverse attributes and relationships.