Разделяй и властвуй: языковые модели могут планировать и самокорректироваться для композиционной генерации изображений из текста

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Авторы: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Аннотация

Несмотря на значительные достижения в моделях генерации изображений из текста, обеспечивающих создание высококачественных изображений, эти методы по-прежнему сталкиваются с трудностями в обеспечении управляемости текстовых запросов над изображениями в контексте сложных текстовых подсказок, особенно когда речь идет о сохранении атрибутов объектов и их взаимосвязей. В данной статье мы предлагаем CompAgent, подход к композиционной генерации изображений из текста, не требующий обучения, с использованием крупной языковой модели (LLM) в качестве ядра. Основная идея CompAgent основана на методологии "разделяй и властвуй". При получении сложного текстового запроса, содержащего множество концепций, включая объекты, их атрибуты и взаимосвязи, LLM-агент сначала декомпозирует его, что включает извлечение отдельных объектов, их атрибутов и предсказание согласованной структуры сцены. Затем эти отдельные объекты могут быть независимо обработаны. После этого агент выполняет анализ текста, планирует и использует инструменты для композиции этих изолированных объектов. Механизм проверки и обратной связи от пользователя интегрирован в нашего агента для дальнейшего исправления потенциальных ошибок атрибутов и улучшения сгенерированных изображений. Под руководством LLM-агента мы предлагаем модель настройки без обучения для многоконцептуальной кастомизации и модель генерации изображений на основе структуры в качестве инструментов для композиции концепций, а также метод локального редактирования изображений в качестве инструмента для взаимодействия с агентом для проверки. Структура сцены управляет процессом генерации изображений среди этих инструментов, чтобы предотвратить путаницу между множеством объектов. Многочисленные эксперименты демонстрируют превосходство нашего подхода для композиционной генерации изображений из текста: CompAgent достигает улучшения более чем на 10% на T2I-CompBench, комплексном бенчмарке для композиционной генерации изображений из текста в открытом мире. Расширение на различные связанные задачи также иллюстрирует гибкость нашего CompAgent для потенциальных применений.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.