Divide y Vencerás: Los Modelos de Lenguaje Pueden Planificar y Autocorregirse para la Generación Composicional de Texto a Imagen

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Autores: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Resumen

A pesar de los avances significativos en los modelos de texto a imagen para generar imágenes de alta calidad, estos métodos aún tienen dificultades para garantizar la controlabilidad de las indicaciones textuales sobre las imágenes en el contexto de indicaciones complejas, especialmente cuando se trata de conservar los atributos y las relaciones de los objetos. En este artículo, proponemos CompAgent, un enfoque sin entrenamiento para la generación composicional de texto a imagen, con un agente de modelo de lenguaje grande (LLM) como núcleo. La idea fundamental detrás de CompAgent se basa en una metodología de divide y vencerás. Dada una indicación textual compleja que contiene múltiples conceptos, incluyendo objetos, atributos y relaciones, el agente LLM primero la descompone, lo que implica la extracción de objetos individuales, sus atributos asociados y la predicción de un diseño de escena coherente. Estos objetos individuales pueden luego ser abordados de manera independiente. Posteriormente, el agente realiza un razonamiento al analizar el texto, planifica y emplea herramientas para componer estos objetos aislados. Finalmente, se incorpora un mecanismo de verificación y retroalimentación humana en nuestro agente para corregir posibles errores de atributos y refinar las imágenes generadas. Guiado por el agente LLM, proponemos un modelo de personalización de múltiples conceptos sin ajuste y un modelo de generación de imagen a partir de diseño como herramientas para la composición de conceptos, y un método de edición local de imágenes como herramienta para interactuar con el agente para la verificación. El diseño de la escena controla el proceso de generación de imágenes entre estas herramientas para evitar confusiones entre múltiples objetos. Experimentos extensos demuestran la superioridad de nuestro enfoque para la generación composicional de texto a imagen: CompAgent logra una mejora de más del 10\% en T2I-CompBench, un punto de referencia integral para la generación composicional de T2I en mundo abierto. La extensión a varias tareas relacionadas también ilustra la flexibilidad de nuestro CompAgent para aplicaciones potenciales.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.