Dividir e Conquistar: Modelos de Linguagem Podem Planejar e Auto-Corrigir para Geração Composicional de Texto para Imagem

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Autores: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Resumo

Apesar dos avanços significativos nos modelos de texto-para-imagem para geração de imagens de alta qualidade, esses métodos ainda enfrentam dificuldades para garantir a controlabilidade das instruções de texto sobre as imagens no contexto de instruções complexas, especialmente quando se trata de reter atributos e relações de objetos. Neste artigo, propomos o CompAgent, uma abordagem livre de treinamento para geração composicional de texto-para-imagem, com um agente de modelo de linguagem de grande escala (LLM) como núcleo. A ideia fundamental por trás do CompAgent baseia-se em uma metodologia de dividir e conquistar. Dada uma instrução de texto complexa contendo múltiplos conceitos, incluindo objetos, atributos e relações, o agente LLM inicialmente a decompõe, o que envolve a extração de objetos individuais, seus atributos associados e a previsão de um layout de cena coerente. Esses objetos individuais podem então ser conquistados de forma independente. Posteriormente, o agente realiza raciocínio ao analisar o texto, planeja e emprega ferramentas para compor esses objetos isolados. O mecanismo de verificação e feedback humano é finalmente incorporado ao nosso agente para corrigir possíveis erros de atributos e refinar as imagens geradas. Guiado pelo agente LLM, propomos um modelo de personalização de múltiplos conceitos sem ajuste e um modelo de geração de layout-para-imagem como ferramentas para composição de conceitos, além de um método de edição local de imagens como ferramenta para interagir com o agente para verificação. O layout da cena controla o processo de geração de imagens entre essas ferramentas para evitar confusão entre múltiplos objetos. Experimentos extensivos demonstram a superioridade de nossa abordagem para geração composicional de texto-para-imagem: o CompAgent alcança uma melhoria de mais de 10% no T2I-CompBench, um benchmark abrangente para geração composicional de T2I em mundo aberto. A extensão para várias tarefas relacionadas também ilustra a flexibilidade do nosso CompAgent para aplicações potenciais.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.