Verdeel en Heers: Taalmodellen kunnen plannen en zelf corrigeren voor compositorische tekst-naar-beeldgeneratie

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Auteurs: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Samenvatting

Ondanks aanzienlijke vooruitgang in tekst-naar-beeldmodellen voor het genereren van hoogwaardige afbeeldingen, hebben deze methoden nog steeds moeite om de beheersbaarheid van tekstprompts over afbeeldingen te waarborgen in de context van complexe tekstprompts, vooral als het gaat om het behouden van objectattributen en -relaties. In dit artikel stellen we CompAgent voor, een trainingsvrije aanpak voor compositionele tekst-naar-beeldgeneratie, met een groot taalmodel (LLM) als kern. Het fundamentele idee achter CompAgent is gebaseerd op een verdeel-en-heersmethodologie. Gegeven een complexe tekstprompt die meerdere concepten bevat, waaronder objecten, attributen en relaties, deelt de LLM-agent deze eerst op, wat het extraheren van individuele objecten, hun bijbehorende attributen en het voorspellen van een samenhangende scène-indeling inhoudt. Deze individuele objecten kunnen vervolgens onafhankelijk worden verwerkt. Daarna voert de agent redenering uit door de tekst te analyseren, plant en gebruikt hij de tools om deze geïsoleerde objecten samen te stellen. Het verificatie- en menselijke feedbackmechanisme wordt uiteindelijk in onze agent geïntegreerd om mogelijke attribuutfouten verder te corrigeren en de gegenereerde afbeeldingen te verfijnen. Geleid door de LLM-agent stellen we een afstemmingsvrij multi-conceptaanpassingsmodel en een indeling-naar-beeldgeneratiemodel voor als de tools voor conceptcompositie, en een lokale beeldbewerkingsmethode als de tool om met de agent te interacteren voor verificatie. De scène-indeling controleert het beeldgeneratieproces tussen deze tools om verwarring tussen meerdere objecten te voorkomen. Uitgebreide experimenten tonen de superioriteit van onze aanpak voor compositionele tekst-naar-beeldgeneratie aan: CompAgent behaalt een verbetering van meer dan 10% op T2I-CompBench, een uitgebreide benchmark voor open-wereld compositionele T2I-generatie. De uitbreiding naar verschillende gerelateerde taken illustreert ook de flexibiliteit van onze CompAgent voor potentiële toepassingen.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.