Teile und Herrsche: Sprachmodelle können planen und sich selbst korrigieren für die kompositionelle Text-zu-Bild-Generierung

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Autoren: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Zusammenfassung

Trotz bedeutender Fortschritte bei Text-zu-Bild-Modellen zur Erzeugung hochwertiger Bilder haben diese Methoden nach wie vor Schwierigkeiten, die Steuerbarkeit von Textprompts über Bilder im Kontext komplexer Textanweisungen sicherzustellen, insbesondere wenn es darum geht, Objektattribute und -beziehungen beizubehalten. In diesem Artikel stellen wir CompAgent vor, einen trainingsfreien Ansatz für die kompositionelle Text-zu-Bild-Generierung, der einen großen Sprachmodell-Agenten (LLM) als Kernkomponente nutzt. Die grundlegende Idee von CompAgent basiert auf einer Divide-and-Conquer-Methodik. Bei einem komplexen Textprompt, der mehrere Konzepte wie Objekte, Attribute und Beziehungen enthält, zerlegt der LLM-Agent diesen zunächst, was die Extraktion einzelner Objekte, ihrer zugehörigen Attribute und die Vorhersage eines kohärenten Szenenlayouts umfasst. Diese einzelnen Objekte können dann unabhängig voneinander bearbeitet werden. Anschließend führt der Agent eine Analyse des Textes durch, plant den Einsatz von Werkzeugen und setzt diese ein, um die isolierten Objekte zu kombinieren. Ein Verifizierungs- und Feedback-Mechanismus wird schließlich in unseren Agenten integriert, um potenzielle Attributfehler zu korrigieren und die generierten Bilder weiter zu verfeinern. Unter der Anleitung des LLM-Agenten schlagen wir ein abstimmungsfreies Multi-Konzept-Anpassungsmodell und ein Layout-zu-Bild-Generierungsmodell als Werkzeuge für die Konzeptkomposition vor sowie eine lokale Bildbearbeitungsmethode als Werkzeug zur Interaktion mit dem Agenten zur Verifizierung. Das Szenenlayout steuert den Bildgenerierungsprozess zwischen diesen Werkzeugen, um Verwirrung zwischen mehreren Objekten zu vermeiden. Umfangreiche Experimente demonstrieren die Überlegenheit unseres Ansatzes für die kompositionelle Text-zu-Bild-Generierung: CompAgent erzielt eine Verbesserung von mehr als 10 % auf T2I-CompBench, einem umfassenden Benchmark für die offene kompositionelle Text-zu-Bild-Generierung. Die Erweiterung auf verschiedene verwandte Aufgaben zeigt auch die Flexibilität unseres CompAgent für potenzielle Anwendungen.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.