Diviser pour mieux régner : Les modèles de langage peuvent planifier et s'auto-corriger pour la génération compositionnelle d'images à partir de texte

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Auteurs: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Résumé

Malgré les avancées significatives des modèles de génération d'images à partir de texte pour produire des images de haute qualité, ces méthodes peinent encore à assurer la contrôlabilité des prompts textuels sur les images dans le contexte de prompts complexes, en particulier en ce qui concerne la conservation des attributs et des relations entre objets. Dans cet article, nous proposons CompAgent, une approche sans apprentissage pour la génération compositionnelle d'images à partir de texte, avec un agent de modèle de langage (LLM) comme élément central. L'idée fondamentale sous-jacente à CompAgent repose sur une méthodologie de division et de conquête. Étant donné un prompt textuel complexe contenant plusieurs concepts, y compris des objets, des attributs et des relations, l'agent LLM le décompose d'abord, ce qui implique l'extraction des objets individuels, de leurs attributs associés et la prédiction d'une disposition de scène cohérente. Ces objets individuels peuvent ensuite être traités indépendamment. Par la suite, l'agent effectue un raisonnement en analysant le texte, planifie et utilise des outils pour composer ces objets isolés. Un mécanisme de vérification et de retour d'information humaine est finalement intégré à notre agent pour corriger les erreurs potentielles d'attributs et affiner les images générées. Guidé par l'agent LLM, nous proposons un modèle de personnalisation multi-concepts sans réglage et un modèle de génération d'images à partir de disposition comme outils pour la composition de concepts, ainsi qu'une méthode d'édition locale d'images comme outil pour interagir avec l'agent pour la vérification. La disposition de la scène contrôle le processus de génération d'image parmi ces outils pour éviter la confusion entre plusieurs objets. Des expériences approfondies démontrent la supériorité de notre approche pour la génération compositionnelle d'images à partir de texte : CompAgent obtient une amélioration de plus de 10 % sur T2I-CompBench, un benchmark complet pour la génération compositionnelle T2I en monde ouvert. L'extension à diverses tâches connexes illustre également la flexibilité de notre CompAgent pour des applications potentielles.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.