Divide et Impera: I Modelli Linguistici Possono Pianificare e Autocorreggersi per la Generazione Composizionale di Immagini da Testo

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

Autori: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

Abstract

Nonostante i significativi progressi nei modelli di generazione di immagini da testo per la creazione di immagini di alta qualità, questi metodi continuano a incontrare difficoltà nel garantire la controllabilità dei prompt testuali sulle immagini nel contesto di prompt complessi, specialmente quando si tratta di preservare attributi e relazioni tra oggetti. In questo articolo, proponiamo CompAgent, un approccio senza addestramento per la generazione composizionale di immagini da testo, con un agente basato su un modello linguistico di grandi dimensioni (LLM) come nucleo centrale. L'idea fondamentale alla base di CompAgent si basa su una metodologia divide et impera. Dato un prompt testuale complesso contenente più concetti, inclusi oggetti, attributi e relazioni, l'agente LLM lo scompone inizialmente, estraendo i singoli oggetti, i loro attributi associati e prevedendo una disposizione coerente della scena. Questi oggetti individuali possono quindi essere conquistati in modo indipendente. Successivamente, l'agente esegue un ragionamento analizzando il testo, pianifica e utilizza strumenti per comporre questi oggetti isolati. Infine, un meccanismo di verifica e feedback umano viene integrato nel nostro agente per correggere eventuali errori negli attributi e affinare le immagini generate. Guidato dall'agente LLM, proponiamo un modello di personalizzazione multi-concetto senza sintonizzazione e un modello di generazione di immagini da layout come strumenti per la composizione dei concetti, oltre a un metodo di editing locale delle immagini come strumento per interagire con l'agente per la verifica. La disposizione della scena controlla il processo di generazione delle immagini tra questi strumenti per prevenire confusione tra più oggetti. Esperimenti estensivi dimostrano la superiorità del nostro approccio per la generazione composizionale di immagini da testo: CompAgent ottiene un miglioramento superiore al 10% su T2I-CompBench, un benchmark completo per la generazione composizionale di immagini da testo in contesti aperti. L'estensione a varie attività correlate illustra inoltre la flessibilità del nostro CompAgent per potenziali applicazioni.

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.