分割統治：言語モデルは計画と自己修正を行い、構成要素を考慮したテキストから画像生成を実現する

Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation

January 28, 2024

著者: Zhenyu Wang, Enze Xie, Aoxue Li, Zhongdao Wang, Xihui Liu, Zhenguo Li

cs.AI

要旨

テキストから画像を生成するモデルは大幅な進歩を遂げているものの、複雑なテキストプロンプトの文脈において、特にオブジェクトの属性や関係性を保持する際に、テキストプロンプトの画像に対する制御性を確保することに依然として苦戦しています。本論文では、大規模言語モデル（LLM）エージェントを中核とした、訓練不要の構成テキストから画像生成のためのアプローチ「CompAgent」を提案します。CompAgentの基本的なアイデアは、分割統治法に基づいています。オブジェクト、属性、関係性を含む複数の概念からなる複雑なテキストプロンプトが与えられると、LLMエージェントはまずそれを分解し、個々のオブジェクト、それに関連する属性、そして一貫したシーンレイアウトの予測を行います。これらの個々のオブジェクトは独立して征服されます。その後、エージェントはテキストを分析して推論を行い、計画を立て、これらの孤立したオブジェクトを構成するためのツールを利用します。検証と人間のフィードバックメカニズムが最終的にエージェントに組み込まれ、潜在的な属性エラーを修正し、生成された画像をさらに洗練します。LLMエージェントの指導のもと、我々は訓練不要のマルチコンセプトカスタマイズモデルとレイアウトから画像を生成するモデルをコンセプト構成のためのツールとして提案し、検証のためにエージェントと相互作用するためのローカル画像編集方法を提案します。シーンレイアウトは、これらのツール間で画像生成プロセスを制御し、複数のオブジェクト間の混乱を防ぎます。広範な実験により、我々のアプローチが構成テキストから画像生成において優れていることが示されています：CompAgentは、オープンワールドの構成T2I生成のための包括的なベンチマークであるT2I-CompBenchにおいて、10％以上の改善を達成しました。様々な関連タスクへの拡張も、CompAgentの潜在的な応用における柔軟性を示しています。

English

Despite significant advancements in text-to-image models for generating high-quality images, these methods still struggle to ensure the controllability of text prompts over images in the context of complex text prompts, especially when it comes to retaining object attributes and relationships. In this paper, we propose CompAgent, a training-free approach for compositional text-to-image generation, with a large language model (LLM) agent as its core. The fundamental idea underlying CompAgent is premised on a divide-and-conquer methodology. Given a complex text prompt containing multiple concepts including objects, attributes, and relationships, the LLM agent initially decomposes it, which entails the extraction of individual objects, their associated attributes, and the prediction of a coherent scene layout. These individual objects can then be independently conquered. Subsequently, the agent performs reasoning by analyzing the text, plans and employs the tools to compose these isolated objects. The verification and human feedback mechanism is finally incorporated into our agent to further correct the potential attribute errors and refine the generated images. Guided by the LLM agent, we propose a tuning-free multi-concept customization model and a layout-to-image generation model as the tools for concept composition, and a local image editing method as the tool to interact with the agent for verification. The scene layout controls the image generation process among these tools to prevent confusion among multiple objects. Extensive experiments demonstrate the superiority of our approach for compositional text-to-image generation: CompAgent achieves more than 10\% improvement on T2I-CompBench, a comprehensive benchmark for open-world compositional T2I generation. The extension to various related tasks also illustrates the flexibility of our CompAgent for potential applications.