DiffusionGPT: LLM駆動型テキストから画像生成システム

要旨

拡散モデルは画像生成の分野に新たな可能性を開き、オープンソースプラットフォームで共有される高品質なモデルの普及をもたらしました。しかし、現在のテキストから画像への生成システムでは、多様な入力を扱えない、または単一のモデル結果に限定されるという大きな課題が残っています。現在の統一的な試みは、主に二つの直交する側面に分かれています：i) 入力段階で多様なプロンプトを解析する、ii) 専門家モデルを起動して出力する。これら両方の利点を組み合わせるため、私たちはDiffusionGPTを提案します。これは大規模言語モデル（LLM）を活用し、様々なタイプのプロンプトをシームレスに受け入れ、ドメイン専門家モデルを統合できる統一生成システムを提供します。DiffusionGPTは、事前知識に基づいて様々な生成モデルのためのドメイン固有のツリーを構築します。入力が与えられると、LLMはプロンプトを解析し、思考の木（Trees-of-Thought）を活用して適切なモデルを選択するため、入力制約を緩和し、多様なドメインで優れたパフォーマンスを保証します。さらに、私たちはアドバンテージデータベースを導入し、思考の木に人間のフィードバックを加えることで、モデル選択プロセスを人間の好みに合わせます。広範な実験と比較を通じて、DiffusionGPTの有効性を実証し、多様なドメインにおける画像合成の限界を押し広げる可能性を示します。

English

Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.

DiffusionGPT: LLM駆動型テキストから画像生成システム

DiffusionGPT: LLM-Driven Text-to-Image Generation System

要旨

Support