DiffusionGPT: LLM-gesteuertes Text-zu-Bild-Generierungssystem

DiffusionGPT: LLM-Driven Text-to-Image Generation System

January 18, 2024

Autoren: Jie Qin, Jie Wu, Weifeng Chen, Yuxi Ren, Huixia Li, Hefeng Wu, Xuefeng Xiao, Rui Wang, Shilei Wen

cs.AI

Zusammenfassung

Diffusionsmodelle haben neue Wege für das Feld der Bildgenerierung eröffnet, was zu einer Verbreitung hochwertiger Modelle auf Open-Source-Plattformen geführt hat. Allerdings besteht nach wie vor eine große Herausforderung darin, dass aktuelle Text-zu-Bild-Systeme oft nicht in der Lage sind, vielfältige Eingaben zu verarbeiten, oder auf Ergebnisse eines einzelnen Modells beschränkt sind. Aktuelle vereinheitlichte Ansätze fallen oft in zwei orthogonale Aspekte: i) die Analyse vielfältiger Eingabeaufforderungen (Prompts) im Eingabestadium; ii) die Aktivierung von Expertenmodellen für die Ausgabe. Um das Beste aus beiden Welten zu kombinieren, schlagen wir DiffusionGPT vor, das Large Language Models (LLM) nutzt, um ein einheitliches Generierungssystem zu bieten, das nahtlos verschiedene Arten von Prompts aufnehmen und domänenspezifische Expertenmodelle integrieren kann. DiffusionGPT konstruiert domänenspezifische Bäume für verschiedene generative Modelle basierend auf Vorwissen. Bei einer Eingabe analysiert das LLM den Prompt und verwendet die Trees-of-Thought, um die Auswahl eines geeigneten Modells zu steuern, wodurch Eingabebeschränkungen gelockert und eine außergewöhnliche Leistung über verschiedene Domänen hinweg sichergestellt wird. Darüber hinaus führen wir Advantage Databases ein, in denen der Tree-of-Thought mit menschlichem Feedback angereichert wird, um den Modellauswahlprozess an menschliche Präferenzen anzupassen. Durch umfangreiche Experimente und Vergleiche demonstrieren wir die Wirksamkeit von DiffusionGPT und zeigen sein Potenzial auf, die Grenzen der Bildsynthese in verschiedenen Domänen zu erweitern.

English

Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.