DiffusionGPT: Sistema de Generación de Texto a Imagen Impulsado por LLM

DiffusionGPT: LLM-Driven Text-to-Image Generation System

January 18, 2024

Autores: Jie Qin, Jie Wu, Weifeng Chen, Yuxi Ren, Huixia Li, Hefeng Wu, Xuefeng Xiao, Rui Wang, Shilei Wen

cs.AI

Resumen

Los modelos de difusión han abierto nuevos caminos en el campo de la generación de imágenes, lo que ha resultado en la proliferación de modelos de alta calidad compartidos en plataformas de código abierto. Sin embargo, un desafío importante persiste en los sistemas actuales de texto a imagen, que a menudo no pueden manejar entradas diversas o se limitan a resultados de un solo modelo. Los intentos actuales de unificación suelen caer en dos aspectos ortogonales: i) analizar *Diverse Prompts* en la etapa de entrada; ii) activar un modelo experto para la salida. Para combinar lo mejor de ambos enfoques, proponemos DiffusionGPT, que aprovecha los Modelos de Lenguaje de Gran Escala (LLM) para ofrecer un sistema de generación unificado capaz de acomodar sin problemas diversos tipos de indicaciones e integrar modelos expertos en dominios específicos. DiffusionGPT construye Árboles específicos de dominio para varios modelos generativos basados en conocimiento previo. Al recibir una entrada, el LLM analiza la indicación y emplea los Árboles de Pensamiento para guiar la selección de un modelo apropiado, relajando así las restricciones de entrada y asegurando un rendimiento excepcional en diversos dominios. Además, introducimos Bases de Datos de Ventaja, donde el Árbol de Pensamiento se enriquece con retroalimentación humana, alineando el proceso de selección de modelos con las preferencias humanas. A través de extensos experimentos y comparaciones, demostramos la efectividad de DiffusionGPT, destacando su potencial para impulsar los límites de la síntesis de imágenes en diversos dominios.

English

Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.