DiffusionGPT: Sistema di Generazione di Immagini da Testo Guidato da LLM

DiffusionGPT: LLM-Driven Text-to-Image Generation System

January 18, 2024

Autori: Jie Qin, Jie Wu, Weifeng Chen, Yuxi Ren, Huixia Li, Hefeng Wu, Xuefeng Xiao, Rui Wang, Shilei Wen

cs.AI

Abstract

I modelli di diffusione hanno aperto nuove strade nel campo della generazione di immagini, portando alla proliferazione di modelli di alta qualità condivisi su piattaforme open-source. Tuttavia, una sfida significativa persiste nei sistemi attuali di generazione da testo a immagine, che spesso non sono in grado di gestire input diversificati o sono limitati ai risultati di un singolo modello. I tentativi attuali di unificazione spesso ricadono in due aspetti ortogonali: i) analizzare prompt diversificati nella fase di input; ii) attivare modelli esperti per l'output. Per combinare il meglio di entrambi gli approcci, proponiamo DiffusionGPT, che sfrutta i Large Language Models (LLM) per offrire un sistema di generazione unificato in grado di accogliere senza soluzione di continuità vari tipi di prompt e integrare modelli esperti di dominio. DiffusionGPT costruisce alberi specifici per dominio per vari modelli generativi basandosi su conoscenze pregresse. Quando viene fornito un input, l'LLM analizza il prompt e utilizza gli alberi di pensiero (Trees-of-Thought) per guidare la selezione di un modello appropriato, rilassando così i vincoli di input e garantendo prestazioni eccezionali in diversi domini. Inoltre, introduciamo i Database di Vantaggio, in cui l'albero di pensiero è arricchito con feedback umano, allineando il processo di selezione del modello alle preferenze umane. Attraverso esperimenti e confronti estesi, dimostriamo l'efficacia di DiffusionGPT, evidenziando il suo potenziale per spingere i confini della sintesi di immagini in diversi domini.

English

Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.