DiffusionGPT: LLM 기반 텍스트-이미지 생성 시스템

DiffusionGPT: LLM-Driven Text-to-Image Generation System

January 18, 2024

저자: Jie Qin, Jie Wu, Weifeng Chen, Yuxi Ren, Huixia Li, Hefeng Wu, Xuefeng Xiao, Rui Wang, Shilei Wen

cs.AI

초록

디퓨전 모델은 이미지 생성 분야에 새로운 가능성을 열어주며, 오픈소스 플랫폼에서 공유되는 고품질 모델의 확산을 이끌어왔습니다. 그러나 현재의 텍스트-이미지 시스템은 다양한 입력을 처리하지 못하거나 단일 모델 결과에 국한되는 주요한 문제를 여전히 안고 있습니다. 현재의 통합적 시도는 주로 두 가지 직교적인 측면에 머물러 있습니다: i) 입력 단계에서 다양한 프롬프트를 파싱하는 것; ii) 전문가 모델을 활성화하여 출력을 생성하는 것. 이 두 가지 장점을 결합하기 위해, 우리는 다양한 유형의 프롬프트를 원활하게 수용하고 도메인 전문가 모델을 통합할 수 있는 통합 생성 시스템을 제공하는 DiffusionGPT를 제안합니다. DiffusionGPT는 사전 지식을 기반으로 다양한 생성 모델을 위한 도메인 특화 트리를 구성합니다. 입력이 제공되면, 대형 언어 모델(LLM)이 프롬프트를 파싱하고 Tree-of-Thought를 활용하여 적절한 모델을 선택하도록 안내함으로써 입력 제약을 완화하고 다양한 도메인에서 탁월한 성능을 보장합니다. 더 나아가, 우리는 Tree-of-Thought가 인간의 피드백으로 풍부해지는 Advantage Databases를 도입하여 모델 선택 과정을 인간의 선호에 맞춥니다. 광범위한 실험과 비교를 통해, 우리는 DiffusionGPT의 효과성을 입증하고 다양한 도메인에서 이미지 합성의 한계를 넓힐 수 있는 잠재력을 보여줍니다.

English

Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.