DiffusionGPT: Система генерации изображений из текста на основе языковых моделей

DiffusionGPT: LLM-Driven Text-to-Image Generation System

January 18, 2024

Авторы: Jie Qin, Jie Wu, Weifeng Chen, Yuxi Ren, Huixia Li, Hefeng Wu, Xuefeng Xiao, Rui Wang, Shilei Wen

cs.AI

Аннотация

Диффузионные модели открыли новые горизонты в области генерации изображений, что привело к распространению высококачественных моделей на открытых платформах. Однако ключевая проблема современных систем текстового преобразования в изображения заключается в их неспособности обрабатывать разнообразные входные данные или ограничиваться результатами одной модели. Существующие унифицированные подходы часто сводятся к двум ортогональным аспектам: i) анализу разнообразных запросов на этапе ввода; ii) активации экспертной модели для вывода. Чтобы объединить лучшие черты обоих подходов, мы предлагаем DiffusionGPT, который использует большие языковые модели (LLM) для создания унифицированной системы генерации, способной бесшовно адаптироваться к различным типам запросов и интегрировать экспертные модели. DiffusionGPT строит доменно-специфичные деревья для различных генеративных моделей на основе априорных знаний. При получении входных данных LLM анализирует запрос и использует "Деревья мыслей" для выбора подходящей модели, тем самым смягчая ограничения на входные данные и обеспечивая выдающуюся производительность в различных областях. Кроме того, мы вводим базы данных преимуществ, где "Дерево мыслей" обогащается обратной связью от пользователей, что согласует процесс выбора модели с человеческими предпочтениями. Благодаря обширным экспериментам и сравнениям мы демонстрируем эффективность DiffusionGPT, подчеркивая его потенциал для расширения границ синтеза изображений в различных областях.

English

Diffusion models have opened up new avenues for the field of image generation, resulting in the proliferation of high-quality models shared on open-source platforms. However, a major challenge persists in current text-to-image systems are often unable to handle diverse inputs, or are limited to single model results. Current unified attempts often fall into two orthogonal aspects: i) parse Diverse Prompts in input stage; ii) activate expert model to output. To combine the best of both worlds, we propose DiffusionGPT, which leverages Large Language Models (LLM) to offer a unified generation system capable of seamlessly accommodating various types of prompts and integrating domain-expert models. DiffusionGPT constructs domain-specific Trees for various generative models based on prior knowledge. When provided with an input, the LLM parses the prompt and employs the Trees-of-Thought to guide the selection of an appropriate model, thereby relaxing input constraints and ensuring exceptional performance across diverse domains. Moreover, we introduce Advantage Databases, where the Tree-of-Thought is enriched with human feedback, aligning the model selection process with human preferences. Through extensive experiments and comparisons, we demonstrate the effectiveness of DiffusionGPT, showcasing its potential for pushing the boundaries of image synthesis in diverse domains.