SUR-адаптер: Улучшение предобученных диффузионных моделей для генерации изображений из текста с использованием крупных языковых моделей

SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models

May 9, 2023

Авторы: Shanshan Zhong, Zhongzhan Huang, Wushao Wen, Jinghui Qin, Liang Lin

cs.AI

Аннотация

Диффузионные модели, которые стали популярными моделями генерации изображений по тексту, способны создавать высококачественные и содержательные изображения на основе текстовых запросов. Однако существующие модели имеют ограничения в семантическом понимании и здравом смысле, когда входные запросы представляют собой краткие повествования, что приводит к генерации изображений низкого качества. Для улучшения способностей работы с повествовательными запросами мы предлагаем простой, но эффективный метод параметрически-эффективной тонкой настройки под названием адаптер семантического понимания и рассуждения (SUR-адаптер) для предобученных диффузионных моделей. Для достижения этой цели мы сначала собираем и аннотируем новый набор данных SURD, который состоит из более чем 57 000 семантически корректированных мультимодальных образцов. Каждый образец содержит простое повествовательное описание, сложный запрос на основе ключевых слов и высококачественное изображение. Затем мы выравниваем семантическое представление повествовательных запросов к сложным запросам и передаем знания крупных языковых моделей (LLM) в наш SUR-адаптер через дистилляцию знаний, чтобы он мог приобрести мощные способности семантического понимания и рассуждения для построения высококачественного текстового семантического представления для генерации изображений по тексту. Мы проводим эксперименты, интегрируя несколько LLM и популярные предобученные диффузионные модели, чтобы показать эффективность нашего подхода в обеспечении понимания и рассуждения диффузионными моделями краткого естественного языка без ухудшения качества изображений. Наш подход делает диффузионные модели генерации изображений по тексту более удобными в использовании с улучшенным пользовательским опытом, что демонстрирует потенциал нашего подхода для дальнейшего продвижения разработки удобных моделей генерации изображений по тексту, устраняя семантический разрыв между простыми повествовательными запросами и сложными запросами на основе ключевых слов.

English

Diffusion models, which have emerged to become popular text-to-image generation models, can produce high-quality and content-rich images guided by textual prompts. However, there are limitations to semantic understanding and commonsense reasoning in existing models when the input prompts are concise narrative, resulting in low-quality image generation. To improve the capacities for narrative prompts, we propose a simple-yet-effective parameter-efficient fine-tuning approach called the Semantic Understanding and Reasoning adapter (SUR-adapter) for pre-trained diffusion models. To reach this goal, we first collect and annotate a new dataset SURD which consists of more than 57,000 semantically corrected multi-modal samples. Each sample contains a simple narrative prompt, a complex keyword-based prompt, and a high-quality image. Then, we align the semantic representation of narrative prompts to the complex prompts and transfer knowledge of large language models (LLMs) to our SUR-adapter via knowledge distillation so that it can acquire the powerful semantic understanding and reasoning capabilities to build a high-quality textual semantic representation for text-to-image generation. We conduct experiments by integrating multiple LLMs and popular pre-trained diffusion models to show the effectiveness of our approach in enabling diffusion models to understand and reason concise natural language without image quality degradation. Our approach can make text-to-image diffusion models easier to use with better user experience, which demonstrates our approach has the potential for further advancing the development of user-friendly text-to-image generation models by bridging the semantic gap between simple narrative prompts and complex keyword-based prompts.