UNIMO-G: Унифицированная генерация изображений с использованием мультимодального условного диффузионного подхода

UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion

January 24, 2024

Авторы: Wei Li, Xue Xu, Jiachen Liu, Xinyan Xiao

cs.AI

Аннотация

Существующие диффузионные модели для генерации изображений из текста в основном создают изображения на основе текстовых запросов. Однако присущая текстовым описаниям краткость создает трудности в точном синтезе изображений с мелкими деталями, такими как конкретные объекты или сцены. В данной статье представлена UNIMO-G — простая мультимодальная условная диффузионная модель, работающая с мультимодальными запросами, включающими чередующиеся текстовые и визуальные входные данные, которая демонстрирует универсальные возможности как для текстовой, так и для объектно-ориентированной генерации изображений. UNIMO-G состоит из двух ключевых компонентов: мультимодальной крупной языковой модели (MLLM) для кодирования мультимодальных запросов и условной сети диффузионного шумоподавления для генерации изображений на основе закодированного мультимодального ввода. Мы используем двухэтапную стратегию обучения для эффективной тренировки модели: сначала предварительное обучение на больших наборах текстово-изобразительных пар для развития способностей условной генерации изображений, а затем тонкая настройка с использованием мультимодальных запросов для достижения универсального мастерства в генерации изображений. Для создания мультимодальных запросов применяется тщательно разработанный процесс обработки данных, включающий языковое заземление и сегментацию изображений. UNIMO-G превосходно справляется как с генерацией изображений из текста, так и с синтезом на основе объектов в условиях нулевого обучения, демонстрируя особенно высокую эффективность в создании высококачественных изображений из сложных мультимодальных запросов, включающих несколько визуальных объектов.

English

Existing text-to-image diffusion models primarily generate images from text prompts. However, the inherent conciseness of textual descriptions poses challenges in faithfully synthesizing images with intricate details, such as specific entities or scenes. This paper presents UNIMO-G, a simple multimodal conditional diffusion framework that operates on multimodal prompts with interleaved textual and visual inputs, which demonstrates a unified ability for both text-driven and subject-driven image generation. UNIMO-G comprises two core components: a Multimodal Large Language Model (MLLM) for encoding multimodal prompts, and a conditional denoising diffusion network for generating images based on the encoded multimodal input. We leverage a two-stage training strategy to effectively train the framework: firstly pre-training on large-scale text-image pairs to develop conditional image generation capabilities, and then instruction tuning with multimodal prompts to achieve unified image generation proficiency. A well-designed data processing pipeline involving language grounding and image segmentation is employed to construct multi-modal prompts. UNIMO-G excels in both text-to-image generation and zero-shot subject-driven synthesis, and is notably effective in generating high-fidelity images from complex multimodal prompts involving multiple image entities.