UNIMO-G: Einheitliche Bildgenerierung durch multimodale bedingte Diffusion

UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion

January 24, 2024

Autoren: Wei Li, Xue Xu, Jiachen Liu, Xinyan Xiao

cs.AI

Zusammenfassung

Bestehende Text-zu-Bild-Diffusionsmodelle generieren hauptsächlich Bilder aus Textanweisungen. Die inhärente Kürze von textuellen Beschreibungen stellt jedoch Herausforderungen dar, wenn es darum geht, Bilder mit komplexen Details, wie spezifischen Entitäten oder Szenen, treu zu synthetisieren. Dieses Papier stellt UNIMO-G vor, ein einfaches multimodales bedingtes Diffusionsframework, das mit multimodalen Anweisungen arbeitet, die textuelle und visuelle Eingaben verschachteln, und eine einheitliche Fähigkeit für sowohl textgesteuerte als auch subjektgesteuerte Bildgenerierung demonstriert. UNIMO-G besteht aus zwei Kernkomponenten: einem Multimodalen Großen Sprachmodell (MLLM) zur Kodierung multimodaler Anweisungen und einem bedingten Denoising-Diffusionsnetzwerk zur Generierung von Bildern basierend auf der kodierten multimodalen Eingabe. Wir nutzen eine zweistufige Trainingsstrategie, um das Framework effektiv zu trainieren: zunächst Vorabtraining auf groß angelegten Text-Bild-Paaren, um bedingte Bildgenerierungsfähigkeiten zu entwickeln, und anschließend Instruktionsfeinabstimmung mit multimodalen Anweisungen, um eine einheitliche Bildgenerierungskompetenz zu erreichen. Eine gut durchdachte Datenverarbeitungspipeline, die Sprachverankerung und Bildsegmentierung umfasst, wird verwendet, um multimodale Anweisungen zu konstruieren. UNIMO-G zeichnet sich sowohl in der Text-zu-Bild-Generierung als auch in der Null-Shot-subjektgesteuerten Synthese aus und ist besonders effektiv bei der Generierung von hochwertigen Bildern aus komplexen multimodalen Anweisungen, die mehrere Bildentitäten beinhalten.

English

Existing text-to-image diffusion models primarily generate images from text prompts. However, the inherent conciseness of textual descriptions poses challenges in faithfully synthesizing images with intricate details, such as specific entities or scenes. This paper presents UNIMO-G, a simple multimodal conditional diffusion framework that operates on multimodal prompts with interleaved textual and visual inputs, which demonstrates a unified ability for both text-driven and subject-driven image generation. UNIMO-G comprises two core components: a Multimodal Large Language Model (MLLM) for encoding multimodal prompts, and a conditional denoising diffusion network for generating images based on the encoded multimodal input. We leverage a two-stage training strategy to effectively train the framework: firstly pre-training on large-scale text-image pairs to develop conditional image generation capabilities, and then instruction tuning with multimodal prompts to achieve unified image generation proficiency. A well-designed data processing pipeline involving language grounding and image segmentation is employed to construct multi-modal prompts. UNIMO-G excels in both text-to-image generation and zero-shot subject-driven synthesis, and is notably effective in generating high-fidelity images from complex multimodal prompts involving multiple image entities.