UNIMO-G : Génération d’images unifiée par diffusion conditionnelle multimodale

UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion

January 24, 2024

Auteurs: Wei Li, Xue Xu, Jiachen Liu, Xinyan Xiao

cs.AI

Résumé

Les modèles de diffusion texte-image existants génèrent principalement des images à partir d'invites textuelles. Cependant, la concision inhérente des descriptions textuelles pose des défis pour synthétiser fidèlement des images avec des détails complexes, tels que des entités ou des scènes spécifiques. Cet article présente UNIMO-G, un cadre simple de diffusion conditionnelle multimodale qui fonctionne avec des invites multimodales combinant des entrées textuelles et visuelles, démontrant une capacité unifiée pour la génération d'images à la fois pilotée par le texte et par le sujet. UNIMO-G comprend deux composants principaux : un modèle de langage multimodal de grande envergure (MLLM) pour encoder les invites multimodales, et un réseau de diffusion de débruitage conditionnel pour générer des images à partir de l'entrée multimodale encodée. Nous utilisons une stratégie d'entraînement en deux étapes pour former efficacement le cadre : d'abord un pré-entraînement sur des paires texte-image à grande échelle pour développer des capacités de génération d'images conditionnelles, puis un réglage par instruction avec des invites multimodales pour atteindre une compétence unifiée en génération d'images. Un pipeline de traitement de données bien conçu, impliquant l'ancrage linguistique et la segmentation d'images, est utilisé pour construire des invites multimodales. UNIMO-G excelle à la fois dans la génération texte-image et dans la synthèse pilotée par le sujet en zero-shot, et est particulièrement efficace pour générer des images de haute fidélité à partir d'invites multimodales complexes impliquant plusieurs entités visuelles.

English

Existing text-to-image diffusion models primarily generate images from text prompts. However, the inherent conciseness of textual descriptions poses challenges in faithfully synthesizing images with intricate details, such as specific entities or scenes. This paper presents UNIMO-G, a simple multimodal conditional diffusion framework that operates on multimodal prompts with interleaved textual and visual inputs, which demonstrates a unified ability for both text-driven and subject-driven image generation. UNIMO-G comprises two core components: a Multimodal Large Language Model (MLLM) for encoding multimodal prompts, and a conditional denoising diffusion network for generating images based on the encoded multimodal input. We leverage a two-stage training strategy to effectively train the framework: firstly pre-training on large-scale text-image pairs to develop conditional image generation capabilities, and then instruction tuning with multimodal prompts to achieve unified image generation proficiency. A well-designed data processing pipeline involving language grounding and image segmentation is employed to construct multi-modal prompts. UNIMO-G excels in both text-to-image generation and zero-shot subject-driven synthesis, and is notably effective in generating high-fidelity images from complex multimodal prompts involving multiple image entities.