Diffusion Discrète Multimodale Unifiée

Unified Multimodal Discrete Diffusion

March 26, 2025

Auteurs: Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki

cs.AI

Résumé

Les modèles génératifs multimodaux capables de comprendre et de générer des contenus à travers plusieurs modalités sont principalement dominés par les approches autorégressives (AR), qui traitent les tokens de manière séquentielle, de gauche à droite ou de haut en bas. Ces modèles gèrent conjointement des images, du texte, des vidéos et de l'audio pour diverses tâches telles que la génération de légendes d'images, la réponse à des questions et la génération d'images. Dans ce travail, nous explorons les modèles de diffusion discrets comme une formulation générative unifiée dans le domaine conjoint du texte et de l'image, en nous appuyant sur leur récent succès dans la génération de texte. Les modèles de diffusion discrets offrent plusieurs avantages par rapport aux modèles AR, notamment un meilleur contrôle sur la qualité par rapport à la diversité des échantillons générés, la capacité à effectuer un inpainting multimodal conjoint (à la fois dans les domaines du texte et de l'image), et une plus grande contrôlabilité dans la génération grâce à des mécanismes de guidage. En tirant parti de ces avantages, nous présentons le premier modèle de Diffusion Discrète Multimodale Unifiée (UniDisc) capable de comprendre et de générer conjointement du texte et des images pour une variété de tâches en aval. Nous comparons UniDisc aux modèles AR multimodaux, en effectuant une analyse d'échelle et en démontrant qu'UniDisc les surpasse en termes de performance, de calcul au moment de l'inférence, de contrôlabilité accrue, d'éditabilité, d'inpainting et de compromis flexible entre le temps d'inférence et la qualité de génération. Le code et des visualisations supplémentaires sont disponibles à l'adresse https://unidisc.github.io.

English

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.