Difusión Discreta Multimodal Unificada

Unified Multimodal Discrete Diffusion

March 26, 2025

Autores: Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki

cs.AI

Resumen

Los modelos generativos multimodales que pueden comprender y generar contenido a través de múltiples modalidades están dominados por enfoques autorregresivos (AR), que procesan tokens secuencialmente de izquierda a derecha o de arriba hacia abajo. Estos modelos manejan conjuntamente imágenes, texto, video y audio para diversas tareas, como la generación de subtítulos para imágenes, la respuesta a preguntas y la generación de imágenes. En este trabajo, exploramos los modelos de difusión discreta como una formulación generativa unificada en el dominio conjunto de texto e imágenes, basándonos en su reciente éxito en la generación de texto. Los modelos de difusión discreta ofrecen varias ventajas sobre los modelos AR, incluyendo un mayor control sobre la calidad versus la diversidad de las muestras generadas, la capacidad de realizar inpainting multimodal conjunto (en los dominios de texto e imágenes) y una mayor controlabilidad en la generación mediante guías. Aprovechando estos beneficios, presentamos el primer Modelo de Difusión Discreta Multimodal Unificado (UniDisc), que es capaz de comprender y generar conjuntamente texto e imágenes para una variedad de tareas posteriores. Comparamos UniDisc con modelos AR multimodales, realizando un análisis de escalabilidad y demostrando que UniDisc supera a estos en términos de rendimiento y cómputo en tiempo de inferencia, controlabilidad mejorada, capacidad de edición, inpainting y un equilibrio flexible entre el tiempo de inferencia y la calidad de la generación. El código y visualizaciones adicionales están disponibles en https://unidisc.github.io.

English

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.