Diffusione Discreta Multimodale Unificata

Unified Multimodal Discrete Diffusion

March 26, 2025

Autori: Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki

cs.AI

Abstract

I modelli generativi multimodali in grado di comprendere e generare contenuti attraverso più modalità sono dominati da approcci autoregressivi (AR), che elaborano i token in sequenza da sinistra a destra o dall'alto verso il basso. Questi modelli gestiscono congiuntamente immagini, testo, video e audio per varie attività come la descrizione di immagini, il question answering e la generazione di immagini. In questo lavoro, esploriamo i modelli di diffusione discreta come una formulazione generativa unificata nel dominio congiunto di testo e immagini, basandoci sul loro recente successo nella generazione di testo. I modelli di diffusione discreta offrono diversi vantaggi rispetto ai modelli AR, tra cui un migliore controllo sulla qualità rispetto alla diversità dei campioni generati, la capacità di eseguire inpainting multimodale congiunto (sia nel dominio del testo che delle immagini) e una maggiore controllabilità nella generazione attraverso la guida. Sfruttando questi vantaggi, presentiamo il primo modello Unified Multimodal Discrete Diffusion (UniDisc) in grado di comprendere e generare congiuntamente testo e immagini per una varietà di task downstream. Confrontiamo UniDisc con i modelli AR multimodali, eseguendo un'analisi di scalabilità e dimostrando che UniDisc li supera in termini di prestazioni, calcolo al momento dell'inferenza, controllabilità migliorata, editabilità, inpainting e flessibilità nel compromesso tra tempo di inferenza e qualità della generazione. Il codice e ulteriori visualizzazioni sono disponibili all'indirizzo https://unidisc.github.io.

English

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.