Difusão Discreta Multimodal Unificada

Unified Multimodal Discrete Diffusion

March 26, 2025

Autores: Alexander Swerdlow, Mihir Prabhudesai, Siddharth Gandhi, Deepak Pathak, Katerina Fragkiadaki

cs.AI

Resumo

Modelos generativos multimodais que podem compreender e gerar conteúdo em múltiplas modalidades são predominantemente baseados em abordagens autoregressivas (AR), que processam tokens sequencialmente da esquerda para a direita ou de cima para baixo. Esses modelos lidam conjuntamente com imagens, texto, vídeo e áudio para diversas tarefas, como legendagem de imagens, resposta a perguntas e geração de imagens. Neste trabalho, exploramos modelos de difusão discreta como uma formulação generativa unificada no domínio conjunto de texto e imagem, construindo sobre seu sucesso recente na geração de texto. Modelos de difusão discreta oferecem várias vantagens em relação aos modelos AR, incluindo maior controle sobre a qualidade versus diversidade das amostras geradas, a capacidade de realizar preenchimento multimodal conjunto (em ambos os domínios de texto e imagem) e maior controlabilidade na geração por meio de orientação. Aproveitando esses benefícios, apresentamos o primeiro Modelo de Difusão Discreta Multimodal Unificado (UniDisc), capaz de compreender e gerar conjuntamente texto e imagens para uma variedade de tarefas subsequentes. Comparamos o UniDisc a modelos AR multimodais, realizando uma análise de escalabilidade e demonstrando que o UniDisc supera esses modelos em termos de desempenho e computação no tempo de inferência, além de maior controlabilidade, editabilidade, preenchimento e flexibilidade na troca entre tempo de inferência e qualidade de geração. Código e visualizações adicionais estão disponíveis em https://unidisc.github.io.

English

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.