Унифицированное мультимодальное дискретное диффузионное моделирование

Аннотация

Многомодальные генеративные модели, способные понимать и генерировать данные в различных модальностях, в основном представлены авторегрессивными (AR) подходами, которые обрабатывают токены последовательно слева направо или сверху вниз. Эти модели совместно работают с изображениями, текстом, видео и аудио для решения различных задач, таких как создание подписей к изображениям, ответы на вопросы и генерация изображений. В данной работе мы исследуем дискретные диффузионные модели как унифицированную генеративную формулировку в совместной области текста и изображений, основываясь на их недавних успехах в генерации текста. Дискретные диффузионные модели предлагают несколько преимуществ перед AR-моделями, включая улучшенный контроль над качеством и разнообразием генерируемых образцов, возможность выполнения совместного многомодального восстановления (в областях текста и изображений) и большую управляемость в процессе генерации с использованием направляющих. Используя эти преимущества, мы представляем первую Унифицированную Многомодальную Дискретную Диффузионную модель (UniDisc), которая способна совместно понимать и генерировать текст и изображения для различных задач. Мы сравниваем UniDisc с многомодальными AR-моделями, проводя анализ масштабирования и демонстрируя, что UniDisc превосходит их по производительности, вычислительной эффективности на этапе вывода, улучшенной управляемости, редактируемости, восстановлению и гибкому балансу между временем вывода и качеством генерации. Код и дополнительные визуализации доступны по адресу https://unidisc.github.io.

English

Multimodal generative models that can understand and generate across multiple modalities are dominated by autoregressive (AR) approaches, which process tokens sequentially from left to right, or top to bottom. These models jointly handle images, text, video, and audio for various tasks such as image captioning, question answering, and image generation. In this work, we explore discrete diffusion models as a unified generative formulation in the joint text and image domain, building upon their recent success in text generation. Discrete diffusion models offer several advantages over AR models, including improved control over quality versus diversity of generated samples, the ability to perform joint multimodal inpainting (across both text and image domains), and greater controllability in generation through guidance. Leveraging these benefits, we present the first Unified Multimodal Discrete Diffusion (UniDisc) model which is capable of jointly understanding and generating text and images for a variety of downstream tasks. We compare UniDisc to multimodal AR models, performing a scaling analysis and demonstrating that UniDisc outperforms them in terms of both performance and inference-time compute, enhanced controllability, editability, inpainting, and flexible trade-off between inference time and generation quality. Code and additional visualizations are available at https://unidisc.github.io.