Mostrar: Un solo transformador para unificar la comprensión y generación multimodal.

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

August 22, 2024

Autores: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

cs.AI

Resumen

Presentamos un transformer unificado, es decir, Show-o, que unifica la comprensión y generación multimodal. A diferencia de los modelos totalmente autoregresivos, Show-o unifica la modelización autoregresiva y de difusión (discreta) para manejar de manera adaptativa entradas y salidas de diversas y mixtas modalidades. El modelo unificado soporta de manera flexible una amplia gama de tareas visión-lenguaje, incluyendo preguntas y respuestas visuales, generación de texto a imagen, inpainting/extrapolación guiados por texto, y generación de modalidades mixtas. A través de varios benchmarks, demuestra un rendimiento comparable o superior a los modelos individuales existentes con un número equivalente o mayor de parámetros adaptados para comprensión o generación. Esto destaca significativamente su potencial como un modelo base de próxima generación. El código y los modelos están disponibles en https://github.com/showlab/Show-o.

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.