Mostrar: Um Único Transformador para Unificar a Compreensão e Geração Multimodal

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

August 22, 2024

Autores: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

cs.AI

Resumo

Apresentamos um transformer unificado, ou seja, Show-o, que unifica a compreensão e geração multimodal. Ao contrário de modelos totalmente autoregressivos, o Show-o unifica modelagem autoregressiva e de difusão (discreta) para lidar adaptativamente com entradas e saídas de várias e mistas modalidades. O modelo unificado suporta de forma flexível uma ampla gama de tarefas visão-linguagem, incluindo questionamento-resposta visual, geração de texto para imagem, inpainting/extrapolação guiados por texto e geração de multimodalidade. Em diversos benchmarks, ele demonstra desempenho comparável ou superior aos modelos individuais existentes com um número equivalente ou maior de parâmetros adaptados para compreensão ou geração. Isso destaca significativamente seu potencial como um modelo fundamental de próxima geração. O código e os modelos estão disponíveis em https://github.com/showlab/Show-o.

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.