Show-o : Un seul transformateur pour unifier la compréhension et la génération multimodales

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

August 22, 2024

Auteurs: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

cs.AI

Résumé

Nous présentons un transformeur unifié, c'est-à-dire Show-o, qui unifie la compréhension et la génération multimodales. Contrairement aux modèles entièrement autorégressifs, Show-o unifie la modélisation autorégressive et (discrète) de diffusion pour gérer de manière adaptative les entrées et les sorties de diverses modalités mixtes. Ce modèle unifié prend en charge de manière flexible une large gamme de tâches vision-langage, y compris la question-réponse visuelle, la génération de texte vers image, l'inpainting/extrapolation guidé par texte, et la génération de modalités mixtes. À travers divers benchmarks, il démontre des performances comparables ou supérieures aux modèles individuels existants avec un nombre équivalent ou supérieur de paramètres adaptés à la compréhension ou à la génération. Cela souligne significativement son potentiel en tant que modèle fondamental de prochaine génération. Le code et les modèles sont disponibles sur https://github.com/showlab/Show-o.

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.