タイトル: 1つのTransformerによるマルチモーダル理解と生成の統一

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

August 22, 2024

著者: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

cs.AI

要旨

我々は、多様なモーダルの理解と生成を統合する統一されたTransformer、すなわちShow-oを提案します。完全な自己回帰モデルとは異なり、Show-oは自己回帰と（離散的な）拡散モデリングを統合し、さまざまで混在したモーダリティの入力と出力を適応的に処理します。この統一モデルは、視覚と言語の幅広いタスクを柔軟にサポートし、視覚的な質問応答、テキストから画像の生成、テキストによる修復/外挿、および混在モダリティの生成を含みます。さまざまなベンチマークにおいて、既存の個々のモデルと同等またはそれ以上の性能を、理解または生成向けに調整された同等またはより大きなパラメータ数で示しています。これは、次世代の基盤モデルとしての潜在的な可能性を著しく示しています。コードとモデルは、https://github.com/showlab/Show-o で公開されています。

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.