Show-o: Ein einzelner Transformer zur Vereinheitlichung von multimodalem Verständnis und Generierung

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

August 22, 2024

Autoren: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

cs.AI

Zusammenfassung

Wir präsentieren einen vereinheitlichten Transformer, d.h. Show-o, der multimodales Verstehen und Generierung vereint. Im Gegensatz zu vollständig autoregressiven Modellen vereint Show-o autoregressives und (diskretes) Diffusionsmodellieren, um Eingaben und Ausgaben verschiedener und gemischter Modalitäten adaptiv zu verarbeiten. Das vereinheitlichte Modell unterstützt flexibel eine Vielzahl von Vision-Sprach-Aufgaben, einschließlich visueller Frage-Antwort, Text-zu-Bild-Generierung, textgesteuertes Ausbessern/Extrapolieren und gemischte Modalitäten-Generierung. Über verschiedene Benchmarks hinweg zeigt es eine vergleichbare oder überlegene Leistung im Vergleich zu bestehenden individuellen Modellen mit einer äquivalenten oder größeren Anzahl von Parametern, die für Verstehen oder Generierung angepasst sind. Dies unterstreicht signifikant sein Potenzial als Grundlagenmodell der nächsten Generation. Code und Modelle sind unter https://github.com/showlab/Show-o veröffentlicht.

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.