Show-o: Un Singolo Transformer per Unificare Comprensione e Generazione Multimodale
Show-o: One Single Transformer to Unify Multimodal Understanding and Generation
August 22, 2024
Autori: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou
cs.AI
Abstract
Presentiamo un trasformatore unificato, denominato Show-o, che integra comprensione e generazione multimodale. A differenza dei modelli completamente autoregressivi, Show-o unisce modellazione autoregressiva e diffusione discreta per gestire in modo adattivo input e output di varie modalità miste. Il modello unificato supporta in modo flessibile un'ampia gamma di attività di visione e linguaggio, tra cui risposta a domande visive, generazione di immagini da testo, inpainting/estrapolazione guidata da testo e generazione a modalità mista. Su vari benchmark, dimostra prestazioni comparabili o superiori rispetto ai modelli individuali esistenti con un numero equivalente o maggiore di parametri progettati specificamente per la comprensione o la generazione. Ciò evidenzia in modo significativo il suo potenziale come modello di base di prossima generazione. Codice e modelli sono disponibili all'indirizzo https://github.com/showlab/Show-o.
English
We present a unified transformer, i.e., Show-o, that unifies multimodal
understanding and generation. Unlike fully autoregressive models, Show-o
unifies autoregressive and (discrete) diffusion modeling to adaptively handle
inputs and outputs of various and mixed modalities. The unified model flexibly
supports a wide range of vision-language tasks including visual
question-answering, text-to-image generation, text-guided
inpainting/extrapolation, and mixed-modality generation. Across various
benchmarks, it demonstrates comparable or superior performance to existing
individual models with an equivalent or larger number of parameters tailored
for understanding or generation. This significantly highlights its potential as
a next-generation foundation model. Code and models are released at
https://github.com/showlab/Show-o.