Шоу-о: Один Общий Трансформер для Объединения Мультимодального Понимания и Генерации

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

August 22, 2024

Авторы: Jinheng Xie, Weijia Mao, Zechen Bai, David Junhao Zhang, Weihao Wang, Kevin Qinghong Lin, Yuchao Gu, Zhijie Chen, Zhenheng Yang, Mike Zheng Shou

cs.AI

Аннотация

Мы представляем объединенный трансформер, то есть Show-o, который объединяет мультимодальное понимание и генерацию. В отличие от полностью авторегрессивных моделей, Show-o объединяет авторегрессию и (дискретное) моделирование диффузии для адаптивной обработки входов и выходов различных и смешанных модальностей. Объединенная модель гибко поддерживает широкий спектр задач видео-языкового взаимодействия, включая визуальный вопросно-ответный формат, генерацию текста в изображение, текстово-управляемое восстановление/экстраполяцию и генерацию смешанных модальностей. На различных бенчмарках она демонстрирует сравнимую или превосходящую производительность по сравнению с существующими индивидуальными моделями с эквивалентным или большим количеством параметров, настроенных на понимание или генерацию. Это значительно подчеркивает ее потенциал как модели основания следующего поколения. Код и модели доступны по ссылке https://github.com/showlab/Show-o.

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.