단일 트랜스포머를 통해 다중 모달 이해와 생성 통합하기

초록

다중 모달 이해와 생성을 통합하는 통합 트랜스포머인 쇼-오(Show-o)를 제안합니다. 완전 자기 회귀 모델과는 달리, 쇼-오는 입력과 출력을 적응적으로 처리하기 위해 자기 회귀와 (이산적) 확산 모델링을 통합합니다. 이 통합 모델은 시각-언어 작업을 유연하게 지원하며 시각적 질문 응답, 텍스트-이미지 생성, 텍스트 안내 들어그리기/외삽, 그리고 혼합 모달 생성을 포함한 다양한 작업을 수행합니다. 다양한 벤치마크를 통해, 기존 개별 모델과 동등하거나 더 많은 매개변수를 가진 모델과 비교하여 동등하거나 우수한 성능을 보여줍니다. 이는 다음 세대의 기반 모델로서의 잠재력을 상당히 강조합니다. 코드 및 모델은 https://github.com/showlab/Show-o에서 공개되어 있습니다.

English

We present a unified transformer, i.e., Show-o, that unifies multimodal understanding and generation. Unlike fully autoregressive models, Show-o unifies autoregressive and (discrete) diffusion modeling to adaptively handle inputs and outputs of various and mixed modalities. The unified model flexibly supports a wide range of vision-language tasks including visual question-answering, text-to-image generation, text-guided inpainting/extrapolation, and mixed-modality generation. Across various benchmarks, it demonstrates comparable or superior performance to existing individual models with an equivalent or larger number of parameters tailored for understanding or generation. This significantly highlights its potential as a next-generation foundation model. Code and models are released at https://github.com/showlab/Show-o.

단일 트랜스포머를 통해 다중 모달 이해와 생성 통합하기

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

초록

Support