Show-o2: Verbeterde Native Geïntegreerde Multimodale Modellen

Show-o2: Improved Native Unified Multimodal Models

June 18, 2025

Auteurs: Jinheng Xie, Zhenheng Yang, Mike Zheng Shou

cs.AI

Samenvatting

Dit artikel presenteert verbeterde native geünificeerde multimodale modellen, genaamd Show-o2, die gebruikmaken van autoregressieve modellering en flow matching. Gebaseerd op een 3D causaal variatie-autoencoder ruimte, worden geünificeerde visuele representaties geconstrueerd via een dubbelpad van ruimtelijke (-temporele) fusie, waardoor schaalbaarheid over beeld- en videomodaliteiten wordt mogelijk gemaakt terwijl effectieve multimodale begripsvorming en generatie wordt gewaarborgd. Gebaseerd op een taalmodel, worden autoregressieve modellering en flow matching natively toegepast op respectievelijk de taalhead en de flow head, om teksttokenvoorspelling en beeld/video-generatie te faciliteren. Een tweefasen trainingsrecept is ontworpen om effectief te leren en op te schalen naar grotere modellen. De resulterende Show-o2-modellen tonen veelzijdigheid in het omgaan met een breed scala aan multimodale begripsvorming en generatietaken over diverse modaliteiten, waaronder tekst, beelden en video's. Code en modellen zijn vrijgegeven op https://github.com/showlab/Show-o.

English

This paper presents improved native unified multimodal models, i.e., Show-o2, that leverage autoregressive modeling and flow matching. Built upon a 3D causal variational autoencoder space, unified visual representations are constructed through a dual-path of spatial (-temporal) fusion, enabling scalability across image and video modalities while ensuring effective multimodal understanding and generation. Based on a language model, autoregressive modeling and flow matching are natively applied to the language head and flow head, respectively, to facilitate text token prediction and image/video generation. A two-stage training recipe is designed to effectively learn and scale to larger models. The resulting Show-o2 models demonstrate versatility in handling a wide range of multimodal understanding and generation tasks across diverse modalities, including text, images, and videos. Code and models are released at https://github.com/showlab/Show-o.