SynerGen-VL: Naar Synergetisch Beeldbegrip en Generatie met Visie-experts en Token-vouwen

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

Auteurs: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

Samenvatting

De opmerkelijke successen van Grote Taalmodellen (LLMs) hebben zich uitgebreid naar het multimodale domein, waarbij uitstekende prestaties worden behaald op het gebied van beeldbegrip en -generatie. Recente inspanningen om geïntegreerde Multimodale Grote Taalmodellen (MLLMs) te ontwikkelen die deze mogelijkheden combineren, hebben veelbelovende resultaten laten zien. Echter, bestaande benaderingen omvatten vaak complexe ontwerpen in modelarchitectuur of trainingspijplijn, wat de moeilijkheid van modeltraining en schaling vergroot. In dit artikel stellen we SynerGen-VL voor, een eenvoudig maar krachtig encoder-vrij MLLM dat in staat is tot zowel beeldbegrip als -generatie. Om uitdagingen aan te pakken die zijn geïdentificeerd in bestaande encoder-vrije geïntegreerde MLLMs, introduceren we het token-vouwmechanisme en de op visie-experts gebaseerde progressieve uitlijningspretrainingstrategie, die effectief hoogwaardig beeldbegrip ondersteunen en tegelijkertijd de trainingscomplexiteit verminderen. Na te zijn getraind op grootschalige gemengde beeld-tekstgegevens met een eenduidig volgend-token-voorspellingsdoel, behaalt SynerGen-VL prestaties die gelijk zijn aan of beter zijn dan bestaande encoder-vrije geïntegreerde MLLMs met vergelijkbare of kleinere parametergroottes, en verkleint het de kloof met taakspecifieke state-of-the-art modellen, wat wijst op een veelbelovende weg naar toekomstige geïntegreerde MLLMs. Onze code en modellen zullen worden vrijgegeven.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.