SynerGen-VL: Auf dem Weg zu einer synergetischen Bildverständnis und -generierung mit Visionsexperten und Token-Faltung.

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

Autoren: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

Zusammenfassung

Der bemerkenswerte Erfolg von Large Language Models (LLMs) hat sich auf den multimodalen Bereich ausgeweitet und herausragende Leistungen in der Bildverarbeitung und -generierung erzielt. Aktuelle Bemühungen zur Entwicklung vereinheitlichter Multimodal Large Language Models (MLLMs), die diese Fähigkeiten integrieren, haben vielversprechende Ergebnisse gezeigt. Allerdings beinhalten bestehende Ansätze oft komplexe Designs in der Modellarchitektur oder im Trainingsablauf, was die Schwierigkeit des Modelltrainings und der Skalierung erhöht. In diesem Artikel schlagen wir SynerGen-VL vor, ein einfaches, aber leistungsstarkes encoderfreies MLLM, das sowohl die Bildverarbeitung als auch -generierung beherrscht. Um die Herausforderungen zu bewältigen, die in bestehenden encoderfreien vereinheitlichten MLLMs identifiziert wurden, führen wir den Token-Faltungmechanismus und die auf Vision-Experten basierende progressive Ausrichtungs-Vortrainingsstrategie ein, die eine effektive Unterstützung für die Bildverarbeitung in hoher Auflösung bieten und gleichzeitig die Trainingskomplexität reduzieren. Nach dem Training auf umfangreichen gemischten Bild-Text-Daten mit einem vereinheitlichten Ziel der nächsten Token-Vorhersage erzielt SynerGen-VL die Leistung bestehender encoderfreier vereinheitlichter MLLMs mit vergleichbaren oder kleineren Parametergrößen oder übertrifft sie sogar und verringert den Abstand zu spezifischen State-of-the-Art-Modellen, was einen vielversprechenden Weg zu zukünftigen vereinheitlichten MLLMs aufzeigt. Unser Code und unsere Modelle werden veröffentlicht.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.