SynerGen-VL: ビジョンエキスパートとトークン折り畳みを用いたシナジスティックな画像理解と生成に向けて

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

著者: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

要旨

大規模言語モデル（LLM）の顕著な成功は、マルチモーダル領域にも広がり、画像理解と生成において優れたパフォーマンスを達成しています。これらの能力を統合する統一されたマルチモーダル大規模言語モデル（MLLM）を開発する最近の取り組みは、有望な結果を示しています。ただし、既存のアプローチはしばしばモデルアーキテクチャやトレーニングパイプラインに複雑な設計を含んでおり、モデルのトレーニングとスケーリングの難しさを増加させています。本論文では、画像理解と生成の両方が可能なシンプルかつ強力なエンコーダーフリーMLLMであるSynerGen-VLを提案します。既存のエンコーダーフリー統一MLLMで特定された課題に対処するために、トークン折り畳みメカニズムとビジョンエキスパートベースのプログレッシブアライメント事前トレーニング戦略を導入し、高解像度画像理解を効果的にサポートしつつトレーニングの複雑さを軽減します。統一された次トークン予測目標で大規模な混合画像テキストデータでトレーニングされた後、SynerGen-VLは、既存のエンコーダーフリー統一MLLMのパフォーマンスを達成または上回り、パラメータサイズが同等または小さい状態でタスク固有の最先端モデルとの差を縮め、将来の統一MLLMへの有望な道筋を示しています。当社のコードとモデルは公開されます。

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.