SynerGen-VL: К синергетическому пониманию и генерации изображений с экспертами по зрению и складыванием токенов

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

Авторы: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

Аннотация

Замечательный успех Large Language Models (LLMs) распространился на мультимодальную область, достигая выдающихся результатов в понимании и генерации изображений. Недавние усилия по разработке объединенных Multimodal Large Language Models (MLLMs), интегрирующих эти возможности, показали многообещающие результаты. Однако существующие подходы часто включают сложные конструкции в архитектуре модели или процессе обучения, что увеличивает сложность обучения модели и масштабирования. В данной статье мы предлагаем SynerGen-VL, простую, но мощную модель MLLM без энкодера, способную как к пониманию, так и к генерации изображений. Для решения выявленных проблем в существующих объединенных MLLM без энкодера мы вводим механизм складывания токенов и стратегию предварительного обучения с постепенным выравниванием на основе экспертов по видению, которые эффективно поддерживают понимание изображений высокого разрешения и снижают сложность обучения. После обучения на масштабных смешанных данных изображений и текста с объединенной целью предсказания следующего токена SynerGen-VL достигает или превосходит производительность существующих объединенных MLLM без энкодера с сравнимым или меньшим размером параметров и сокращает разрыв с моделями последнего поколения, специфичными для задач, что подчеркивает многообещающий путь к будущим объединенным MLLM. Наш код и модели будут опубликованы.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.