SynerGen-VL: Rumo a uma Compreensão e Geração de Imagens Sinérgicas com Especialistas em Visão e Dobra de Tokens

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

Autores: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

Resumo

O notável sucesso dos Modelos de Linguagem de Grande Escala (LLMs) se estendeu ao domínio multimodal, alcançando um desempenho excepcional na compreensão e geração de imagens. Esforços recentes para desenvolver Modelos de Linguagem de Grande Escala Multimodais unificados (MLLMs) que integram essas capacidades têm mostrado resultados promissores. No entanto, abordagens existentes frequentemente envolvem designs complexos na arquitetura do modelo ou no pipeline de treinamento, aumentando a dificuldade no treinamento e escalabilidade do modelo. Neste artigo, propomos o SynerGen-VL, um MLLM simples, porém poderoso, sem codificador, capaz tanto de compreensão quanto de geração de imagens. Para lidar com os desafios identificados nos MLLMs unificados existentes sem codificador, introduzimos o mecanismo de dobragem de tokens e a estratégia de pré-treinamento de alinhamento progressivo baseado em especialistas em visão, que suportam efetivamente a compreensão de imagens de alta resolução, reduzindo a complexidade do treinamento. Após ser treinado em dados mistos de imagem-texto em grande escala com um objetivo unificado de previsão do próximo token, o SynerGen-VL alcança ou supera o desempenho dos MLLMs unificados existentes sem codificador com tamanhos de parâmetros comparáveis ou menores, e reduz a diferença com modelos de ponta específicos para tarefas, destacando um caminho promissor para futuros MLLMs unificados. Nosso código e modelos serão disponibilizados.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.