SynerGen-VL: Hacia una comprensión y generación de imágenes sinérgicas con expertos en visión y plegado de tokens.

SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

December 12, 2024

Autores: Hao Li, Changyao Tian, Jie Shao, Xizhou Zhu, Zhaokai Wang, Jinguo Zhu, Wenhan Dou, Xiaogang Wang, Hongsheng Li, Lewei Lu, Jifeng Dai

cs.AI

Resumen

El notable éxito de los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) se ha extendido al dominio multimodal, logrando un rendimiento excepcional en la comprensión y generación de imágenes. Los esfuerzos recientes para desarrollar Modelos de Lenguaje Grandes Multimodales unificados (MLLMs) que integren estas capacidades han mostrado resultados prometedores. Sin embargo, los enfoques existentes a menudo implican diseños complejos en la arquitectura del modelo o en el proceso de entrenamiento, lo que aumenta la dificultad del entrenamiento y la escalabilidad del modelo. En este artículo, proponemos SynerGen-VL, un MLLM unificado simple pero potente sin codificador capaz de tanto comprender como generar imágenes. Para abordar los desafíos identificados en los MLLMs unificados existentes sin codificador, introducimos el mecanismo de plegado de tokens y la estrategia de preentrenamiento de alineación progresiva basada en expertos en visión, que respaldan eficazmente la comprensión de imágenes de alta resolución mientras se reduce la complejidad del entrenamiento. Después de ser entrenado en datos de imágenes y texto mixtos a gran escala con un objetivo unificado de predicción del siguiente token, SynerGen-VL logra o supera el rendimiento de los MLLMs unificados existentes sin codificador con tamaños de parámetros comparables o más pequeños, y reduce la brecha con los modelos de vanguardia específicos de tareas, destacando un camino prometedor hacia futuros MLLMs unificados. Nuestro código y modelos serán publicados.

English

The remarkable success of Large Language Models (LLMs) has extended to the multimodal domain, achieving outstanding performance in image understanding and generation. Recent efforts to develop unified Multimodal Large Language Models (MLLMs) that integrate these capabilities have shown promising results. However, existing approaches often involve complex designs in model architecture or training pipeline, increasing the difficulty of model training and scaling. In this paper, we propose SynerGen-VL, a simple yet powerful encoder-free MLLM capable of both image understanding and generation. To address challenges identified in existing encoder-free unified MLLMs, we introduce the token folding mechanism and the vision-expert-based progressive alignment pretraining strategy, which effectively support high-resolution image understanding while reducing training complexity. After being trained on large-scale mixed image-text data with a unified next-token prediction objective, SynerGen-VL achieves or surpasses the performance of existing encoder-free unified MLLMs with comparable or smaller parameter sizes, and narrows the gap with task-specific state-of-the-art models, highlighting a promising path toward future unified MLLMs. Our code and models shall be released.