SEED-X: Modelos multimodales con comprensión y generación unificada de múltiples granularidades

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Autores: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Resumen

La rápida evolución de los modelos fundacionales multimodales ha demostrado avances significativos en la comprensión y generación de lenguaje visual, como nuestro trabajo previo SEED-LLaMA. Sin embargo, aún existe una brecha entre su capacidad y la aplicabilidad en el mundo real, principalmente debido a la limitada capacidad del modelo para responder efectivamente a diversas instrucciones de los usuarios e interactuar con datos visuales variados. En este trabajo, nos enfocamos en cerrar esta brecha mediante la integración de dos características mejoradas: (1) la comprensión de imágenes de tamaños y proporciones arbitrarias, y (2) la habilitación de la generación de imágenes con múltiples niveles de granularidad. Presentamos un modelo fundacional unificado y versátil, denominado SEED-X, capaz de modelar semántica visual multi-granularidad para tareas de comprensión y generación. Además de los resultados competitivos en benchmarks públicos, SEED-X demuestra su eficacia en el manejo de aplicaciones del mundo real en diversos dominios después del ajuste por instrucciones. Esperamos que nuestro trabajo inspire futuras investigaciones sobre lo que se puede lograr con modelos fundacionales multimodales versátiles en aplicaciones del mundo real. Los modelos, códigos y conjuntos de datos estarán disponibles en https://github.com/AILab-CVC/SEED-X.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.