SEED-X: Modelos Multimodais com Compreensão e Geração Unificada em Múltiplas Granularidades

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Autores: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Resumo

A rápida evolução dos modelos de base multimodal tem demonstrado progressos significativos na compreensão e geração de visão e linguagem, por exemplo, nosso trabalho anterior SEED-LLaMA. No entanto, ainda existe uma lacuna entre sua capacidade e a aplicabilidade no mundo real, principalmente devido à capacidade limitada do modelo de responder efetivamente a diversas instruções dos usuários e interagir com dados visuais variados. Neste trabalho, focamos em preencher essa lacuna através da integração de dois recursos aprimorados: (1) compreensão de imagens de tamanhos e proporções arbitrárias, e (2) geração de imagens em múltiplas granularidades. Apresentamos um modelo de base unificado e versátil, denominado SEED-X, que é capaz de modelar semânticas visuais em múltiplas granularidades para tarefas de compreensão e geração. Além dos resultados competitivos em benchmarks públicos, o SEED-X demonstra sua eficácia no tratamento de aplicações do mundo real em diversos domínios após o ajuste por instrução. Esperamos que nosso trabalho inspire pesquisas futuras sobre o que pode ser alcançado por modelos de base multimodal versáteis em aplicações do mundo real. Os modelos, códigos e conjuntos de dados serão disponibilizados em https://github.com/AILab-CVC/SEED-X.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.