SEED-X : Modèles multimodaux avec compréhension et génération unifiées multi-granularité

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Auteurs: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Résumé

L'évolution rapide des modèles de base multimodaux a démontré des progrès significatifs dans la compréhension et la génération visuo-linguistique, comme en témoigne notre précédent travail, SEED-LLaMA. Cependant, un écart persiste entre ses capacités et leur applicabilité dans le monde réel, principalement en raison de la capacité limitée du modèle à répondre efficacement à diverses instructions utilisateur et à interagir avec des données visuelles variées. Dans ce travail, nous nous concentrons sur la réduction de cet écart en intégrant deux fonctionnalités améliorées : (1) la compréhension d'images de tailles et de ratios arbitraires, et (2) la génération d'images à granularité multiple. Nous présentons un modèle de base unifié et polyvalent, nommé SEED-X, capable de modéliser la sémantique visuelle à granularité multiple pour des tâches de compréhension et de génération. Outre des résultats compétitifs sur des benchmarks publics, SEED-X démontre son efficacité dans la gestion d'applications réelles à travers divers domaines après un ajustement par instruction. Nous espérons que notre travail inspirera des recherches futures sur ce que les modèles de base multimodaux polyvalents peuvent accomplir dans des applications réelles. Les modèles, codes et jeux de données seront disponibles sur https://github.com/AILab-CVC/SEED-X.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.