SEED-X: Modelli Multimodali con Comprensione e Generazione Unificata a Multi-granularità

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Autori: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Abstract

Il rapido sviluppo dei modelli fondazionali multimodali ha dimostrato progressi significativi nella comprensione e generazione visivo-linguistica, come evidenziato dal nostro precedente lavoro SEED-LLaMA. Tuttavia, rimane un divario tra le sue capacità e l'applicabilità nel mondo reale, principalmente a causa della limitata capacità del modello di rispondere efficacemente a varie istruzioni dell'utente e di interagire con dati visivi eterogenei. In questo lavoro, ci concentriamo sul colmare questo divario integrando due funzionalità potenziate: (1) la comprensione di immagini di dimensioni e rapporti arbitrari e (2) la generazione di immagini a più livelli di granularità. Presentiamo un modello fondazionale unificato e versatile, denominato SEED-X, in grado di modellare la semantica visiva a più livelli di granularità per compiti di comprensione e generazione. Oltre ai risultati competitivi su benchmark pubblici, SEED-X dimostra la sua efficacia nella gestione di applicazioni real-world in vari domini dopo l'ottimizzazione tramite istruzioni. Speriamo che il nostro lavoro possa ispirare future ricerche su ciò che può essere raggiunto dai modelli fondazionali multimodali versatili nelle applicazioni reali. I modelli, i codici e i dataset saranno rilasciati su https://github.com/AILab-CVC/SEED-X.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.