SEED-X: Multimodale modellen met geïntegreerd multi-granulariteitsbegrip en -generatie

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Auteurs: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Samenvatting

De snelle evolutie van multimodale foundation-modellen heeft aanzienlijke vooruitgang geboekt in visueel-taalkundig begrip en generatie, bijvoorbeeld ons eerdere werk SEED-LLaMA. Er blijft echter een kloof bestaan tussen de capaciteiten van het model en de toepasbaarheid in de praktijk, voornamelijk vanwege het beperkte vermogen van het model om effectief te reageren op diverse gebruikersinstructies en te interageren met uiteenlopende visuele data. In dit werk richten we ons op het overbruggen van deze kloof door twee verbeterde functies te integreren: (1) het begrijpen van afbeeldingen met willekeurige afmetingen en verhoudingen, en (2) het mogelijk maken van multi-granulariteit beeldgeneratie. We presenteren een uniform en veelzijdig foundation-model, genaamd SEED-X, dat in staat is om multi-granulariteit visuele semantiek te modelleren voor begrips- en generatietaken. Naast de concurrerende resultaten op publieke benchmarks, toont SEED-X zijn effectiviteit in het omgaan met real-world toepassingen in verschillende domeinen na instructieafstemming. We hopen dat ons werk toekomstig onderzoek zal inspireren naar wat er kan worden bereikt met veelzijdige multimodale foundation-modellen in real-world toepassingen. De modellen, codes en datasets zullen worden vrijgegeven op https://github.com/AILab-CVC/SEED-X.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.