SEED-X: Multimodale Modelle mit vereinter Multi-Granularitäts-Verständnis und Generierung

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Autoren: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Zusammenfassung

Die rasante Entwicklung des multimodalen Grundlagenmodells hat signifikante Fortschritte im Bereich des Verstehens und der Generierung von Vision-Sprache gezeigt, z. B. unsere vorherige Arbeit SEED-LLaMA. Es besteht jedoch weiterhin eine Kluft zwischen seiner Leistungsfähigkeit und der Anwendbarkeit in der realen Welt, hauptsächlich aufgrund der begrenzten Kapazität des Modells, um effektiv auf verschiedene Benutzeranweisungen zu reagieren und mit vielfältigen visuellen Daten zu interagieren. In dieser Arbeit konzentrieren wir uns darauf, diese Kluft zu überbrücken, indem wir zwei verbesserte Funktionen integrieren: (1) das Verstehen von Bildern beliebiger Größen und Verhältnisse und (2) die Ermöglichung der Multi-Granularität der Bildgenerierung. Wir präsentieren ein vereinheitlichtes und vielseitiges Grundlagenmodell, nämlich SEED-X, das in der Lage ist, Multi-Granularität der visuellen Semantik für Verständnis- und Generierungsaufgaben zu modellieren. Neben den Wettbewerbsfähigen Ergebnissen auf öffentlichen Benchmarks zeigt SEED-X seine Wirksamkeit bei der Bewältigung von Anwendungen in verschiedenen Bereichen nach Anpassung an die Anweisungen. Wir hoffen, dass unsere Arbeit zukünftige Forschung inspirieren wird, was durch vielseitige multimodale Grundlagenmodelle in realen Anwendungen erreicht werden kann. Die Modelle, Codes und Datensätze werden unter https://github.com/AILab-CVC/SEED-X veröffentlicht.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.