SEED-X: Мультимодельные модели с объединенным многоуровневым пониманием и генерацией

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

Авторы: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

Аннотация

Быстрое развитие мультимодельной основной модели продемонстрировало значительные успехи в понимании и генерации изображений на языке, например, в нашей предыдущей работе SEED-LLaMA. Однако остается разрыв между ее возможностями и применимостью в реальном мире, в основном из-за ограниченной способности модели эффективно реагировать на различные инструкции пользователей и взаимодействовать с разнообразными визуальными данными. В данной работе мы сосредотачиваемся на устранении этого разрыва путем интеграции двух улучшенных функций: (1) понимание изображений произвольных размеров и пропорций и (2) обеспечение многозначной генерации изображений. Мы представляем объединенную и универсальную основную модель, названную SEED-X, способную моделировать многозначную визуальную семантику для задач понимания и генерации. Помимо конкурентоспособных результатов на общедоступных показателях, SEED-X демонстрирует свою эффективность в работе с приложениями в реальном мире в различных областях после настройки инструкций. Мы надеемся, что наша работа вдохновит будущие исследования в области того, что может быть достигнуто с помощью универсальных мультимодельных основных моделей в реальных приложениях. Модели, коды и наборы данных будут опубликованы на https://github.com/AILab-CVC/SEED-X.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.