SEED-X: 통합된 다중 단위 이해 및 생성을 지원하는 멀티모달 모델

SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation

April 22, 2024

저자: Yuying Ge, Sijie Zhao, Jinguo Zhu, Yixiao Ge, Kun Yi, Lin Song, Chen Li, Xiaohan Ding, Ying Shan

cs.AI

초록

다중모달 기반 모델의 급속한 발전은 시각-언어 이해 및 생성 분야에서 상당한 진전을 보여주었으며, 예를 들어 우리의 이전 연구인 SEED-LLaMA가 그 대표적인 사례입니다. 그러나 이러한 모델의 능력과 실제 세계 적용 가능성 사이에는 여전히 간극이 존재하는데, 이는 주로 모델이 다양한 사용자 지시에 효과적으로 응답하고 다양한 시각 데이터와 상호작용할 수 있는 능력이 제한적이기 때문입니다. 본 연구에서는 이러한 간극을 해소하기 위해 두 가지 강화된 기능을 통합하는 데 초점을 맞췄습니다: (1) 임의의 크기와 비율의 이미지를 이해하는 기능, 그리고 (2) 다중 세분화 수준의 이미지 생성을 가능하게 하는 기능입니다. 우리는 이해 및 생성 작업을 위해 다중 세분화 수준의 시각적 의미를 모델링할 수 있는 통합적이고 다용도의 기반 모델인 SEED-X를 제안합니다. 공개 벤치마크에서의 경쟁력 있는 결과 외에도, SEED-X는 지시 튜닝 후 다양한 분야의 실제 애플리케이션을 처리하는 데 있어서도 그 효과성을 입증했습니다. 우리의 연구가 실제 애플리케이션에서 다용도 다중모달 기반 모델이 달성할 수 있는 것에 대한 미래 연구에 영감을 줄 수 있기를 바랍니다. 모델, 코드, 그리고 데이터셋은 https://github.com/AILab-CVC/SEED-X에서 공개될 예정입니다.

English

The rapid evolution of multimodal foundation model has demonstrated significant progresses in vision-language understanding and generation, e.g., our previous work SEED-LLaMA. However, there remains a gap between its capability and the real-world applicability, primarily due to the model's limited capacity to effectively respond to various user instructions and interact with diverse visual data. In this work, we focus on bridging this gap through integrating two enhanced features: (1) comprehending images of arbitrary sizes and ratios, and (2) enabling multi-granularity image generation. We present a unified and versatile foundation model, namely, SEED-X, which is able to model multi-granularity visual semantics for comprehension and generation tasks. Besides the competitive results on public benchmarks, SEED-X demonstrates its effectiveness in handling real-world applications across various domains after instruction tuning. We hope that our work will inspire future research into what can be achieved by versatile multimodal foundation models in real-world applications. The models, codes, and datasets will be released in https://github.com/AILab-CVC/SEED-X.