캄브리아-1: 완전 개방형, 비전 중심의 멀티모달 LLM 탐구

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

June 24, 2024

저자: Shengbang Tong, Ellis Brown, Penghao Wu, Sanghyun Woo, Manoj Middepogu, Sai Charitha Akula, Jihan Yang, Shusheng Yang, Adithya Iyer, Xichen Pan, Austin Wang, Rob Fergus, Yann LeCun, Saining Xie

cs.AI

초록

우리는 비전 중심 접근법으로 설계된 멀티모달 대형 언어 모델(MLLM) 패밀리인 Cambrian-1을 소개합니다. 더 강력한 언어 모델이 멀티모달 능력을 향상시킬 수 있지만, 비전 컴포넌트에 대한 설계 선택은 종종 충분히 탐구되지 않고 시각적 표현 학습 연구와 단절되어 있습니다. 이러한 격차는 실제 시나리오에서 정확한 감각적 근거를 방해합니다. 우리의 연구는 다양한 시각적 표현을 평가하기 위한 인터페이스로 LLM과 시각적 명령어 튜닝을 사용하며, 20개 이상의 비전 인코더를 기반으로 한 자가 지도 학습, 강력한 지도 학습 또는 이들의 조합과 같은 다양한 모델과 아키텍처에 대한 새로운 통찰을 제공합니다. 우리는 기존 MLLM 벤치마크를 비판적으로 검토하고, 다양한 작업에서 결과를 통합하고 해석하는 데 따른 어려움을 해결하며, 새로운 비전 중심 벤치마크인 CV-Bench를 소개합니다. 시각적 근거를 더욱 개선하기 위해, 우리는 고해상도 비전 특징을 LLM과 통합하면서 토큰 수를 줄이는 동적이고 공간 인식 연결자인 Spatial Vision Aggregator(SVA)를 제안합니다. 또한, 공개적으로 이용 가능한 소스에서 고품질 시각적 명령어 튜닝 데이터를 큐레이션하는 방법에 대해 논의하며, 데이터 소스 균형과 분포 비율의 중요성을 강조합니다. 종합적으로, Cambrian-1은 최첨단 성능을 달성할 뿐만 아니라, 명령어 튜닝된 MLLM을 위한 포괄적이고 개방적인 요리책 역할을 합니다. 우리는 모델 가중치, 코드, 지원 도구, 데이터셋, 그리고 상세한 명령어 튜닝 및 평가 레시피를 제공합니다. 우리의 릴리스가 멀티모달 시스템과 시각적 표현 학습의 발전을 영감을 주고 가속화하기를 바랍니다.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.