Cambrian-1: 完全オープンなビジョン中心型マルチモーダルLLMの探求

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

June 24, 2024

著者: Shengbang Tong, Ellis Brown, Penghao Wu, Sanghyun Woo, Manoj Middepogu, Sai Charitha Akula, Jihan Yang, Shusheng Yang, Adithya Iyer, Xichen Pan, Austin Wang, Rob Fergus, Yann LeCun, Saining Xie

cs.AI

要旨

私たちは、ビジョン中心のアプローチで設計されたマルチモーダル大規模言語モデル（MLLM）ファミリーであるCambrian-1を紹介します。より強力な言語モデルはマルチモーダル能力を向上させることができますが、ビジョンコンポーネントの設計選択はしばしば十分に検討されておらず、視覚表現学習研究から切り離されています。このギャップは、現実世界のシナリオにおける正確な感覚的基盤を妨げています。本研究では、LLMと視覚的指示チューニングをインターフェースとして使用し、20以上のビジョンエンコーダに基づく実験を通じて、自己教師あり、強教師あり、またはそれらの組み合わせといったさまざまなモデルとアーキテクチャに関する新たな洞察を提供します。既存のMLLMベンチマークを批判的に検証し、さまざまなタスクからの結果を統合し解釈する際の困難に対処し、新しいビジョン中心のベンチマークであるCV-Benchを導入します。視覚的基盤をさらに改善するために、高解像度のビジョンフィーチャーをLLMと統合しつつトークン数を削減する、動的で空間認識型のコネクタであるSpatial Vision Aggregator（SVA）を提案します。さらに、公開されているソースから高品質な視覚的指示チューニングデータをキュレーションする方法について議論し、データソースのバランスと分布比率の重要性を強調します。全体として、Cambrian-1は最先端の性能を達成するだけでなく、指示チューニングされたMLLMのための包括的でオープンなクックブックとしての役割も果たします。モデルの重み、コード、サポートツール、データセット、詳細な指示チューニングと評価のレシピを提供します。私たちのリリースが、マルチモーダルシステムと視覚表現学習の進歩を刺激し加速することを願っています。

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.