Cambrian-1 : Une exploration entièrement ouverte et centrée sur la vision des modèles de langage multimodaux

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

June 24, 2024

Auteurs: Shengbang Tong, Ellis Brown, Penghao Wu, Sanghyun Woo, Manoj Middepogu, Sai Charitha Akula, Jihan Yang, Shusheng Yang, Adithya Iyer, Xichen Pan, Austin Wang, Rob Fergus, Yann LeCun, Saining Xie

cs.AI

Résumé

Nous présentons Cambrian-1, une famille de modèles de langage multimodaux (MLLMs) conçus avec une approche centrée sur la vision. Bien que des modèles de langage plus puissants puissent améliorer les capacités multimodales, les choix de conception pour les composants visuels sont souvent insuffisamment explorés et déconnectés des recherches sur l'apprentissage de représentations visuelles. Cet écart entrave l'ancrage sensoriel précis dans des scénarios réels. Notre étude utilise des LLMs et le réglage par instructions visuelles comme interface pour évaluer diverses représentations visuelles, offrant de nouvelles perspectives sur différents modèles et architectures — auto-supervisés, fortement supervisés, ou des combinaisons des deux — basées sur des expériences avec plus de 20 encodeurs visuels. Nous examinons de manière critique les benchmarks MLLM existants, en abordant les difficultés liées à la consolidation et à l'interprétation des résultats provenant de diverses tâches, et introduisons un nouveau benchmark centré sur la vision, CV-Bench. Pour améliorer davantage l'ancrage visuel, nous proposons le Spatial Vision Aggregator (SVA), un connecteur dynamique et spatialement conscient qui intègre des caractéristiques visuelles à haute résolution avec les LLMs tout en réduisant le nombre de tokens. De plus, nous discutons de la curation de données de réglage par instructions visuelles de haute qualité à partir de sources publiquement disponibles, en mettant l'accent sur l'importance de l'équilibrage des sources de données et du ratio de distribution. Collectivement, Cambrian-1 non seulement atteint des performances de pointe, mais sert également de guide complet et ouvert pour les MLLMs réglés par instructions. Nous fournissons les poids des modèles, le code, les outils de support, les ensembles de données, ainsi que des recettes détaillées pour le réglage par instructions et l'évaluation. Nous espérons que notre publication inspirera et accélérera les avancées dans les systèmes multimodaux et l'apprentissage de représentations visuelles.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.