Cambrian-1: Una exploración completamente abierta y centrada en la visión de modelos de lenguaje multimodal (LLMs)

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

June 24, 2024

Autores: Shengbang Tong, Ellis Brown, Penghao Wu, Sanghyun Woo, Manoj Middepogu, Sai Charitha Akula, Jihan Yang, Shusheng Yang, Adithya Iyer, Xichen Pan, Austin Wang, Rob Fergus, Yann LeCun, Saining Xie

cs.AI

Resumen

Presentamos Cambrian-1, una familia de modelos de lenguaje multimodal (MLLMs, por sus siglas en inglés) diseñados con un enfoque centrado en la visión. Si bien los modelos de lenguaje más potentes pueden mejorar las capacidades multimodales, las decisiones de diseño para los componentes visuales a menudo no se exploran lo suficiente y están desconectadas de la investigación en aprendizaje de representaciones visuales. Esta brecha dificulta la conexión precisa con la realidad en escenarios del mundo real. Nuestro estudio utiliza modelos de lenguaje y ajuste por instrucciones visuales como interfaz para evaluar diversas representaciones visuales, ofreciendo nuevas perspectivas sobre diferentes modelos y arquitecturas —autosupervisados, fuertemente supervisados o combinaciones de ambos— basadas en experimentos con más de 20 codificadores visuales. Examinamos críticamente los puntos de referencia existentes para MLLMs, abordando las dificultades involucradas en consolidar e interpretar resultados de diversas tareas, e introducimos un nuevo punto de referencia centrado en la visión, CV-Bench. Para mejorar aún más la conexión visual, proponemos el Agregador Espacial de Visión (SVA, por sus siglas en inglés), un conector dinámico y espacialmente consciente que integra características visuales de alta resolución con modelos de lenguaje mientras reduce el número de tokens. Además, discutimos la curación de datos de ajuste por instrucciones visuales de alta calidad a partir de fuentes públicas, enfatizando la importancia del equilibrio de las fuentes de datos y la proporción de distribución. En conjunto, Cambrian-1 no solo logra un rendimiento de vanguardia, sino que también sirve como una guía completa y abierta para MLLMs ajustados por instrucciones. Proporcionamos pesos de modelos, código, herramientas de apoyo, conjuntos de datos y recetas detalladas para el ajuste por instrucciones y la evaluación. Esperamos que nuestra publicación inspire y acelere los avances en sistemas multimodales y el aprendizaje de representaciones visuales.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.