Cambriano-1: Uma Exploração Totalmente Aberta e Centrada na Visão de Modelos de Linguagem Multimodais

Resumo

Apresentamos o Cambrian-1, uma família de LLMs multimodais (MLLMs) projetados com uma abordagem centrada na visão. Embora modelos de linguagem mais fortes possam aprimorar as capacidades multimodais, as escolhas de design para os componentes de visão frequentemente são insuficientemente exploradas e desconectadas da pesquisa em aprendizado de representação visual. Essa lacuna dificulta o correto enraizamento sensorial em cenários do mundo real. Nosso estudo utiliza LLMs e ajuste de instruções visuais como uma interface para avaliar várias representações visuais, oferecendo novas perspectivas sobre diferentes modelos e arquiteturas -- auto-supervisionados, fortemente supervisionados, ou combinações destes -- com base em experimentos com mais de 20 codificadores de visão. Examinamos criticamente benchmarks existentes de MLLM, abordando as dificuldades envolvidas na consolidação e interpretação de resultados de várias tarefas, e introduzimos um novo benchmark centrado na visão, CV-Bench. Para melhorar ainda mais o enraizamento visual, propomos o Agregador de Visão Espacial (SVA), um conector dinâmico e espacialmente consciente que integra características de visão de alta resolução com LLMs, reduzindo o número de tokens. Além disso, discutimos a curadoria de dados de ajuste de instruções visuais de alta qualidade de fontes disponíveis publicamente, enfatizando a importância do balanceamento da fonte de dados e da proporção de distribuição. Coletivamente, o Cambrian-1 não apenas alcança um desempenho de ponta, mas também serve como um guia abrangente e aberto para MLLMs ajustados por instruções. Fornecemos pesos do modelo, código, ferramentas de suporte, conjuntos de dados e receitas detalhadas de ajuste de instruções e avaliação. Esperamos que nosso lançamento inspire e acelere avanços em sistemas multimodais e aprendizado de representação visual.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

Cambriano-1: Uma Exploração Totalmente Aberta e Centrada na Visão de Modelos de Linguagem Multimodais

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

Resumo

Support