Cambrian-1: Un'esplorazione completamente aperta e centrata sulla visione dei modelli linguistici multimodali

Abstract

Presentiamo Cambrian-1, una famiglia di modelli linguistici multimodali (MLLM) progettati con un approccio centrato sulla visione. Sebbene modelli linguistici più potenti possano potenziare le capacità multimodali, le scelte progettuali per i componenti visivi sono spesso insufficientemente esplorate e disconnesse dalla ricerca sull'apprendimento delle rappresentazioni visive. Questa lacuna ostacola un ancoraggio sensoriale accurato negli scenari del mondo reale. Il nostro studio utilizza MLLM e la messa a punto tramite istruzioni visive come interfaccia per valutare varie rappresentazioni visive, offrendo nuove intuizioni su diversi modelli e architetture — auto-supervisionati, fortemente supervisionati o combinazioni di essi — basandosi su esperimenti con oltre 20 encoder visivi. Esaminiamo criticamente i benchmark MLLM esistenti, affrontando le difficoltà legate alla consolidazione e all'interpretazione dei risultati provenienti da vari compiti, e introduciamo un nuovo benchmark centrato sulla visione, CV-Bench. Per migliorare ulteriormente l'ancoraggio visivo, proponiamo lo Spatial Vision Aggregator (SVA), un connettore dinamico e spazialmente consapevole che integra caratteristiche visive ad alta risoluzione con MLLM riducendo il numero di token. Inoltre, discutiamo la cura di dati di alta qualità per la messa a punto tramite istruzioni visive provenienti da fonti pubbliche, enfatizzando l'importanza del bilanciamento delle fonti di dati e del rapporto di distribuzione. Collettivamente, Cambrian-1 non solo raggiunge prestazioni all'avanguardia, ma funge anche da ricettario completo e aperto per MLLM messi a punto tramite istruzioni. Forniamo pesi del modello, codice, strumenti di supporto, dataset e ricette dettagliate per la messa a punto tramite istruzioni e la valutazione. Speriamo che la nostra pubblicazione possa ispirare e accelerare i progressi nei sistemi multimodali e nell'apprendimento delle rappresentazioni visive.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

Cambrian-1: Un'esplorazione completamente aperta e centrata sulla visione dei modelli linguistici multimodali

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

Abstract

Support