Cambrian-1: Een volledig open, visie-gerichte verkenning van multimodale LLM's

Samenvatting

We introduceren Cambrian-1, een familie van multimodale LLM's (MLLM's) ontworpen met een visie-gerichte aanpak. Hoewel sterkere taalmodelen multimodale mogelijkheden kunnen verbeteren, worden de ontwerpkeuzes voor visuele componenten vaak onvoldoende onderzocht en losgekoppeld van onderzoek naar visuele representatieleer. Deze kloof belemmert een nauwkeurige zintuiglijke verankering in realistische scenario's. Onze studie gebruikt LLM's en visuele instructie-afstemming als een interface om verschillende visuele representaties te evalueren, wat nieuwe inzichten biedt in verschillende modellen en architecturen -- zelf-gesuperviseerd, sterk gesuperviseerd, of combinaties daarvan -- gebaseerd op experimenten met meer dan 20 visuele encoders. We onderzoeken kritisch bestaande MLLM-benchmarks, waarbij we de moeilijkheden bespreken die gepaard gaan met het consolideren en interpreteren van resultaten van diverse taken, en introduceren een nieuwe visie-gerichte benchmark, CV-Bench. Om de visuele verankering verder te verbeteren, stellen we de Spatial Vision Aggregator (SVA) voor, een dynamische en ruimtelijk-bewuste connector die hoogwaardige visuele kenmerken integreert met LLM's terwijl het aantal tokens wordt verminderd. Daarnaast bespreken we het samenstellen van hoogwaardige visuele instructie-afstemmingsgegevens uit openbaar beschikbare bronnen, waarbij we het belang benadrukken van het balanceren van gegevensbronnen en de verdelingsratio. Collectief bereikt Cambrian-1 niet alleen state-of-the-art prestaties, maar dient het ook als een uitgebreid, open kookboek voor instructie-afgestemde MLLM's. We bieden modelgewichten, code, ondersteunende tools, datasets en gedetailleerde instructie-afstemmings- en evaluatierecepten. We hopen dat onze release vooruitgang in multimodale systemen en visuele representatieleer zal inspireren en versnellen.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

Cambrian-1: Een volledig open, visie-gerichte verkenning van multimodale LLM's

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

Samenvatting

Support