Cambrian-1: Eine vollständig offene, visionäre Erforschung multimodaler LLMs.

Zusammenfassung

Wir stellen Cambrian-1 vor, eine Familie von multimodalen Sprachmodellen (MLLMs), die mit einem visionären Ansatz entwickelt wurden. Während leistungsstärkere Sprachmodelle die multimodalen Fähigkeiten verbessern können, sind die Designentscheidungen für die Vision-Komponenten oft unzureichend erforscht und von der visuellen Repräsentationslernen-Forschung getrennt. Diese Lücke behindert eine genaue sensorische Verankerung in realen Szenarien. Unsere Studie verwendet LLMs und visuelle Anleitungseinstellung als Schnittstelle, um verschiedene visuelle Darstellungen zu bewerten und neue Einblicke in verschiedene Modelle und Architekturen - selbstüberwacht, stark überwacht oder Kombinationen davon - basierend auf Experimenten mit über 20 Vision-Encodern zu bieten. Wir untersuchen kritisch bestehende MLLM-Benchmarks, adressieren die Schwierigkeiten bei der Konsolidierung und Interpretation von Ergebnissen aus verschiedenen Aufgaben und stellen einen neuen visionären Benchmark, CV-Bench, vor. Um die visuelle Verankerung weiter zu verbessern, schlagen wir den Spatial Vision Aggregator (SVA) vor, einen dynamischen und räumlich bewussten Connector, der hochauflösende visuelle Merkmale mit LLMs integriert und gleichzeitig die Anzahl der Tokens reduziert. Darüber hinaus diskutieren wir die Kuratierung von hochwertigen visuellen Anleitungseinstellungsdaten aus öffentlich verfügbaren Quellen und betonen die Bedeutung des Ausgleichs und der Verteilungsverhältnisse der Datenquellen. Insgesamt erreicht Cambrian-1 nicht nur eine Spitzenleistung, sondern dient auch als umfassendes, offenes Handbuch für anleitungsgesteuerte MLLMs. Wir stellen Modellgewichte, Code, unterstützende Tools, Datensätze und detaillierte Anleitungseinstellungs- und Evaluationsrezepte zur Verfügung. Wir hoffen, dass unser Release Fortschritte in multimodalen Systemen und visuellem Repräsentationslernen inspiriert und beschleunigt.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

Cambrian-1: Eine vollständig offene, visionäre Erforschung multimodaler LLMs.

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

Zusammenfassung

Support