Кэмбрий-1: Полностью открытое, ориентированное на зрение исследование мультимодальных языковых моделей.

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

June 24, 2024

Авторы: Shengbang Tong, Ellis Brown, Penghao Wu, Sanghyun Woo, Manoj Middepogu, Sai Charitha Akula, Jihan Yang, Shusheng Yang, Adithya Iyer, Xichen Pan, Austin Wang, Rob Fergus, Yann LeCun, Saining Xie

cs.AI

Аннотация

Мы представляем Cambrian-1, семейство мультимодальных языковых моделей (MLLMs), разработанных с учетом визионерного подхода. Хотя более мощные языковые модели могут улучшить мультимодальные возможности, выбор дизайна для компонентов зрения часто недостаточно исследован и оторван от исследований обучения визуального представления. Этот разрыв затрудняет точное сопоставление сенсорных данных в реальных сценариях. Наше исследование использует LLMs и настройку визуальных инструкций в качестве интерфейса для оценки различных визуальных представлений, предлагая новые идеи по различным моделям и архитектурам - на основе экспериментов с более чем 20 кодировщиками зрения. Мы критически рассматриваем существующие бенчмарки MLLM, решая трудности, связанные с объединением и интерпретацией результатов из различных задач, и представляем новый визионерный бенчмарк, CV-Bench. Для дальнейшего улучшения визуального сопоставления мы предлагаем Пространственный Визионерный Агрегатор (SVA), динамический и пространственно осознающий коннектор, который интегрирует высокоразрешенные визионерные характеристики с LLMs, сокращая количество токенов. Кроме того, мы обсуждаем курирование высококачественных данных настройки визуальных инструкций из общедоступных источников, подчеркивая важность балансировки и распределения данных. В целом, Cambrian-1 не только достигает передовой производительности, но и служит всесторонним, открытым справочником для настроенных по инструкции MLLMs. Мы предоставляем веса модели, код, вспомогательные инструменты, наборы данных и подробные инструкции по настройке и оценке. Мы надеемся, что наш выпуск вдохновит и ускорит прогресс в мультимодальных системах и обучении визуальному представлению.

English

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures -- self-supervised, strongly supervised, or combinations thereof -- based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.