VLM3: Визуально-языковые модели являются естественными 3D-обучающимися

Аннотация

Визуально-языковые модели (Vision Language Models, VLM) позволяют решать разнообразные задачи компьютерного зрения с помощью единой модели, используя механизм промптинга. Они демонстрируют многообещающие результаты в области семантического понимания. Однако понимание трёхмерных сцен по-прежнему в значительной степени опирается на экспертные модели зрения, требующие сложных, специфичных для каждой задачи конструкций. Ключевой тезис данной работы заключается в том, что VLM по своей природе способны обучаться трёхмерным представлениям. Наше масштабное детальное исследование показывает, что для эффективного обучения трёхмерным задачам необходимы всего три компонента: 1) унификация фокусного расстояния, 2) текстовые ссылки на пиксели и 3) смешивание и масштабирование данных. Изменения архитектуры модели, использование больших моделей, усиленные аугментации данных и сложные функции потерь, включая регрессионную формулировку (многие из которых составляют основу экспертных моделей зрения), на самом деле не являются обязательными условиями. В результате мы предлагаем VLM3 — масштабируемый метод с максимально простым дизайном, который позволяет стандартным VLM успешно решать разнообразные трёхмерные задачи. VLM3 не только значительно повышает точность оценки глубины в VLM (с 0,84 до 0,9), но и обеспечивает выполнение таких трёхмерных задач, как установление соответствия между пикселями, оценка положения камеры и понимание трёхмерной сцены на уровне объектов, достигая точности экспертных моделей зрения при сохранении стандартной архитектуры и текстового обучения. Мы полагаем, что VLM3 открывает новую парадигму для простого и масштабируемого обучения трёхмерным представлениям.

English

Vision Language Models (VLMs) enable a unified model to solve various vision tasks through prompting. They have shown promising performance in semantic understanding. However, 3D understanding still largely relies on expert vision models with complex task-specific designs. The key argument this work wants to make is that VLMs are native 3D learners. Our in-depth large scale study shows that 1) focal length unification, 2) text-based pixel reference and 3) data mixture and scaling, are all you need for effective 3D learning. Model architecture changes, large models, heavy data augmentations, and complex losses including the regression formulation, many of which form the foundation of expert vision models, are actually not necessary conditions. As a result, we propose VLM3, a scalable method with the simplest design that enables standard VLMs to master diverse 3D tasks. VLM3 not only advances the VLM depth estimation accuracy by a large margin (0.84 -> 0.9), but also enables diverse 3D tasks such as pixel correspondence, camera pose estimation and object-level 3D understanding, matching expert vision model accuracy while maintaining standard architectures and text-based training. We believe VLM3 opens up a new paradigm for simple and scalable 3D learning.