VLM3: Vision-Language-Modelle sind native 3D-Lerner

Zusammenfassung

Vision-Language-Modelle (VLMs) ermöglichen die Lösung verschiedener Bildverarbeitungsaufgaben durch ein einheitliches Modell mittels Prompting. Sie zeigen vielversprechende Ergebnisse im semantischen Verständnis. Allerdings ist das 3D-Verständnis nach wie vor weitgehend auf spezialisierte Bildverarbeitungsmodelle mit komplexen aufgabenspezifischen Entwürfen angewiesen. Die zentrale These dieser Arbeit ist, dass VLMs von Natur aus 3D-Lerner sind. Unsere detaillierte groß angelegte Studie zeigt, dass 1) Brennweitenvereinheitlichung, 2) textbasierte Pixelreferenz und 3) Datenmischung und Skalierung alles sind, was für effektives 3D-Lernen benötigt wird. Änderungen der Architektur des Modells, große Modelle, umfangreiche Datenaugmentierungen und komplexe Verlustfunktionen einschließlich der Regressionsformulierung – von denen viele die Grundlage spezialisierter Bildverarbeitungsmodelle bilden – sind tatsächlich keine notwendigen Bedingungen. Als Ergebnis schlagen wir VLM3 vor, eine skalierbare Methode mit dem einfachsten Design, die es Standard-VLMs ermöglicht, vielfältige 3D-Aufgaben zu meistern. VLM3 verbessert nicht nur die Genauigkeit der Tiefenschätzung von VLMs erheblich (0,84 -> 0,9), sondern ermöglicht auch verschiedene 3D-Aufgaben wie Pixelkorrespondenz, Kameraposenschätzung und objektbezogenes 3D-Verständnis, wobei es die Genauigkeit spezialisierter Bildverarbeitungsmodelle erreicht und gleichzeitig Standardarchitekturen sowie textbasiertes Training beibehält. Wir glauben, dass VLM3 ein neues Paradigma für einfaches und skalierbares 3D-Lernen eröffnet.

English

Vision Language Models (VLMs) enable a unified model to solve various vision tasks through prompting. They have shown promising performance in semantic understanding. However, 3D understanding still largely relies on expert vision models with complex task-specific designs. The key argument this work wants to make is that VLMs are native 3D learners. Our in-depth large scale study shows that 1) focal length unification, 2) text-based pixel reference and 3) data mixture and scaling, are all you need for effective 3D learning. Model architecture changes, large models, heavy data augmentations, and complex losses including the regression formulation, many of which form the foundation of expert vision models, are actually not necessary conditions. As a result, we propose VLM3, a scalable method with the simplest design that enables standard VLMs to master diverse 3D tasks. VLM3 not only advances the VLM depth estimation accuracy by a large margin (0.84 -> 0.9), but also enables diverse 3D tasks such as pixel correspondence, camera pose estimation and object-level 3D understanding, matching expert vision model accuracy while maintaining standard architectures and text-based training. We believe VLM3 opens up a new paradigm for simple and scalable 3D learning.