VLM3: 視覚言語モデルは本質的な3D学習者である

要旨

ビジョン・ランゲージ・モデル（VLM）は、プロンプトを通じて様々な視覚タスクを統合的に解決するモデルを実現する。これらは意味理解において有望な性能を示している。しかし、3D理解は依然として複雑なタスク固有の設計を伴う専門的な視覚モデルに大きく依存している。本研究が主張する核心は、VLMが本質的に3D学習者であるということである。我々の大規模な詳細研究により、1) 焦点距離の統一、2) テキストベースのピクセル参照、3) データ混合とスケーリングが、効果的な3D学習に必要な全てであることが示された。モデルアーキテクチャの変更、大規模モデル、強力なデータ拡張、回帰定式化を含む複雑な損失関数など、専門的な視覚モデルの基盤を成すこれらの多くは、実は必須条件ではない。その結果、我々はVLM3を提案する。これは、標準的なVLMが多様な3Dタスクを習得できるようにする、最もシンプルな設計を持つスケーラブルな手法である。VLM3は、VLMの深度推定精度を大幅に向上させる（0.84→0.9）だけでなく、画素対応、カメラ姿勢推定、オブジェクトレベルの3D理解といった多様な3Dタスクを可能にし、標準的なアーキテクチャとテキストベースの訓練を維持しながら、専門的な視覚モデルの精度に匹敵する。我々はVLM3が、シンプルでスケーラブルな3D学習の新たなパラダイムを開くと信じている。

English

Vision Language Models (VLMs) enable a unified model to solve various vision tasks through prompting. They have shown promising performance in semantic understanding. However, 3D understanding still largely relies on expert vision models with complex task-specific designs. The key argument this work wants to make is that VLMs are native 3D learners. Our in-depth large scale study shows that 1) focal length unification, 2) text-based pixel reference and 3) data mixture and scaling, are all you need for effective 3D learning. Model architecture changes, large models, heavy data augmentations, and complex losses including the regression formulation, many of which form the foundation of expert vision models, are actually not necessary conditions. As a result, we propose VLM3, a scalable method with the simplest design that enables standard VLMs to master diverse 3D tasks. VLM3 not only advances the VLM depth estimation accuracy by a large margin (0.84 -> 0.9), but also enables diverse 3D tasks such as pixel correspondence, camera pose estimation and object-level 3D understanding, matching expert vision model accuracy while maintaining standard architectures and text-based training. We believe VLM3 opens up a new paradigm for simple and scalable 3D learning.