視覚基盤モデルの3D認識能力の探求

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

著者: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

要旨

大規模な事前学習の最近の進展により、強力な能力を持つ視覚基盤モデルが開発されています。最近のモデルは、訓練タスクに対して任意の画像に一般化できるだけでなく、その中間表現は検出やセグメンテーションなどの他の視覚タスクにも有用です。このようなモデルが2D画像内の物体を分類、輪郭抽出、位置特定できることを踏まえ、それらが3D構造も表現しているかどうかを問います。本研究では、視覚基盤モデルの3D認識能力を分析します。3D認識能力とは、表現が（1）シーンの3D構造を符号化し、（2）視点を跨いで表面を一貫して表現することを意味すると仮定します。タスク固有のプローブと凍結された特徴量に対するゼロショット推論手順を用いて一連の実験を行いました。実験結果から、現在のモデルにはいくつかの限界があることが明らかになりました。コードと分析はhttps://github.com/mbanani/probe3dで公開しています。

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.