시각적 기초 모델의 3D 인식 능력 탐구

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

저자: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

초록

대규모 사전 학습의 최근 발전은 강력한 능력을 가진 시각 기반 모델들을 탄생시켰습니다. 최신 모델들은 학습된 작업에 대해 임의의 이미지로 일반화할 수 있을 뿐만 아니라, 그들의 중간 표현은 탐지 및 분할과 같은 다른 시각적 작업에도 유용합니다. 이러한 모델들이 2D에서 객체를 분류하고, 윤곽을 그리고, 위치를 파악할 수 있다는 점을 고려할 때, 우리는 이들이 3D 구조도 표현할 수 있는지 질문합니다. 본 연구에서는 시각 기반 모델들의 3D 인식 능력을 분석합니다. 우리는 3D 인식이 (1) 장면의 3D 구조를 인코딩하고, (2) 다양한 시점에서 표면을 일관되게 표현하는 것을 의미한다고 가정합니다. 우리는 특정 작업용 프로브와 고정된 특징에 대한 제로샷 추론 절차를 사용하여 일련의 실험을 수행합니다. 우리의 실험은 현재 모델들의 여러 한계를 드러냅니다. 우리의 코드와 분석은 https://github.com/mbanani/probe3d에서 확인할 수 있습니다.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.