Exploration de la conscience 3D des modèles visuels de base

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Auteurs: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Résumé

Les récentes avancées dans le pré-entraînement à grande échelle ont donné naissance à des modèles de fondation visuelle dotés de capacités impressionnantes. Non seulement les modèles récents peuvent généraliser à des images arbitraires pour leur tâche d'entraînement, mais leurs représentations intermédiaires sont également utiles pour d'autres tâches visuelles telles que la détection et la segmentation. Étant donné que ces modèles peuvent classer, délimiter et localiser des objets en 2D, nous nous demandons s'ils représentent également leur structure 3D. Dans ce travail, nous analysons la conscience 3D des modèles de fondation visuelle. Nous postulons que la conscience 3D implique que les représentations (1) encodent la structure 3D de la scène et (2) représentent de manière cohérente la surface à travers différentes vues. Nous menons une série d'expériences en utilisant des sondes spécifiques à la tâche et des procédures d'inférence zero-shot sur des caractéristiques figées. Nos expériences révèlent plusieurs limitations des modèles actuels. Notre code et notre analyse sont disponibles à l'adresse suivante : https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.