Het onderzoeken van het 3D-bewustzijn van visuele basis modellen

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Auteurs: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Samenvatting

Recente vooruitgang in grootschalige voorafgaande training heeft geleid tot visuele basis-modellen met sterke capaciteiten. Niet alleen kunnen recente modellen generaliseren naar willekeurige afbeeldingen voor hun trainingsdoel, hun tussenliggende representaties zijn ook nuttig voor andere visuele taken zoals detectie en segmentatie. Gezien het feit dat dergelijke modellen objecten in 2D kunnen classificeren, afbakenen en lokaliseren, vragen we ons af of ze ook hun 3D-structuur representeren? In dit werk analyseren we het 3D-bewustzijn van visuele basis-modellen. We stellen dat 3D-bewustzijn impliceert dat representaties (1) de 3D-structuur van de scène coderen en (2) het oppervlak consistent representeren over verschillende aanzichten. We voeren een reeks experimenten uit met taakspecifieke probes en zero-shot inferentieprocedures op bevroren kenmerken. Onze experimenten onthullen verschillende beperkingen van de huidige modellen. Onze code en analyse zijn te vinden op https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.