Esplorazione della Consapevolezza 3D nei Modelli Visivi di Base

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Autori: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Abstract

I recenti progressi nell'addestramento su larga scala hanno portato alla creazione di modelli visivi di base con capacità notevoli. Non solo i modelli recenti possono generalizzare a immagini arbitrarie per il loro compito di addestramento, ma le loro rappresentazioni intermedie sono utili per altre attività visive come il rilevamento e la segmentazione. Considerando che tali modelli possono classificare, delineare e localizzare oggetti in 2D, ci chiediamo se rappresentino anche la loro struttura 3D. In questo lavoro, analizziamo la consapevolezza 3D dei modelli visivi di base. Proponiamo che la consapevolezza 3D implichi che le rappresentazioni (1) codifichino la struttura 3D della scena e (2) rappresentino in modo coerente la superficie attraverso diverse visualizzazioni. Eseguiamo una serie di esperimenti utilizzando sonde specifiche per il compito e procedure di inferenza zero-shot su caratteristiche congelate. I nostri esperimenti rivelano diverse limitazioni dei modelli attuali. Il nostro codice e l'analisi sono disponibili all'indirizzo https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.