Explorando la Conciencia 3D de los Modelos Visuales Fundamentales

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Autores: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Resumen

Los recientes avances en el preentrenamiento a gran escala han dado lugar a modelos visuales fundamentales con capacidades sólidas. No solo los modelos recientes pueden generalizar a imágenes arbitrarias para su tarea de entrenamiento, sino que sus representaciones intermedias son útiles para otras tareas visuales como la detección y la segmentación. Dado que tales modelos pueden clasificar, delimitar y localizar objetos en 2D, nos preguntamos si también representan su estructura 3D. En este trabajo, analizamos la conciencia 3D de los modelos visuales fundamentales. Postulamos que la conciencia 3D implica que las representaciones (1) codifican la estructura 3D de la escena y (2) representan consistentemente la superficie a través de diferentes vistas. Realizamos una serie de experimentos utilizando sondas específicas para tareas y procedimientos de inferencia de cero disparos sobre características congeladas. Nuestros experimentos revelan varias limitaciones de los modelos actuales. Nuestro código y análisis se pueden encontrar en https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.