Investigando a Consciência 3D dos Modelos Visuais de Base

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Autores: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Resumo

Os recentes avanços no pré-treinamento em grande escala resultaram em modelos de base visual com capacidades robustas. Não apenas os modelos recentes podem generalizar para imagens arbitrárias em sua tarefa de treinamento, mas suas representações intermediárias são úteis para outras tarefas visuais, como detecção e segmentação. Considerando que tais modelos podem classificar, delimitar e localizar objetos em 2D, questionamos se eles também representam sua estrutura 3D? Neste trabalho, analisamos a consciência 3D dos modelos de base visual. Postulamos que a consciência 3D implica que as representações (1) codificam a estrutura 3D da cena e (2) representam consistentemente a superfície através de diferentes perspectivas. Realizamos uma série de experimentos utilizando sondagens específicas para tarefas e procedimentos de inferência zero-shot em características congeladas. Nossos experimentos revelam várias limitações dos modelos atuais. Nosso código e análise podem ser encontrados em https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.