Исследование осведомленности моделей визуальных основ о трехмерном пространстве

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Авторы: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Аннотация

Недавние достижения в области масштабного предварительного обучения привели к созданию моделей визуальных основ с сильными возможностями. Не только современные модели могут обобщать произвольные изображения для своей задачи обучения, но и их промежуточные представления полезны для других визуальных задач, таких как детекция и сегментация. Учитывая, что такие модели могут классифицировать, детектировать и локализовать объекты в 2D, мы задаемся вопросом, представляют ли они также их 3D структуру? В данной работе мы анализируем 3D осведомленность визуальных основных моделей. Мы предполагаем, что 3D осведомленность подразумевает, что представления (1) кодируют 3D структуру сцены и (2) последовательно представляют поверхность с разных точек зрения. Мы проводим серию экспериментов с использованием задачных зондов и процедур нулевого вывода на замороженных признаках. Наши эксперименты раскрывают несколько ограничений текущих моделей. Наш код и анализ можно найти по адресу https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.