Untersuchung des 3D-Bewusstseins von visuellen Grundlagenmodellen

Probing the 3D Awareness of Visual Foundation Models

April 12, 2024

Autoren: Mohamed El Banani, Amit Raj, Kevis-Kokitsi Maninis, Abhishek Kar, Yuanzhen Li, Michael Rubinstein, Deqing Sun, Leonidas Guibas, Justin Johnson, Varun Jampani

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte im Bereich des groß angelegten Vortrainings zu visuellen Grundlagenmodellen mit starken Fähigkeiten geführt. Diese aktuellen Modelle können nicht nur auf beliebige Bilder für ihre Trainingsaufgabe verallgemeinern, sondern auch ihre Zwischenrepräsentationen sind nützlich für andere visuelle Aufgaben wie Detektion und Segmentierung. Angesichts der Tatsache, dass solche Modelle Objekte in 2D klassifizieren, abgrenzen und lokalisieren können, fragen wir uns, ob sie auch deren 3D-Struktur repräsentieren? In dieser Arbeit analysieren wir das 3D-Bewusstsein von visuellen Grundlagenmodellen. Wir postulieren, dass 3D-Bewusstsein bedeutet, dass die Repräsentationen (1) die 3D-Struktur der Szene kodieren und (2) die Oberfläche konsistent über Ansichten hinweg darstellen. Wir führen eine Reihe von Experimenten mit aufgabenspezifischen Sonden und Zero-Shot-Inferenzverfahren auf eingefrorenen Merkmalen durch. Unsere Experimente zeigen mehrere Einschränkungen der aktuellen Modelle auf. Unser Code und unsere Analyse finden Sie unter https://github.com/mbanani/probe3d.

English

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and localize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen features. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.