Masked Scene Modeling: Verringerung der Lücke zwischen überwachtem und selbstüberwachtem Lernen im 3D-Szenenverständnis

Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding

April 9, 2025

Autoren: Pedro Hermosilla, Christian Stippel, Leon Sick

cs.AI

Zusammenfassung

Das selbstüberwachte Lernen hat die 2D-Computervision revolutioniert, indem es Modellen ermöglicht, auf großen, nicht annotierten Datensätzen trainiert zu werden und vielseitige, sofort einsatzbereite Merkmale bereitzustellen, die ähnlich gut abschneiden wie Modelle, die mit Labels trainiert wurden. Im Bereich des 3D-Szenenverständnisses werden selbstüberwachte Methoden jedoch typischerweise nur als Gewichtsinitialisierungsschritt für aufgaben-spezifisches Fein-Tuning verwendet, was ihren Nutzen für die allgemeine Merkmalsextraktion einschränkt. Diese Arbeit behebt diesen Mangel, indem sie ein robustes Evaluationsprotokoll vorschlägt, das speziell dafür entwickelt wurde, die Qualität selbstüberwachter Merkmale für das 3D-Szenenverständnis zu bewerten. Unser Protokoll verwendet Multi-Resolution-Feature-Sampling von hierarchischen Modellen, um reichhaltige punktbasierte Repräsentationen zu erstellen, die die semantischen Fähigkeiten des Modells erfassen und somit für die Bewertung mit Linear-Probing- und Nearest-Neighbor-Methoden geeignet sind. Darüber hinaus stellen wir das erste selbstüberwachte Modell vor, das ähnlich gut abschneidet wie überwachte Modelle, wenn nur sofort einsatzbereite Merkmale in einem Linear-Probing-Setup verwendet werden. Insbesondere wird unser Modell nativ in 3D mit einem neuartigen selbstüberwachten Ansatz trainiert, der auf einem Masked Scene Modeling-Ziel basiert, das tiefe Merkmale maskierter Patches auf eine Bottom-Up-Weise rekonstruiert und speziell auf hierarchische 3D-Modelle zugeschnitten ist. Unsere Experimente zeigen nicht nur, dass unsere Methode eine wettbewerbsfähige Leistung zu überwachten Modellen erreicht, sondern auch bestehende selbstüberwachte Ansätze deutlich übertrifft. Das Modell und der Trainingscode sind in unserem Github-Repository verfügbar (https://github.com/phermosilla/msm).

English

Self-supervised learning has transformed 2D computer vision by enabling models trained on large, unannotated datasets to provide versatile off-the-shelf features that perform similarly to models trained with labels. However, in 3D scene understanding, self-supervised methods are typically only used as a weight initialization step for task-specific fine-tuning, limiting their utility for general-purpose feature extraction. This paper addresses this shortcoming by proposing a robust evaluation protocol specifically designed to assess the quality of self-supervised features for 3D scene understanding. Our protocol uses multi-resolution feature sampling of hierarchical models to create rich point-level representations that capture the semantic capabilities of the model and, hence, are suitable for evaluation with linear probing and nearest-neighbor methods. Furthermore, we introduce the first self-supervised model that performs similarly to supervised models when only off-the-shelf features are used in a linear probing setup. In particular, our model is trained natively in 3D with a novel self-supervised approach based on a Masked Scene Modeling objective, which reconstructs deep features of masked patches in a bottom-up manner and is specifically tailored to hierarchical 3D models. Our experiments not only demonstrate that our method achieves competitive performance to supervised models, but also surpasses existing self-supervised approaches by a large margin. The model and training code can be found at our Github repository (https://github.com/phermosilla/msm).