Gemaskerde Scène Modellering: Het Verkleinen van de Kloof Tussen Begeleid en Zelf-begeleid Leren in 3D Scène Begrip

Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding

April 9, 2025

Auteurs: Pedro Hermosilla, Christian Stippel, Leon Sick

cs.AI

Samenvatting

Zelfsupervised leren heeft 2D-computervisie getransformeerd door modellen die getraind zijn op grote, niet-geannoteerde datasets in staat te stellen veelzijdige kant-en-klare features te leveren die vergelijkbaar presteren met modellen die met labels zijn getraind. In 3D-scènebegrip worden zelfsupervised methoden echter meestal alleen gebruikt als een gewichtsinitialisatiestap voor taakspecifieke fine-tuning, wat hun nut voor algemene feature-extractie beperkt. Dit artikel behandelt dit tekortkoming door een robuust evaluatieprotocol voor te stellen dat specifiek is ontworpen om de kwaliteit van zelfsupervised features voor 3D-scènebegrip te beoordelen. Ons protocol gebruikt multi-resolutie feature sampling van hiërarchische modellen om rijke puntniveau-representaties te creëren die de semantische mogelijkheden van het model vastleggen en daarom geschikt zijn voor evaluatie met lineaire probing en nearest-neighbor methoden. Bovendien introduceren we het eerste zelfsupervised model dat vergelijkbaar presteert met supervised modellen wanneer alleen kant-en-klare features worden gebruikt in een lineaire probing setup. Ons model wordt in het bijzonder natively in 3D getraind met een nieuwe zelfsupervised aanpak gebaseerd op een Masked Scene Modeling-doelstelling, die diepe features van gemaskeerde patches op een bottom-up manier reconstrueert en specifiek is afgestemd op hiërarchische 3D-modellen. Onze experimenten tonen niet alleen aan dat onze methode competitieve prestaties bereikt ten opzichte van supervised modellen, maar ook bestaande zelfsupervised benaderingen met een grote marge overtreft. Het model en de trainingscode zijn te vinden in onze Github-repository (https://github.com/phermosilla/msm).

English

Self-supervised learning has transformed 2D computer vision by enabling models trained on large, unannotated datasets to provide versatile off-the-shelf features that perform similarly to models trained with labels. However, in 3D scene understanding, self-supervised methods are typically only used as a weight initialization step for task-specific fine-tuning, limiting their utility for general-purpose feature extraction. This paper addresses this shortcoming by proposing a robust evaluation protocol specifically designed to assess the quality of self-supervised features for 3D scene understanding. Our protocol uses multi-resolution feature sampling of hierarchical models to create rich point-level representations that capture the semantic capabilities of the model and, hence, are suitable for evaluation with linear probing and nearest-neighbor methods. Furthermore, we introduce the first self-supervised model that performs similarly to supervised models when only off-the-shelf features are used in a linear probing setup. In particular, our model is trained natively in 3D with a novel self-supervised approach based on a Masked Scene Modeling objective, which reconstructs deep features of masked patches in a bottom-up manner and is specifically tailored to hierarchical 3D models. Our experiments not only demonstrate that our method achieves competitive performance to supervised models, but also surpasses existing self-supervised approaches by a large margin. The model and training code can be found at our Github repository (https://github.com/phermosilla/msm).