Modélisation de scènes masquées : Réduire l'écart entre l'apprentissage supervisé et auto-supervisé dans la compréhension de scènes 3D

Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding

April 9, 2025

Auteurs: Pedro Hermosilla, Christian Stippel, Leon Sick

cs.AI

Résumé

L'apprentissage auto-supervisé a révolutionné la vision par ordinateur 2D en permettant à des modèles entraînés sur de vastes ensembles de données non annotées de fournir des caractéristiques polyvalentes prêtes à l'emploi, performantes à un niveau comparable à celui des modèles entraînés avec des annotations. Cependant, dans la compréhension de scènes 3D, les méthodes auto-supervisées sont généralement utilisées uniquement comme étape d'initialisation des poids pour un ajustement spécifique à une tâche, limitant ainsi leur utilité pour l'extraction de caractéristiques à usage général. Cet article pallie cette lacune en proposant un protocole d'évaluation robuste spécialement conçu pour évaluer la qualité des caractéristiques auto-supervisées dans la compréhension de scènes 3D. Notre protocole utilise un échantillonnage de caractéristiques multi-résolution de modèles hiérarchiques pour créer des représentations riches au niveau des points, capturant ainsi les capacités sémantiques du modèle et, par conséquent, adaptées à une évaluation par sondage linéaire et méthodes des plus proches voisins. De plus, nous introduisons le premier modèle auto-supervisé qui performe de manière similaire aux modèles supervisés lorsque seules des caractéristiques prêtes à l'emploi sont utilisées dans un cadre de sondage linéaire. En particulier, notre modèle est entraîné nativement en 3D avec une nouvelle approche auto-supervisée basée sur un objectif de Modélisation de Scène Masquée (Masked Scene Modeling), qui reconstruit les caractéristiques profondes de patches masqués de manière ascendante et est spécifiquement adaptée aux modèles hiérarchiques 3D. Nos expériences démontrent non seulement que notre méthode atteint des performances compétitives par rapport aux modèles supervisés, mais qu'elle surpasse également les approches auto-supervisées existantes de manière significative. Le modèle et le code d'entraînement sont disponibles sur notre dépôt Github (https://github.com/phermosilla/msm).

English

Self-supervised learning has transformed 2D computer vision by enabling models trained on large, unannotated datasets to provide versatile off-the-shelf features that perform similarly to models trained with labels. However, in 3D scene understanding, self-supervised methods are typically only used as a weight initialization step for task-specific fine-tuning, limiting their utility for general-purpose feature extraction. This paper addresses this shortcoming by proposing a robust evaluation protocol specifically designed to assess the quality of self-supervised features for 3D scene understanding. Our protocol uses multi-resolution feature sampling of hierarchical models to create rich point-level representations that capture the semantic capabilities of the model and, hence, are suitable for evaluation with linear probing and nearest-neighbor methods. Furthermore, we introduce the first self-supervised model that performs similarly to supervised models when only off-the-shelf features are used in a linear probing setup. In particular, our model is trained natively in 3D with a novel self-supervised approach based on a Masked Scene Modeling objective, which reconstructs deep features of masked patches in a bottom-up manner and is specifically tailored to hierarchical 3D models. Our experiments not only demonstrate that our method achieves competitive performance to supervised models, but also surpasses existing self-supervised approaches by a large margin. The model and training code can be found at our Github repository (https://github.com/phermosilla/msm).