Modelagem de Cenas com Máscara: Reduzindo a Lacuna entre Aprendizado Supervisionado e Auto-Supervisionado na Compreensão de Cenas 3D

Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding

April 9, 2025

Autores: Pedro Hermosilla, Christian Stippel, Leon Sick

cs.AI

Resumo

O aprendizado auto-supervisionado transformou a visão computacional 2D ao permitir que modelos treinados em grandes conjuntos de dados não anotados fornecessem recursos versáteis prontos para uso, com desempenho semelhante ao de modelos treinados com rótulos. No entanto, na compreensão de cenas 3D, os métodos auto-supervisionados são tipicamente usados apenas como uma etapa de inicialização de pesos para ajuste fino específico da tarefa, limitando sua utilidade para extração de recursos de propósito geral. Este artigo aborda essa limitação ao propor um protocolo de avaliação robusto especificamente projetado para avaliar a qualidade de recursos auto-supervisionados para compreensão de cenas 3D. Nosso protocolo utiliza amostragem de recursos multi-resolução de modelos hierárquicos para criar representações ricas em nível de ponto que capturam as capacidades semânticas do modelo e, portanto, são adequadas para avaliação com métodos de sondagem linear e vizinho mais próximo. Além disso, introduzimos o primeiro modelo auto-supervisionado que apresenta desempenho semelhante aos modelos supervisionados quando apenas recursos prontos para uso são empregados em uma configuração de sondagem linear. Em particular, nosso modelo é treinado nativamente em 3D com uma nova abordagem auto-supervisionada baseada em um objetivo de Modelagem de Cena Mascarada (Masked Scene Modeling), que reconstrói recursos profundos de patches mascarados de maneira bottom-up e é especificamente adaptada para modelos hierárquicos 3D. Nossos experimentos não apenas demonstram que nosso método alcança desempenho competitivo em relação aos modelos supervisionados, mas também supera as abordagens auto-supervisionadas existentes por uma grande margem. O modelo e o código de treinamento podem ser encontrados em nosso repositório no Github (https://github.com/phermosilla/msm).

English

Self-supervised learning has transformed 2D computer vision by enabling models trained on large, unannotated datasets to provide versatile off-the-shelf features that perform similarly to models trained with labels. However, in 3D scene understanding, self-supervised methods are typically only used as a weight initialization step for task-specific fine-tuning, limiting their utility for general-purpose feature extraction. This paper addresses this shortcoming by proposing a robust evaluation protocol specifically designed to assess the quality of self-supervised features for 3D scene understanding. Our protocol uses multi-resolution feature sampling of hierarchical models to create rich point-level representations that capture the semantic capabilities of the model and, hence, are suitable for evaluation with linear probing and nearest-neighbor methods. Furthermore, we introduce the first self-supervised model that performs similarly to supervised models when only off-the-shelf features are used in a linear probing setup. In particular, our model is trained natively in 3D with a novel self-supervised approach based on a Masked Scene Modeling objective, which reconstructs deep features of masked patches in a bottom-up manner and is specifically tailored to hierarchical 3D models. Our experiments not only demonstrate that our method achieves competitive performance to supervised models, but also surpasses existing self-supervised approaches by a large margin. The model and training code can be found at our Github repository (https://github.com/phermosilla/msm).