Sonata : Apprentissage auto-supervisé de représentations fiables de points

Sonata: Self-Supervised Learning of Reliable Point Representations

March 20, 2025

Auteurs: Xiaoyang Wu, Daniel DeTone, Duncan Frost, Tianwei Shen, Chris Xie, Nan Yang, Jakob Engel, Richard Newcombe, Hengshuang Zhao, Julian Straub

cs.AI

Résumé

Dans cet article, nous nous interrogeons sur l'existence d'un modèle auto-supervisé fiable pour les nuages de points, capable d'être utilisé pour diverses tâches 3D via un simple sondage linéaire, même avec des données limitées et un calcul minimal. Nous constatons que les approches existantes d'apprentissage auto-supervisé en 3D ne répondent pas aux attentes en termes de qualité de représentation lorsqu'elles sont évaluées par sondage linéaire. Nous émettons l'hypothèse que cela est dû à ce que nous appelons le "raccourci géométrique", qui entraîne un effondrement des représentations vers des caractéristiques spatiales de bas niveau. Ce défi est unique à la 3D et découle de la nature parcellaire des données de nuages de points. Nous y remédions grâce à deux stratégies clés : l'obscurcissement des informations spatiales et le renforcement de la dépendance aux caractéristiques d'entrée, aboutissant finalement à la composition d'une Sonata de 140 000 nuages de points par auto-distillation. Sonata est simple et intuitif, mais ses représentations apprises sont robustes et fiables : les visualisations en zero-shot démontrent un regroupement sémantique, ainsi qu'un raisonnement spatial solide à travers les relations de plus proches voisins. Sonata montre une efficacité exceptionnelle en termes de paramètres et de données, triplant la précision du sondage linéaire (de 21,8 % à 72,5 %) sur ScanNet et doublant presque les performances avec seulement 1 % des données par rapport aux approches précédentes. Un réglage fin complet fait progresser l'état de l'art dans les tâches de perception 3D en intérieur et en extérieur.

English

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.