Sonata: Zelfsupervisie Leren van Betrouwbare Puntrepresentaties

Sonata: Self-Supervised Learning of Reliable Point Representations

March 20, 2025

Auteurs: Xiaoyang Wu, Daniel DeTone, Duncan Frost, Tianwei Shen, Chris Xie, Nan Yang, Jakob Engel, Richard Newcombe, Hengshuang Zhao, Julian Straub

cs.AI

Samenvatting

In dit artikel onderzoeken we of we een betrouwbaar zelfgesuperviseerd puntenwolk-model hebben dat kan worden gebruikt voor diverse 3D-taken via eenvoudige lineaire probing, zelfs met beperkte data en minimale rekenkracht. We constateren dat bestaande 3D-zelfgesuperviseerde leerbenaderingen tekortschieten wanneer ze worden geëvalueerd op representatiekwaliteit door middel van lineaire probing. We veronderstellen dat dit komt door wat we de "geometrische shortcut" noemen, waardoor representaties inzakken naar laagwaardige ruimtelijke kenmerken. Deze uitdaging is uniek voor 3D en ontstaat door de schaarse aard van puntenwolkdata. We pakken dit aan via twee belangrijke strategieën: het verhullen van ruimtelijke informatie en het vergroten van de afhankelijkheid van invoerkenmerken, wat uiteindelijk resulteert in een Sonata van 140k puntenwolken door middel van zelfdistillatie. Sonata is eenvoudig en intuïtief, maar de geleerde representaties zijn sterk en betrouwbaar: zero-shot visualisaties tonen semantische groepering, naast sterke ruimtelijke redenering door middel van nearest-neighbor-relaties. Sonata toont uitzonderlijke parameter- en data-efficiëntie, verdrievoudigt de nauwkeurigheid van lineaire probing (van 21,8% naar 72,5%) op ScanNet en verdubbelt bijna de prestaties met slechts 1% van de data in vergelijking met eerdere benaderingen. Volledige fine-tuning brengt de state-of-the-art verder vooruit in zowel 3D binnen- als buitenomgevingsperceptietaken.

English

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.