Sonata: Apprendimento Autosupervisionato di Rappresentazioni Puntuali Affidabili

Abstract

In questo articolo, ci chiediamo se disponiamo di un modello affidabile di point cloud auto-supervisionato che possa essere utilizzato per diverse attività 3D tramite semplice linear probing, anche con dati limitati e un minimo di calcolo. Scopriamo che gli approcci esistenti di apprendimento auto-supervisionato 3D non sono all'altezza quando valutati sulla qualità della rappresentazione attraverso il linear probing. Ipotesizziamo che ciò sia dovuto a quello che definiamo "scorciatoia geometrica", che fa collassare le rappresentazioni in caratteristiche spaziali di basso livello. Questa sfida è unica nel contesto 3D e deriva dalla natura sparsa dei dati di point cloud. La affrontiamo attraverso due strategie chiave: oscurare le informazioni spaziali e aumentare la dipendenza dalle caratteristiche di input, componendo infine una Sonata di 140k point cloud attraverso l'auto-distillazione. Sonata è semplice e intuitivo, ma le sue rappresentazioni apprese sono forti e affidabili: visualizzazioni zero-shot dimostrano un raggruppamento semantico, insieme a un forte ragionamento spaziale attraverso relazioni di vicinato più prossimo. Sonata dimostra un'eccellente efficienza in termini di parametri e dati, triplicando l'accuratezza del linear probing (da 21,8% a 72,5%) su ScanNet e quasi raddoppiando le prestazioni con solo l'1% dei dati rispetto agli approcci precedenti. Il fine-tuning completo avanza ulteriormente lo stato dell'arte in entrambi i compiti di percezione 3D indoor e outdoor.

English

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.

Sonata: Apprendimento Autosupervisionato di Rappresentazioni Puntuali Affidabili

Sonata: Self-Supervised Learning of Reliable Point Representations

Abstract

Support