Sonata: Aprendizado Autossupervisionado de Representações Pontuais Confiáveis

Sonata: Self-Supervised Learning of Reliable Point Representations

March 20, 2025

Autores: Xiaoyang Wu, Daniel DeTone, Duncan Frost, Tianwei Shen, Chris Xie, Nan Yang, Jakob Engel, Richard Newcombe, Hengshuang Zhao, Julian Straub

cs.AI

Resumo

Neste artigo, questionamos se temos um modelo confiável de nuvem de pontos auto-supervisionado que pode ser usado para diversas tarefas 3D por meio de uma simples sondagem linear, mesmo com dados limitados e computação mínima. Descobrimos que as abordagens existentes de aprendizado auto-supervisionado 3D ficam aquém quando avaliadas pela qualidade da representação através de sondagem linear. Nossa hipótese é que isso se deve ao que chamamos de "atalho geométrico", que faz com que as representações colapsem em características espaciais de baixo nível. Esse desafio é exclusivo do 3D e surge da natureza esparsa dos dados de nuvem de pontos. Nós o abordamos por meio de duas estratégias principais: obscurecer informações espaciais e aumentar a dependência das características de entrada, compondo, por fim, uma Sonata de 140 mil nuvens de pontos através de auto-distilação. A Sonata é simples e intuitiva, mas suas representações aprendidas são robustas e confiáveis: visualizações zero-shot demonstram agrupamento semântico, juntamente com um forte raciocínio espacial por meio de relações de vizinhos mais próximos. A Sonata demonstra uma eficiência excepcional em termos de parâmetros e dados, triplicando a precisão da sondagem linear (de 21,8% para 72,5%) no ScanNet e quase dobrando o desempenho com apenas 1% dos dados em comparação com abordagens anteriores. O ajuste fino completo avança ainda mais o estado da arte (SOTA) em tarefas de percepção 3D tanto internas quanto externas.

English

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.