Sonata: Самообучение надежных точечных представлений

Sonata: Self-Supervised Learning of Reliable Point Representations

March 20, 2025

Авторы: Xiaoyang Wu, Daniel DeTone, Duncan Frost, Tianwei Shen, Chris Xie, Nan Yang, Jakob Engel, Richard Newcombe, Hengshuang Zhao, Julian Straub

cs.AI

Аннотация

В данной статье мы задаемся вопросом, существует ли надежная модель с самоконтролем для работы с облаками точек, которая может быть использована для разнообразных 3D-задач с помощью простого линейного зондирования, даже при ограниченных данных и минимальных вычислительных ресурсах. Мы обнаруживаем, что существующие подходы к самоконтролируемому обучению в 3D не справляются с задачей, когда оценивается качество представлений через линейное зондирование. Мы предполагаем, что это связано с тем, что мы называем "геометрическим упрощением", которое приводит к коллапсу представлений в низкоуровневые пространственные признаки. Эта проблема уникальна для 3D и возникает из-за разреженной природы данных облаков точек. Мы решаем ее с помощью двух ключевых стратегий: сокрытия пространственной информации и усиления зависимости от входных признаков, в конечном итоге создавая Sonata из 140 тысяч облаков точек через самодистилляцию. Sonata проста и интуитивно понятна, однако ее обученные представления являются сильными и надежными: визуализации с нулевым обучением демонстрируют семантическую группировку, а также сильное пространственное мышление через отношения ближайших соседей. Sonata демонстрирует исключительную эффективность по параметрам и данным, утраивая точность линейного зондирования (с 21,8% до 72,5%) на ScanNet и почти удваивая производительность при использовании всего 1% данных по сравнению с предыдущими подходами. Полная тонкая настройка дополнительно улучшает состояние искусства (SOTA) как для задач 3D-восприятия в помещении, так и на открытом воздухе.

English

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.