Обучение трехмерным представлениям на основе процедурных трехмерных программ

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Авторы: Xuweiyi Chen, Zezhou Cheng

cs.AI

Аннотация

Самообучение стало перспективным подходом к получению переносимых трехмерных представлений из неразмеченных облаков точек. В отличие от двумерных изображений, к которым широкий доступ, получение трехмерных ресурсов требует специализированных знаний или профессионального оборудования для сканирования 3D, что затрудняет масштабирование и вызывает проблемы с авторскими правами. Для решения этих проблем мы предлагаем изучать трехмерные представления из процедурных 3D программ, которые автоматически генерируют 3D формы, используя простые примитивы и дополнения. Замечательно, что несмотря на отсутствие семантического содержания, трехмерные представления, изученные из этого синтезированного набора данных, проявляют себя на уровне передовых представлений, изученных из семантически узнаваемых трехмерных моделей (например, самолетов) на различных последующих трехмерных задачах, включая классификацию формы, сегментацию частей и завершение маскированных облаков точек. Наш анализ дополнительно показывает, что текущие методы самообучения в основном захватывают геометрические структуры, а не высокоуровневую семантику.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.