Aprendizado de Representações 3D a partir de Programas 3D Procedurais

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Autores: Xuweiyi Chen, Zezhou Cheng

cs.AI

Resumo

A aprendizagem auto-supervisionada surgiu como uma abordagem promissora para adquirir representações 3D transferíveis a partir de nuvens de pontos 3D não rotuladas. Ao contrário de imagens 2D, que são amplamente acessíveis, adquirir ativos 3D requer conhecimento especializado ou equipamentos profissionais de digitalização 3D, tornando difícil a escalabilidade e levantando preocupações de direitos autorais. Para enfrentar esses desafios, propomos aprender representações 3D a partir de programas 3D procedurais que geram automaticamente formas 3D usando primitivas simples e augmentations. Notavelmente, apesar de não possuírem conteúdo semântico, as representações 3D aprendidas a partir deste conjunto de dados sintetizado têm desempenho comparável às representações de última geração aprendidas a partir de modelos 3D semanticamente reconhecíveis (por exemplo, aviões) em várias tarefas 3D subsequentes, incluindo classificação de formas, segmentação de partes e conclusão de nuvem de pontos mascarados. Nossa análise sugere ainda que os métodos atuais de aprendizagem auto-supervisionada capturam principalmente estruturas geométricas em vez de semântica de alto nível.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.