Apprentissage de représentations 3D à partir de programmes 3D procéduraux

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Auteurs: Xuweiyi Chen, Zezhou Cheng

cs.AI

Résumé

L'apprentissage auto-supervisé s'est imposé comme une approche prometteuse pour acquérir des représentations 3D transférables à partir de nuages de points 3D non étiquetés. Contrairement aux images 2D, largement accessibles, l'acquisition d'actifs 3D nécessite une expertise spécialisée ou un équipement de numérisation 3D professionnel, ce qui rend difficile l'évolutivité et soulève des préoccupations en matière de droits d'auteur. Pour relever ces défis, nous proposons d'apprendre des représentations 3D à partir de programmes 3D procéduraux qui génèrent automatiquement des formes 3D à l'aide de primitives simples et d'augmentations. Remarquablement, malgré l'absence de contenu sémantique, les représentations 3D apprises à partir de cet ensemble de données synthétisées sont à la hauteur des représentations de pointe apprises à partir de modèles 3D reconnaissables sémantiquement (par exemple, des avions) dans diverses tâches 3D ultérieures, notamment la classification de formes, la segmentation de parties et l'achèvement de nuages de points masqués. Notre analyse suggère en outre que les méthodes actuelles d'apprentissage auto-supervisé capturent principalement les structures géométriques plutôt que les sémantiques de haut niveau.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.