Het leren van 3D representaties uit procedurele 3D programma's.

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Auteurs: Xuweiyi Chen, Zezhou Cheng

cs.AI

Samenvatting

Zelfgestuurd leren is naar voren gekomen als een veelbelovende benadering voor het verkrijgen van overdraagbare 3D-representaties van ongelabelde 3D-puntenwolken. In tegenstelling tot 2D-afbeeldingen, die wijdverspreid toegankelijk zijn, vereist het verkrijgen van 3D-middelen gespecialiseerde expertise of professionele 3D-scanequipment, waardoor opschalen moeilijk wordt en auteursrechtelijke zorgen ontstaan. Om deze uitdagingen aan te pakken, stellen we voor om 3D-representaties te leren van procedurele 3D-programma's die automatisch 3D-vormen genereren met behulp van eenvoudige primitieven en augmentaties. Opmerkelijk is dat, ondanks het ontbreken van semantische inhoud, de 3D-representaties die zijn geleerd van deze gesynthetiseerde dataset vergelijkbaar presteren met state-of-the-art representaties die zijn geleerd van semantisch herkenbare 3D-modellen (bijv. vliegtuigen) bij verschillende downstream 3D-taken, waaronder vormclassificatie, deelsegmentatie en het invullen van gemaskeerde puntenwolken. Onze analyse suggereert verder dat huidige zelfgestuurde leermethoden voornamelijk geometrische structuren vastleggen in plaats van hoog-niveau semantiek.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.