Lernen von 3D-Repräsentationen aus prozeduralen 3D-Programmen

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Autoren: Xuweiyi Chen, Zezhou Cheng

cs.AI

Zusammenfassung

Das selbstüberwachte Lernen hat sich als vielversprechender Ansatz zur Erlangung übertragbarer 3D-Repräsentationen aus unbeschrifteten 3D-Punktwolken herauskristallisiert. Im Gegensatz zu 2D-Bildern, die weit verbreitet sind, erfordert der Erwerb von 3D-Ressourcen spezialisierte Fachkenntnisse oder professionelle 3D-Scangeräte, was die Skalierung erschwert und urheberrechtliche Bedenken aufwirft. Um diesen Herausforderungen zu begegnen, schlagen wir vor, 3D-Repräsentationen aus prozeduralen 3D-Programmen zu erlernen, die automatisch 3D-Formen mithilfe einfacher Primitiven und Erweiterungen generieren. Bemerkenswerterweise zeigen die aus diesem synthetisierten Datensatz erlernten 3D-Repräsentationen, obwohl sie keinen semantischen Inhalt aufweisen, eine Leistung auf Augenhöhe mit modernsten Repräsentationen, die aus semantisch erkennbaren 3D-Modellen (z. B. Flugzeugen) für verschiedene nachgelagerte 3D-Aufgaben wie Formklassifizierung, Teilesegmentierung und maskierte Punktwolkenvervollständigung erlernt wurden. Unsere Analyse legt weiterhin nahe, dass aktuelle selbstüberwachte Lernmethoden hauptsächlich geometrische Strukturen anstelle von hochrangigen Semantiken erfassen.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.