Aprendizaje de Representaciones 3D a partir de Programas 3D Procedurales

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Autores: Xuweiyi Chen, Zezhou Cheng

cs.AI

Resumen

El aprendizaje auto-supervisado ha surgido como un enfoque prometedor para adquirir representaciones 3D transferibles a partir de nubes de puntos 3D no etiquetadas. A diferencia de las imágenes 2D, que son ampliamente accesibles, adquirir activos 3D requiere experiencia especializada o equipos de escaneo 3D profesionales, lo que dificulta la escalabilidad y plantea preocupaciones de derechos de autor. Para abordar estos desafíos, proponemos aprender representaciones 3D a partir de programas 3D procedurales que generan automáticamente formas 3D utilizando primitivas simples y aumentaciones. Notablemente, a pesar de carecer de contenido semántico, las representaciones 3D aprendidas a partir de este conjunto de datos sintetizado tienen un rendimiento comparable con representaciones de vanguardia aprendidas a partir de modelos 3D reconocibles semánticamente (por ejemplo, aviones) en diversas tareas 3D posteriores, incluida la clasificación de formas, segmentación de partes y completado de nubes de puntos enmascaradas. Nuestro análisis sugiere además que los métodos actuales de aprendizaje auto-supervisado capturan principalmente estructuras geométricas en lugar de semántica de alto nivel.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.