手続き型3Dプログラムから3D表現を学習する

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

著者: Xuweiyi Chen, Zezhou Cheng

cs.AI

要旨

自己教師付き学習は、未ラベルの3Dポイントクラウドから移転可能な3D表現を獲得するための有望な手法として登場しています。2D画像とは異なり、3Dアセットを取得するには専門知識や専用の3Dスキャン機器が必要であり、スケーリングが困難であり、著作権上の懸念が高まります。これらの課題に対処するために、私たちは、単純なプリミティブと拡張を使用して自動的に3D形状を生成する手続き型3Dプログラムから3D表現を学習することを提案します。 驚くべきことに、この合成データセットから学習された3D表現は、意味的なコンテンツを持たないにもかかわらず、形状分類、部位セグメンテーション、およびマスク付きポイントクラウド補完を含むさまざまな下流3Dタスクにおいて、意味的に認識可能な3Dモデル（例：飛行機）から学習された最先端の表現と同等の性能を発揮します。さらなる分析から、現在の自己教師付き学習手法は、主に高レベルの意味よりも幾何学的構造を主に捉えていることが示唆されます。

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.