ShapeSplat: ガウススプラットとその自己教師あり事前学習の大規模データセット

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

著者: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

要旨

3Dガウシアンスプラッティング（3DGS）は、多くの視覚タスクにおいて3D表現のデファクトスタンダードとなっています。これにより、この表現空間における直接的な3D理解が求められています。この方向性の研究を促進するため、我々はまず、広く使用されているShapeNetとModelNetデータセットを用いて大規模な3DGSデータセットを構築しました。我々のデータセット「ShapeSplat」は、87のユニークなカテゴリからなる65Kのオブジェクトで構成され、そのラベルはそれぞれのデータセットに準拠しています。このデータセットの作成には、TITAN XP GPU上で2GPU年分に相当する計算リソースが使用されました。 我々は、このデータセットを分類とセグメンテーションタスクのための教師なし事前学習と教師ありファインチューニングに活用します。この目的のために、ガウシアンパラメータからの表現学習の独自の利点を強調する\textit{Gaussian-MAE}を導入します。徹底的な実験を通じて、いくつかの貴重な知見を提供します。特に、(1)最適化されたGSセントロイドの分布は、初期化に使用される一様にサンプリングされた点群とは大きく異なること、(2)この分布の変化は、セントロイドのみを使用した場合、分類タスクでは性能が低下するが、セグメンテーションタスクでは改善をもたらすこと、(3)追加のガウシアンパラメータを活用するために、正規化された特徴空間におけるガウシアン特徴グループ化とスプラッツプーリング層を提案し、類似したガウシアンを効果的にグループ化および埋め込むためのカスタマイズされたソリューションを提供し、ファインチューニングタスクにおいて顕著な改善をもたらすことを示します。

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.