ShapeSplat: 가우시안 스플랫 및 그들의 자가 지도 사전 훈련을 위한 대규모 데이터셋

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

저자: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

초록

3D 가우시안 스플래팅(3DGS)은 많은 시각 작업에서 3D 표현의 사실상의 방법이 되었습니다. 이는 이 표현 공간에서 3D 이해를 직접 요구합니다. 이 방향의 연구를 용이하게 하기 위해, 우리는 먼저 널리 사용되는 ShapeNet 및 ModelNet 데이터셋을 사용하여 대규모 3DGS 데이터셋을 구축합니다. 우리의 데이터셋 ShapeSplat은 87개의 고유한 범주에서 65,000개의 객체로 구성되어 있으며, 해당 데이터셋과 일치하는 레이블을 가지고 있습니다. 이 데이터셋의 생성에는 TITAN XP GPU에서 2 GPU 연도에 해당하는 컴퓨팅이 사용되었습니다. 우리는 이 데이터셋을 분류 및 분할 작업을 위한 비지도 사전 훈련 및 지도된 세밀 조정에 활용합니다. 이를 위해 우리는 가우시안 매개변수로부터 표현 학습의 독특한 이점을 강조하는 \textit{가우시안-MAE}를 소개합니다. 철저한 실험을 통해 여러 가치 있는 통찰을 제공합니다. 특히, 우리는 보다 (1) 최적화된 GS 중심의 분포가 균일하게 샘플링된 포인트 클라우드(초기화에 사용됨)와 현저하게 다르다는 것을 보여줍니다; (2) 이 분포 변화가 분류에서 저하를 초래하지만 중심만 사용할 때 분할 작업에서 개선을 가져옵니다; (3) 추가 가우시안 매개변수를 활용하기 위해 정규화된 특징 공간에서 가우시안 특징 그룹화를 제안하며, 이에 splats 풀링 레이어를 추가하여 유사한 가우시안을 효과적으로 그룹화하고 임베딩하는 맞춤형 솔루션을 제공하여 세밀 조정 작업에서 현저한 개선을 이끌어 냅니다.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.