ShapeSplat: Een grootschalige dataset van Gaussische splats en hun zelfgesuperviseerde voorafgaande training

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

Auteurs: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

Samenvatting

3D Gaussian Splatting (3DGS) is uitgegroeid tot de de facto methode voor 3D-representatie in veel visuele taken. Dit vraagt om 3D-begrip direct in deze representatieruimte. Om onderzoek in deze richting te faciliteren, bouwen we eerst een grootschalige dataset van 3DGS met behulp van de veelgebruikte ShapeNet- en ModelNet-datasets. Onze dataset, ShapeSplat, bestaat uit 65K objecten uit 87 unieke categorieën, waarvan de labels overeenkomen met de respectievelijke datasets. Het maken van deze dataset vereiste een rekenkracht equivalent aan 2 GPU-jaren op een TITAN XP GPU. We gebruiken onze dataset voor unsupervised pretraining en supervised finetuning voor classificatie- en segmentatietaken. Hiertoe introduceren we \textit{Gaussian-MAE}, dat de unieke voordelen van representatieleren vanuit Gaussiaanse parameters benadrukt. Door uitgebreide experimenten bieden we verschillende waardevolle inzichten. In het bijzonder tonen we aan dat (1) de verdeling van de geoptimaliseerde GS-centroïden significant verschilt van de uniform bemonsterde puntenwolk (gebruikt voor initialisatie); (2) deze verandering in verdeling leidt tot verslechtering in classificatie maar verbetering in segmentatietaken wanneer alleen de centroïden worden gebruikt; (3) om aanvullende Gaussiaanse parameters te benutten, stellen we Gaussiaanse featuregroepering voor in een genormaliseerde feature-ruimte, samen met een splats pooling layer, wat een op maat gemaakte oplossing biedt om vergelijkbare Gaussiaanse functies effectief te groeperen en in te bedden, wat leidt tot aanzienlijke verbetering in finetuning-taken.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.