ShapeSplat: Un Dataset su larga scala di Splat Gaussiani e il loro Pretraining Auto-Supervisionato

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

Autori: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

Abstract

Il 3D Gaussian Splatting (3DGS) è diventato il metodo di rappresentazione 3D di fatto in molti compiti di visione artificiale. Ciò richiede una comprensione 3D direttamente in questo spazio di rappresentazione. Per facilitare la ricerca in questa direzione, abbiamo prima costruito un dataset su larga scala di 3DGS utilizzando i comuni dataset ShapeNet e ModelNet. Il nostro dataset, chiamato ShapeSplat, consiste in 65K oggetti provenienti da 87 categorie uniche, le cui etichette sono in linea con i rispettivi dataset. La creazione di questo dataset ha richiesto l'equivalente di 2 anni di calcolo su una GPU TITAN XP. Utilizziamo il nostro dataset per il pretraining non supervisionato e il fine-tuning supervisionato per compiti di classificazione e segmentazione. A tal fine, introduciamo \textit{Gaussian-MAE}, che mette in luce i benefici unici dell'apprendimento di rappresentazione dai parametri gaussiani. Attraverso esperimenti esaustivi, forniamo diverse intuizioni preziose. In particolare, dimostriamo che (1) la distribuzione dei centroidi GS ottimizzati differisce significativamente dalla controparte di nuvole di punti campionate uniformemente (utilizzata per l'inizializzazione); (2) questo cambiamento nella distribuzione comporta un degrado nella classificazione ma un miglioramento nei compiti di segmentazione quando si utilizzano solo i centroidi; (3) per sfruttare ulteriori parametri gaussiani, proponiamo il raggruppamento di feature gaussiane in uno spazio di feature normalizzato, insieme a un livello di pooling degli splat, offrendo una soluzione su misura per raggruppare e incorporare efficacemente gaussiane simili, il che porta a un miglioramento significativo nei compiti di fine-tuning.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.