ShapeSplat: Um Conjunto de Dados em Grande Escala de Manchas Gaussianas e Seu Pré-treinamento Auto-supervisionado

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

Autores: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

Resumo

O Splatting Gaussiano 3D (3DGS) tornou-se o método padrão de representação 3D em muitas tarefas de visão. Isso requer a compreensão 3D diretamente neste espaço de representação. Para facilitar a pesquisa nessa direção, primeiro construímos um conjunto de dados em grande escala de 3DGS usando os conjuntos de dados ShapeNet e ModelNet comumente utilizados. Nosso conjunto de dados ShapeSplat consiste em 65 mil objetos de 87 categorias únicas, cujos rótulos estão de acordo com os respectivos conjuntos de dados. A criação deste conjunto de dados utilizou o equivalente computacional de 2 anos de GPU em uma GPU TITAN XP. Utilizamos nosso conjunto de dados para pré-treinamento não supervisionado e ajuste fino supervisionado para tarefas de classificação e segmentação. Para isso, introduzimos o \textit{Gaussian-MAE}, que destaca os benefícios únicos da aprendizagem de representação a partir de parâmetros Gaussianos. Através de experimentos exaustivos, fornecemos várias percepções valiosas. Em particular, mostramos que (1) a distribuição dos centróides de GS otimizados difere significativamente do contraparte da nuvem de pontos amostrada uniformemente (usada para inicialização); (2) essa mudança na distribuição resulta em degradação na classificação, mas melhora nas tarefas de segmentação ao usar apenas os centróides; (3) para aproveitar parâmetros Gaussianos adicionais, propomos o agrupamento de características Gaussianas em um espaço de características normalizado, juntamente com uma camada de agrupamento de splats, oferecendo uma solução personalizada para agrupar e incorporar efetivamente Gaussians semelhantes, o que leva a uma melhoria notável nas tarefas de ajuste fino.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.