ShapeSplat: Un conjunto de datos a gran escala de salpicaduras gaussianas y su preentrenamiento auto-supervisado.

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

Autores: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

Resumen

El Splatting Gaussiano 3D (3DGS) se ha convertido en el método de representación 3D por defecto en muchas tareas de visión. Esto requiere una comprensión 3D directamente en este espacio de representación. Para facilitar la investigación en esta dirección, primero construimos un conjunto de datos a gran escala de 3DGS utilizando los conjuntos de datos ShapeNet y ModelNet comúnmente utilizados. Nuestro conjunto de datos ShapeSplat consta de 65K objetos de 87 categorías únicas, cuyas etiquetas están en concordancia con los respectivos conjuntos de datos. La creación de este conjunto de datos utilizó el equivalente computacional de 2 años de GPU en una GPU TITAN XP. Utilizamos nuestro conjunto de datos para el preentrenamiento no supervisado y el ajuste fino supervisado para tareas de clasificación y segmentación. Con este fin, presentamos \textit{Gaussian-MAE}, que destaca los beneficios únicos del aprendizaje de representación a partir de parámetros gaussianos. A través de experimentos exhaustivos, proporcionamos varias ideas valiosas. En particular, mostramos que (1) la distribución de los centroides de GS optimizados difiere significativamente de la nube de puntos muestreada uniformemente (utilizada para la inicialización); (2) este cambio en la distribución resulta en degradación en la clasificación pero mejora en las tareas de segmentación al usar solo los centroides; (3) para aprovechar parámetros gaussianos adicionales, proponemos el agrupamiento de características gaussianas en un espacio de características normalizado, junto con una capa de agrupamiento de splats, ofreciendo una solución personalizada para agrupar e incrustar de manera efectiva Gaussians similares, lo que conduce a una notable mejora en las tareas de ajuste fino.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.