ShapeSplat: Ein umfangreiches Datenset von Gauß'schen Splat-Formen und deren selbstüberwachtes Vortraining

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

Autoren: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

Zusammenfassung

Die 3D-Gaußsplatting (3DGS) ist zur Standardmethode der 3D-Repräsentation in vielen visuellen Aufgaben geworden. Dies erfordert ein direktes 3D-Verständnis in diesem Repräsentationsraum. Um die Forschung in diese Richtung zu erleichtern, haben wir zunächst einen groß angelegten Datensatz von 3DGS unter Verwendung der häufig verwendeten ShapeNet- und ModelNet-Datensätze erstellt. Unser Datensatz ShapeSplat besteht aus 65.000 Objekten aus 87 einzigartigen Kategorien, deren Bezeichnungen mit den jeweiligen Datensätzen übereinstimmen. Die Erstellung dieses Datensatzes erforderte die Rechenleistung von 2 GPU-Jahren auf einer TITAN XP GPU. Wir nutzen unseren Datensatz für unüberwachtes Pretraining und überwachtes Feintuning für Klassifizierungs- und Segmentierungsaufgaben. Zu diesem Zweck führen wir \textit{Gaussian-MAE} ein, das die einzigartigen Vorteile des Repräsentationslernens aus Gauß-Parametern hervorhebt. Durch umfangreiche Experimente liefern wir mehrere wertvolle Erkenntnisse. Insbesondere zeigen wir, dass (1) die Verteilung der optimierten GS-Zentroide signifikant von der gleichmäßig ausgewählten Punktewolke (die für die Initialisierung verwendet wird) abweicht; (2) diese Änderung in der Verteilung zu einer Verschlechterung bei der Klassifizierung, aber zu einer Verbesserung bei Segmentierungsaufgaben führt, wenn nur die Zentroide verwendet werden; (3) um zusätzliche Gauß-Parameter zu nutzen, schlagen wir die Gruppierung von Gauß-Merkmalen in einem normalisierten Merkmalsraum vor, zusammen mit einer Splat-Pooling-Schicht, die eine maßgeschneiderte Lösung bietet, um ähnliche Gaußsche Funktionen effektiv zu gruppieren und einzubetten, was zu einer bemerkenswerten Verbesserung bei Feintuning-Aufgaben führt.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.