ShapeSplat: крупномасштабный набор данных гауссовских капель и их предварительное обучение без учителя

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

August 20, 2024

Авторы: Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

cs.AI

Аннотация

3D Гауссово сглаживание (3DGS) стал фактическим методом представления 3D во многих задачах компьютерного зрения. Это требует прямого понимания 3D в этом пространстве представления. Для облегчения исследований в этом направлении мы сначала создаем крупномасштабный набор данных 3DGS, используя широко используемые наборы данных ShapeNet и ModelNet. Наш набор данных ShapeSplat состоит из 65 тыс. объектов из 87 уникальных категорий, метки которых соответствуют соответствующим наборам данных. Создание этого набора данных потребовало вычислительного эквивалента 2 года на GPU TITAN XP. Мы используем наш набор данных для ненадзорного предварительного обучения и надзорного дообучения для задач классификации и сегментации. Для этого мы представляем \textit{Gaussian-MAE}, который выделяет уникальные преимущества обучения представлений на основе параметров Гаусса. Через исчерпывающие эксперименты мы предоставляем несколько ценных идей. В частности, мы показываем, что (1) распределение оптимизированных центроидов GS значительно отличается от равномерно выбранной облака точек (используемой для инициализации); (2) это изменение распределения приводит к ухудшению классификации, но улучшению задач сегментации при использовании только центроидов; (3) для использования дополнительных параметров Гаусса мы предлагаем группировку признаков Гаусса в нормализованном пространстве признаков, вместе с слоем пула сглаживания, предлагая индивидуальное решение для эффективной группировки и встраивания похожих Гауссов, что приводит к значительному улучшению в задачах дообучения.

English

3D Gaussian Splatting (3DGS) has become the de facto method of 3D representation in many vision tasks. This calls for the 3D understanding directly in this representation space. To facilitate the research in this direction, we first build a large-scale dataset of 3DGS using the commonly used ShapeNet and ModelNet datasets. Our dataset ShapeSplat consists of 65K objects from 87 unique categories, whose labels are in accordance with the respective datasets. The creation of this dataset utilized the compute equivalent of 2 GPU years on a TITAN XP GPU. We utilize our dataset for unsupervised pretraining and supervised finetuning for classification and segmentation tasks. To this end, we introduce \textit{Gaussian-MAE}, which highlights the unique benefits of representation learning from Gaussian parameters. Through exhaustive experiments, we provide several valuable insights. In particular, we show that (1) the distribution of the optimized GS centroids significantly differs from the uniformly sampled point cloud (used for initialization) counterpart; (2) this change in distribution results in degradation in classification but improvement in segmentation tasks when using only the centroids; (3) to leverage additional Gaussian parameters, we propose Gaussian feature grouping in a normalized feature space, along with splats pooling layer, offering a tailored solution to effectively group and embed similar Gaussians, which leads to notable improvement in finetuning tasks.