ARKit LabelMaker: Новый масштаб для понимания трехмерных сцен в помещениях.

ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

October 17, 2024

Авторы: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum

cs.AI

Аннотация

Производительность нейронных сетей масштабируется как с их размером, так и с объемом данных, на которых они были обучены. Это продемонстрировано как в генерации языка, так и изображений. Однако для этого необходимы архитектуры сетей, удобные для масштабирования, а также крупномасштабные наборы данных. Несмотря на появление архитектур, удобных для масштабирования, таких как трансформеры, для задач трехмерного зрения, момент GPT в трехмерном зрении остается далеким из-за недостатка обучающих данных. В данной статье мы представляем ARKit LabelMaker, первый крупномасштабный, реальный набор данных трехмерного мира с плотными семантическими аннотациями. Конкретно, мы дополняем набор данных ARKitScenes плотными семантическими аннотациями, которые автоматически генерируются в крупном масштабе. Для этого мы расширяем LabelMaker, недавний автоматический конвейер аннотации, чтобы удовлетворить потребности крупномасштабного предварительного обучения. Это включает расширение конвейера с передовыми моделями сегментации, а также обеспечение его устойчивости к вызовам крупномасштабной обработки. Кроме того, мы продвигаем передовую производительность на наборах данных ScanNet и ScanNet200 с распространенными моделями трехмерной семантической сегментации, демонстрируя эффективность нашего созданного набора данных.

English

The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.