ARKit LabelMaker: Una Nueva Escala para la Comprensión de Escenas 3D en Interiores

ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

October 17, 2024

Autores: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum

cs.AI

Resumen

El rendimiento de las redes neuronales aumenta tanto con su tamaño como con la cantidad de datos en los que han sido entrenadas. Esto se evidencia tanto en la generación de lenguaje como de imágenes. Sin embargo, esto requiere arquitecturas de redes amigables con el escalado, así como conjuntos de datos a gran escala. Aunque han surgido arquitecturas amigables con el escalado como los transformadores para tareas de visión 3D, el momento GPT de la visión 3D sigue estando lejos debido a la falta de datos de entrenamiento. En este documento, presentamos ARKit LabelMaker, el primer conjunto de datos 3D del mundo real a gran escala con anotaciones semánticas densas. Específicamente, complementamos el conjunto de datos ARKitScenes con anotaciones semánticas densas que se generan automáticamente a gran escala. Para ello, ampliamos LabelMaker, un reciente canal de anotación automática, para satisfacer las necesidades de pre-entrenamiento a gran escala. Esto implica ampliar el canal con modelos de segmentación de vanguardia, así como hacerlo robusto ante los desafíos del procesamiento a gran escala. Además, avanzamos en el rendimiento de vanguardia en los conjuntos de datos ScanNet y ScanNet200 con modelos prevalentes de segmentación semántica 3D, demostrando la eficacia de nuestro conjunto de datos generado.

English

The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.