ARKit LabelMaker: Una nuova scala per la comprensione delle scene 3D indoor

ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

October 17, 2024

Autori: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum

cs.AI

Abstract

Le prestazioni delle reti neurali migliorano sia con le loro dimensioni che con la quantità di dati su cui sono state addestrate. Questo è dimostrato sia nella generazione di linguaggio che di immagini. Tuttavia, ciò richiede architetture di reti adatte alla scalabilità e set di dati su larga scala. Anche se sono emerse architetture di reti adatte alla scalabilità come i trasformatori per compiti di visione 3D, il momento GPT della visione 3D rimane distante a causa della mancanza di dati di addestramento. In questo articolo, presentiamo ARKit LabelMaker, il primo dataset 3D su larga scala del mondo reale con annotazioni semantiche dense. In particolare, integriamo il dataset ARKitScenes con annotazioni semantiche dense generate automaticamente su larga scala. A tal fine, estendiamo LabelMaker, un recente flusso di lavoro di annotazione automatica, per soddisfare le esigenze del pre-addestramento su larga scala. Ciò comporta l'estensione del flusso di lavoro con modelli di segmentazione all'avanguardia e rendendolo robusto alle sfide dell'elaborazione su larga scala. Inoltre, spingiamo avanti le prestazioni all'avanguardia su ScanNet e ScanNet200 dataset con modelli diffusi di segmentazione semantica 3D, dimostrando l'efficacia del nostro dataset generato.

English

The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.