ARKit LabelMaker: 屋内3Dシーン理解の新たなスケール

ARKit LabelMaker: A New Scale for Indoor 3D Scene Understanding

October 17, 2024

著者: Guangda Ji, Silvan Weder, Francis Engelmann, Marc Pollefeys, Hermann Blum

cs.AI

要旨

ニューラルネットワークのパフォーマンスは、そのサイズと訓練に使用されたデータ量の両方に比例します。これは言語生成や画像生成の両方で示されています。ただし、これにはスケーリングに適したネットワークアーキテクチャと大規模なデータセットが必要です。最近では、3Dビジョンタスク向けのトランスフォーマーなど、スケーリングに適したアーキテクチャが登場していますが、トレーニングデータの不足により、3DビジョンのGPTモーメントは遠い存在となっています。本論文では、密な意味的注釈を持つ初の大規模な実世界3DデータセットであるARKit LabelMakerを紹介します。具体的には、ARKitScenesデータセットを、自動的に生成された密な意味的注釈で補完します。このために、最近の自動注釈パイプラインであるLabelMakerを拡張し、大規模な事前トレーニングのニーズに対応します。これには、最先端のセグメンテーションモデルを導入するとともに、大規模処理の課題に対処するための強固さを確保します。さらに、主要な3Dセマンティックセグメンテーションモデルを使用して、ScanNetおよびScanNet200データセットで最新のパフォーマンスを達成し、生成されたデータセットの効果を示します。

English

The performance of neural networks scales with both their size and the amount of data they have been trained on. This is shown in both language and image generation. However, this requires scaling-friendly network architectures as well as large-scale datasets. Even though scaling-friendly architectures like transformers have emerged for 3D vision tasks, the GPT-moment of 3D vision remains distant due to the lack of training data. In this paper, we introduce ARKit LabelMaker, the first large-scale, real-world 3D dataset with dense semantic annotations. Specifically, we complement ARKitScenes dataset with dense semantic annotations that are automatically generated at scale. To this end, we extend LabelMaker, a recent automatic annotation pipeline, to serve the needs of large-scale pre-training. This involves extending the pipeline with cutting-edge segmentation models as well as making it robust to the challenges of large-scale processing. Further, we push forward the state-of-the-art performance on ScanNet and ScanNet200 dataset with prevalent 3D semantic segmentation models, demonstrating the efficacy of our generated dataset.