UniDet3D: Multidataset 3D-objectdetectie binnenshuis

UniDet3D: Multi-dataset Indoor 3D Object Detection

September 6, 2024

Auteurs: Maksim Kolodiazhnyi, Anna Vorontsova, Matvey Skripkin, Danila Rukhovich, Anton Konushin

cs.AI

Samenvatting

De groeiende vraag van klanten naar slimme oplossingen in robotica en augmented reality heeft aanzienlijke aandacht getrokken naar 3D objectdetectie vanuit puntenwolken. Toch zijn bestaande binnen datasets op zichzelf te klein en onvoldoende divers om een krachtig en algemeen 3D objectdetectiemodel te trainen. Ondertussen zijn meer algemene benaderingen die gebruik maken van basis modellen nog steeds inferieur in kwaliteit aan die gebaseerd op begeleid leren voor een specifieke taak. In dit werk stellen we , een eenvoudig maar effectief 3D objectdetectiemodel voor, dat getraind is op een mix van binnen datasets en in staat is om te werken in verschillende binnenomgevingen. Door verschillende labelruimtes te verenigen, maakt het mogelijk om een sterke representatie te leren over meerdere datasets via een begeleid gezamenlijk trainingsplan. De voorgestelde netwerkarchitectuur is gebaseerd op een standaard transformer encoder, waardoor het eenvoudig is om de voorspellingspijplijn uit te voeren, aan te passen en uit te breiden voor praktisch gebruik. Uitgebreide experimenten tonen aan dat aanzienlijke verbeteringen behaalt ten opzichte van bestaande 3D objectdetectiemethoden in 6 binnen benchmarks: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50) en ScanNet++ (+2.7 mAP50). De code is beschikbaar op https://github.com/filapro/unidet3d.

English

Growing customer demand for smart solutions in robotics and augmented reality has attracted considerable attention to 3D object detection from point clouds. Yet, existing indoor datasets taken individually are too small and insufficiently diverse to train a powerful and general 3D object detection model. In the meantime, more general approaches utilizing foundation models are still inferior in quality to those based on supervised training for a specific task. In this work, we propose , a simple yet effective 3D object detection model, which is trained on a mixture of indoor datasets and is capable of working in various indoor environments. By unifying different label spaces, enables learning a strong representation across multiple datasets through a supervised joint training scheme. The proposed network architecture is built upon a vanilla transformer encoder, making it easy to run, customize and extend the prediction pipeline for practical use. Extensive experiments demonstrate that obtains significant gains over existing 3D object detection methods in 6 indoor benchmarks: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50), and ScanNet++ (+2.7 mAP50). Code is available at https://github.com/filapro/unidet3d .