UniDet3D: Mehrdatensatz-Innenraum-3D-Objekterkennung

UniDet3D: Multi-dataset Indoor 3D Object Detection

September 6, 2024

Autoren: Maksim Kolodiazhnyi, Anna Vorontsova, Matvey Skripkin, Danila Rukhovich, Anton Konushin

cs.AI

Zusammenfassung

Die wachsende Kundennachfrage nach intelligenten Lösungen in Robotik und erweiterter Realität hat erhebliche Aufmerksamkeit auf die 3D-Objekterkennung aus Punktwolken gelenkt. Dennoch sind bestehende Innenraum-Datensätze einzeln betrachtet zu klein und unzureichend vielfältig, um ein leistungsstarkes und allgemeines 3D-Objekterkennungsmodell zu trainieren. In der Zwischenzeit sind allgemeinere Ansätze, die auf Grundlagenmodellen beruhen, immer noch von geringerer Qualität als solche, die auf überwachtem Training für eine spezifische Aufgabe basieren. In dieser Arbeit schlagen wir ein einfaches, aber effektives 3D-Objekterkennungsmodell vor, das auf einer Mischung von Innenraum-Datensätzen trainiert wird und in der Lage ist, in verschiedenen Innenumgebungen zu arbeiten. Durch die Vereinheitlichung verschiedener Labelräume ermöglicht es , eine starke Repräsentation über mehrere Datensätze hinweg durch ein überwachtes gemeinsames Trainingsschema zu erlernen. Die vorgeschlagene Netzwerkarchitektur basiert auf einem Vanilla-Transformer-Encoder, was es einfach macht, die Vorhersagepipeline für den praktischen Einsatz auszuführen, anzupassen und zu erweitern. Umfangreiche Experimente zeigen, dass signifikante Verbesserungen gegenüber bestehenden 3D-Objekterkennungsmethoden in 6 Innenraum-Benchmarks erzielt: ScanNet (+1,1 mAP50), ARKitScenes (+19,4 mAP25), S3DIS (+9,1 mAP50), MultiScan (+9,3 mAP50), 3RScan (+3,2 mAP50) und ScanNet++ (+2,7 mAP50). Der Code ist verfügbar unter https://github.com/filapro/unidet3d.

English

Growing customer demand for smart solutions in robotics and augmented reality has attracted considerable attention to 3D object detection from point clouds. Yet, existing indoor datasets taken individually are too small and insufficiently diverse to train a powerful and general 3D object detection model. In the meantime, more general approaches utilizing foundation models are still inferior in quality to those based on supervised training for a specific task. In this work, we propose , a simple yet effective 3D object detection model, which is trained on a mixture of indoor datasets and is capable of working in various indoor environments. By unifying different label spaces, enables learning a strong representation across multiple datasets through a supervised joint training scheme. The proposed network architecture is built upon a vanilla transformer encoder, making it easy to run, customize and extend the prediction pipeline for practical use. Extensive experiments demonstrate that obtains significant gains over existing 3D object detection methods in 6 indoor benchmarks: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50), and ScanNet++ (+2.7 mAP50). Code is available at https://github.com/filapro/unidet3d .