UniDet3D: Rilevamento di oggetti 3D indoor multi-dataset

UniDet3D: Multi-dataset Indoor 3D Object Detection

September 6, 2024

Autori: Maksim Kolodiazhnyi, Anna Vorontsova, Matvey Skripkin, Danila Rukhovich, Anton Konushin

cs.AI

Abstract

La crescente domanda dei clienti per soluzioni intelligenti in robotica e realtà aumentata ha attirato notevole attenzione alla rilevazione di oggetti in 3D da nuvole di punti. Tuttavia, i dataset interni esistenti presi singolarmente sono troppo piccoli e insufficientemente diversificati per addestrare un modello di rilevamento di oggetti in 3D potente e generale. Nel frattempo, gli approcci più generali che utilizzano modelli di base sono ancora di qualità inferiore rispetto a quelli basati sull'addestramento supervisionato per un compito specifico. In questo lavoro, proponiamo , un modello di rilevamento di oggetti in 3D semplice ma efficace, che viene addestrato su una miscela di dataset interni ed è in grado di funzionare in vari ambienti interni. Unificando spazi di etichette diversi, consente di apprendere una rappresentazione forte attraverso più dataset tramite un regime di addestramento congiunto supervisionato. L'architettura di rete proposta si basa su un codificatore transformer vaniglia, rendendola facile da eseguire, personalizzare ed estendere il pipeline di previsione per un uso pratico. Esperimenti estesi dimostrano che ottiene guadagni significativi rispetto ai metodi esistenti di rilevamento di oggetti in 3D in 6 benchmark interni: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50) e ScanNet++ (+2.7 mAP50). Il codice è disponibile su https://github.com/filapro/unidet3d.

English

Growing customer demand for smart solutions in robotics and augmented reality has attracted considerable attention to 3D object detection from point clouds. Yet, existing indoor datasets taken individually are too small and insufficiently diverse to train a powerful and general 3D object detection model. In the meantime, more general approaches utilizing foundation models are still inferior in quality to those based on supervised training for a specific task. In this work, we propose , a simple yet effective 3D object detection model, which is trained on a mixture of indoor datasets and is capable of working in various indoor environments. By unifying different label spaces, enables learning a strong representation across multiple datasets through a supervised joint training scheme. The proposed network architecture is built upon a vanilla transformer encoder, making it easy to run, customize and extend the prediction pipeline for practical use. Extensive experiments demonstrate that obtains significant gains over existing 3D object detection methods in 6 indoor benchmarks: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50), and ScanNet++ (+2.7 mAP50). Code is available at https://github.com/filapro/unidet3d .