UniDet3D: Detección de Objetos 3D en Interiores con Múltiples Conjuntos de Datos

UniDet3D: Multi-dataset Indoor 3D Object Detection

September 6, 2024

Autores: Maksim Kolodiazhnyi, Anna Vorontsova, Matvey Skripkin, Danila Rukhovich, Anton Konushin

cs.AI

Resumen

La creciente demanda de los clientes por soluciones inteligentes en robótica y realidad aumentada ha atraído considerable atención a la detección de objetos 3D a partir de nubes de puntos. Sin embargo, los conjuntos de datos internos existentes tomados individualmente son demasiado pequeños y no lo suficientemente diversos para entrenar un modelo potente y general de detección de objetos 3D. Mientras tanto, los enfoques más generales que utilizan modelos base siguen siendo de calidad inferior a aquellos basados en entrenamiento supervisado para una tarea específica. En este trabajo, proponemos un modelo de detección de objetos 3D simple pero efectivo, que se entrena con una mezcla de conjuntos de datos internos y es capaz de funcionar en varios entornos internos. Al unificar diferentes espacios de etiquetas, se facilita el aprendizaje de una representación sólida a través de múltiples conjuntos de datos mediante un esquema de entrenamiento conjunto supervisado. La arquitectura de red propuesta se basa en un codificador transformer básico, lo que facilita la ejecución, personalización y extensión del pipeline de predicción para uso práctico. Experimentos extensos demuestran que se obtienen mejoras significativas sobre los métodos existentes de detección de objetos 3D en 6 evaluaciones internas: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50) y ScanNet++ (+2.7 mAP50). El código está disponible en https://github.com/filapro/unidet3d.

English

Growing customer demand for smart solutions in robotics and augmented reality has attracted considerable attention to 3D object detection from point clouds. Yet, existing indoor datasets taken individually are too small and insufficiently diverse to train a powerful and general 3D object detection model. In the meantime, more general approaches utilizing foundation models are still inferior in quality to those based on supervised training for a specific task. In this work, we propose , a simple yet effective 3D object detection model, which is trained on a mixture of indoor datasets and is capable of working in various indoor environments. By unifying different label spaces, enables learning a strong representation across multiple datasets through a supervised joint training scheme. The proposed network architecture is built upon a vanilla transformer encoder, making it easy to run, customize and extend the prediction pipeline for practical use. Extensive experiments demonstrate that obtains significant gains over existing 3D object detection methods in 6 indoor benchmarks: ScanNet (+1.1 mAP50), ARKitScenes (+19.4 mAP25), S3DIS (+9.1 mAP50), MultiScan (+9.3 mAP50), 3RScan (+3.2 mAP50), and ScanNet++ (+2.7 mAP50). Code is available at https://github.com/filapro/unidet3d .