OmniNOCS: Un conjunto de datos y modelo NOCS unificado para la elevación tridimensional de objetos en 2D

OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects

July 11, 2024

Autores: Akshay Krishnan, Abhijit Kundu, Kevis-Kokitsi Maninis, James Hays, Matthew Brown

cs.AI

Resumen

Proponemos OmniNOCS, un conjunto de datos monoculares a gran escala con mapas de Espacio de Coordenadas Normalizadas en 3D (NOCS), máscaras de objetos y anotaciones de cajas delimitadoras en 3D para escenas interiores y exteriores. OmniNOCS tiene 20 veces más clases de objetos y 200 veces más instancias que los conjuntos de datos NOCS existentes (NOCS-Real275, Wild6D). Utilizamos OmniNOCS para entrenar un modelo novedoso de predicción de NOCS monoculares basado en transformadores (NOCSformer) que puede predecir NOCS precisos, máscaras de instancias y poses a partir de detecciones de objetos en 2D de diversas clases. Es el primer modelo de NOCS que puede generalizarse a una amplia gama de clases cuando se le proporcionan cajas en 2D. Evaluamos nuestro modelo en la tarea de predicción de cajas delimitadoras orientadas en 3D, donde logra resultados comparables a métodos de detección en 3D de última generación como Cube R-CNN. A diferencia de otros métodos de detección en 3D, nuestro modelo también proporciona formas y segmentaciones detalladas y precisas de objetos en 3D. Proponemos un nuevo punto de referencia para la tarea de predicción de NOCS basado en OmniNOCS, que esperamos sirva como una línea base útil para trabajos futuros en esta área. Nuestro conjunto de datos y código estarán disponibles en el sitio web del proyecto: https://omninocs.github.io.

English

We propose OmniNOCS, a large-scale monocular dataset with 3D Normalized Object Coordinate Space (NOCS) maps, object masks, and 3D bounding box annotations for indoor and outdoor scenes. OmniNOCS has 20 times more object classes and 200 times more instances than existing NOCS datasets (NOCS-Real275, Wild6D). We use OmniNOCS to train a novel, transformer-based monocular NOCS prediction model (NOCSformer) that can predict accurate NOCS, instance masks and poses from 2D object detections across diverse classes. It is the first NOCS model that can generalize to a broad range of classes when prompted with 2D boxes. We evaluate our model on the task of 3D oriented bounding box prediction, where it achieves comparable results to state-of-the-art 3D detection methods such as Cube R-CNN. Unlike other 3D detection methods, our model also provides detailed and accurate 3D object shape and segmentation. We propose a novel benchmark for the task of NOCS prediction based on OmniNOCS, which we hope will serve as a useful baseline for future work in this area. Our dataset and code will be at the project website: https://omninocs.github.io.