OmniNOCS: un dataset NOCS unificato e un modello per il sollevamento 3D di oggetti 2D

OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects

July 11, 2024

Autori: Akshay Krishnan, Abhijit Kundu, Kevis-Kokitsi Maninis, James Hays, Matthew Brown

cs.AI

Abstract

Proponiamo OmniNOCS, un dataset monoculare su larga scala con mappe 3D di Spazio Normalizzato delle Coordinate degli Oggetti (NOCS), maschere degli oggetti e annotazioni di bounding box 3D per scene sia indoor che outdoor. OmniNOCS presenta 20 volte più classi di oggetti e 200 volte più istanze rispetto ai dataset NOCS esistenti (NOCS-Real275, Wild6D). Utilizziamo OmniNOCS per addestrare un nuovo modello basato su transformer per la predizione monoculare di NOCS (NOCSformer), in grado di prevedere con precisione NOCS, maschere delle istanze e pose a partire da rilevamenti 2D di oggetti in diverse classi. È il primo modello NOCS che può generalizzare su un'ampia gamma di classi quando sollecitato con bounding box 2D. Valutiamo il nostro modello sul compito di predizione di bounding box 3D orientati, dove ottiene risultati comparabili ai metodi di rilevamento 3D all'avanguardia come Cube R-CNN. A differenza di altri metodi di rilevamento 3D, il nostro modello fornisce anche una dettagliata e accurata forma 3D degli oggetti e la loro segmentazione. Proponiamo un nuovo benchmark per il compito di predizione di NOCS basato su OmniNOCS, che speriamo possa servire come baseline utile per lavori futuri in questo ambito. Il nostro dataset e il codice saranno disponibili sul sito del progetto: https://omninocs.github.io.

English

We propose OmniNOCS, a large-scale monocular dataset with 3D Normalized Object Coordinate Space (NOCS) maps, object masks, and 3D bounding box annotations for indoor and outdoor scenes. OmniNOCS has 20 times more object classes and 200 times more instances than existing NOCS datasets (NOCS-Real275, Wild6D). We use OmniNOCS to train a novel, transformer-based monocular NOCS prediction model (NOCSformer) that can predict accurate NOCS, instance masks and poses from 2D object detections across diverse classes. It is the first NOCS model that can generalize to a broad range of classes when prompted with 2D boxes. We evaluate our model on the task of 3D oriented bounding box prediction, where it achieves comparable results to state-of-the-art 3D detection methods such as Cube R-CNN. Unlike other 3D detection methods, our model also provides detailed and accurate 3D object shape and segmentation. We propose a novel benchmark for the task of NOCS prediction based on OmniNOCS, which we hope will serve as a useful baseline for future work in this area. Our dataset and code will be at the project website: https://omninocs.github.io.