OmniNOCS: Ein vereinheitlichter NOCS Datensatz und Modell für das Anheben von 2D Objekten in 3D

OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects

July 11, 2024

Autoren: Akshay Krishnan, Abhijit Kundu, Kevis-Kokitsi Maninis, James Hays, Matthew Brown

cs.AI

Zusammenfassung

Wir schlagen OmniNOCS vor, ein groß angelegtes monokulares Datenset mit 3D-normalisierten Objektkoordinatenraum (NOCS) Karten, Objektmasken und 3D-Begrenzungsrahmenannotationen für Innen- und Außenszenen. OmniNOCS umfasst 20-mal mehr Objektklassen und 200-mal mehr Instanzen als bestehende NOCS-Datensets (NOCS-Real275, Wild6D). Wir nutzen OmniNOCS, um ein neuartiges, auf Transformer basierendes monokulares NOCS-Vorhersagemodell (NOCSformer) zu trainieren, das präzise NOCS, Instanzmasken und Posen aus 2D-Objekterkennungen über verschiedene Klassen hinweg vorhersagen kann. Es handelt sich um das erste NOCS-Modell, das sich auf ein breites Spektrum von Klassen verallgemeinern kann, wenn es mit 2D-Boxen konfrontiert wird. Wir evaluieren unser Modell anhand der Aufgabe der 3D-orientierten Begrenzungsrahmenvorhersage, bei der es vergleichbare Ergebnisse zu modernsten 3D-Erkennungsmethoden wie Cube R-CNN erzielt. Im Gegensatz zu anderen 3D-Erkennungsmethoden liefert unser Modell auch detaillierte und präzise 3D-Objektform und Segmentierung. Wir schlagen einen neuartigen Benchmark für die Aufgabe der NOCS-Vorhersage basierend auf OmniNOCS vor, der als nützliche Grundlinie für zukünftige Arbeiten in diesem Bereich dienen soll. Unser Datenset und Code werden auf der Projektwebsite verfügbar sein: https://omninocs.github.io.

English

We propose OmniNOCS, a large-scale monocular dataset with 3D Normalized Object Coordinate Space (NOCS) maps, object masks, and 3D bounding box annotations for indoor and outdoor scenes. OmniNOCS has 20 times more object classes and 200 times more instances than existing NOCS datasets (NOCS-Real275, Wild6D). We use OmniNOCS to train a novel, transformer-based monocular NOCS prediction model (NOCSformer) that can predict accurate NOCS, instance masks and poses from 2D object detections across diverse classes. It is the first NOCS model that can generalize to a broad range of classes when prompted with 2D boxes. We evaluate our model on the task of 3D oriented bounding box prediction, where it achieves comparable results to state-of-the-art 3D detection methods such as Cube R-CNN. Unlike other 3D detection methods, our model also provides detailed and accurate 3D object shape and segmentation. We propose a novel benchmark for the task of NOCS prediction based on OmniNOCS, which we hope will serve as a useful baseline for future work in this area. Our dataset and code will be at the project website: https://omninocs.github.io.