OmniNOCS：2Dオブジェクトの3Dリフティングのための統一NOCSデータセットとモデル

OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects

July 11, 2024

著者: Akshay Krishnan, Abhijit Kundu, Kevis-Kokitsi Maninis, James Hays, Matthew Brown

cs.AI

要旨

私たちは、OmniNOCSという大規模な単眼データセットを提案します。このデータセットには、屋内および屋外シーン向けの3D正規化物体座標空間（NOCS）マップ、物体マスク、3Dバウンディングボックスアノテーションが含まれています。OmniNOCSは、既存のNOCSデータセット（NOCS-Real275、Wild6D）と比較して、20倍の物体クラスと200倍のインスタンスを有しています。私たちはOmniNOCSを使用して、新しいトランスフォーマーベースの単眼NOCS予測モデル（NOCSformer）をトレーニングしました。このモデルは、2D物体検出から正確なNOCS、インスタンスマスク、およびポーズを多様なクラスにわたって予測することができます。これは、2Dボックスをプロンプトとして与えられた場合に広範なクラスに一般化できる初めてのNOCSモデルです。私たちは、3D指向バウンディングボックス予測タスクにおいてモデルを評価し、Cube R-CNNなどの最先端の3D検出方法と同等の結果を達成しました。他の3D検出方法とは異なり、私たちのモデルは詳細で正確な3D物体形状とセグメンテーションも提供します。私たちは、OmniNOCSに基づいたNOCS予測タスクのための新しいベンチマークを提案し、この分野の将来の研究にとって有用なベースラインとなることを期待しています。私たちのデータセットとコードは、プロジェクトウェブサイト（https://omninocs.github.io）で公開されます。

English

We propose OmniNOCS, a large-scale monocular dataset with 3D Normalized Object Coordinate Space (NOCS) maps, object masks, and 3D bounding box annotations for indoor and outdoor scenes. OmniNOCS has 20 times more object classes and 200 times more instances than existing NOCS datasets (NOCS-Real275, Wild6D). We use OmniNOCS to train a novel, transformer-based monocular NOCS prediction model (NOCSformer) that can predict accurate NOCS, instance masks and poses from 2D object detections across diverse classes. It is the first NOCS model that can generalize to a broad range of classes when prompted with 2D boxes. We evaluate our model on the task of 3D oriented bounding box prediction, where it achieves comparable results to state-of-the-art 3D detection methods such as Cube R-CNN. Unlike other 3D detection methods, our model also provides detailed and accurate 3D object shape and segmentation. We propose a novel benchmark for the task of NOCS prediction based on OmniNOCS, which we hope will serve as a useful baseline for future work in this area. Our dataset and code will be at the project website: https://omninocs.github.io.