OmniNOCS: Объединенный набор данных и модель NOCS для трехмерного поднятия двумерных объектов.

OmniNOCS: A unified NOCS dataset and model for 3D lifting of 2D objects

July 11, 2024

Авторы: Akshay Krishnan, Abhijit Kundu, Kevis-Kokitsi Maninis, James Hays, Matthew Brown

cs.AI

Аннотация

Мы предлагаем OmniNOCS, крупномасштабный монокулярный набор данных с картами 3D нормализованного объектного координатного пространства (NOCS), масками объектов и аннотациями ограничивающих рамок 3D для внутренних и внешних сцен. OmniNOCS содержит в 20 раз больше классов объектов и в 200 раз больше экземпляров, чем существующие наборы данных NOCS (NOCS-Real275, Wild6D). Мы используем OmniNOCS для обучения новой модели прогнозирования монокулярного NOCS на основе трансформера (NOCSformer), которая может предсказывать точные NOCS, маски экземпляров и позы из 2D обнаруженных объектов различных классов. Это первая модель NOCS, которая способна обобщаться на широкий спектр классов при подаче 2D рамок. Мы оцениваем нашу модель на задаче прогнозирования 3D ориентированных ограничивающих рамок, где она достигает сравнимых результатов с передовыми методами обнаружения 3D, такими как Cube R-CNN. В отличие от других методов обнаружения 3D, наша модель также предоставляет детальную и точную форму и сегментацию 3D объектов. Мы предлагаем новый показатель для задачи прогнозирования NOCS на основе OmniNOCS, который, надеемся, послужит полезным базовым уровнем для будущих работ в этой области. Наш набор данных и код будут доступны на веб-сайте проекта: https://omninocs.github.io.

English

We propose OmniNOCS, a large-scale monocular dataset with 3D Normalized Object Coordinate Space (NOCS) maps, object masks, and 3D bounding box annotations for indoor and outdoor scenes. OmniNOCS has 20 times more object classes and 200 times more instances than existing NOCS datasets (NOCS-Real275, Wild6D). We use OmniNOCS to train a novel, transformer-based monocular NOCS prediction model (NOCSformer) that can predict accurate NOCS, instance masks and poses from 2D object detections across diverse classes. It is the first NOCS model that can generalize to a broad range of classes when prompted with 2D boxes. We evaluate our model on the task of 3D oriented bounding box prediction, where it achieves comparable results to state-of-the-art 3D detection methods such as Cube R-CNN. Unlike other 3D detection methods, our model also provides detailed and accurate 3D object shape and segmentation. We propose a novel benchmark for the task of NOCS prediction based on OmniNOCS, which we hope will serve as a useful baseline for future work in this area. Our dataset and code will be at the project website: https://omninocs.github.io.