MonoPlace3D: Обучение 3D-ориентированному размещению объектов для моноскопического 3D-детектирования

MonoPlace3D: Learning 3D-Aware Object Placement for 3D Monocular Detection

April 9, 2025

Авторы: Rishubh Parihar, Srinjay Sarkar, Sarthak Vora, Jogendra Kundu, R. Venkatesh Babu

cs.AI

Аннотация

Современные монокулярные 3D-детекторы ограничены недостаточным разнообразием и масштабом реальных наборов данных. Хотя аугментация данных, безусловно, помогает, особенно сложно генерировать реалистичные, учитывающие контекст сцены аугментированные данные для открытых пространств. Большинство современных подходов к генерации синтетических данных сосредоточено на реалистичности внешнего вида объектов за счет улучшенных техник рендеринга. Однако мы показываем, что то, где и как объекты размещены, не менее важно для обучения эффективных монокулярных 3D-детекторов. Основное препятствие заключается в автоматическом определении реалистичных параметров размещения объектов — включая положение, размеры и ориентацию — при добавлении синтетических объектов в реальные сцены. Для решения этой проблемы мы представляем MonoPlace3D — новую систему, которая учитывает 3D-содержание сцены для создания реалистичных аугментаций. В частности, для заданной фоновой сцены MonoPlace3D обучается распределению вероятностей для правдоподобных 3D-ограничивающих рамок. Затем мы рендерим реалистичные объекты и размещаем их в соответствии с позициями, выбранными из изученного распределения. Наше всестороннее тестирование на двух стандартных наборах данных, KITTI и NuScenes, демонстрирует, что MonoPlace3D значительно повышает точность нескольких существующих монокулярных 3D-детекторов, оставаясь при этом высокоэффективным с точки зрения использования данных.

English

Current monocular 3D detectors are held back by the limited diversity and scale of real-world datasets. While data augmentation certainly helps, it's particularly difficult to generate realistic scene-aware augmented data for outdoor settings. Most current approaches to synthetic data generation focus on realistic object appearance through improved rendering techniques. However, we show that where and how objects are positioned is just as crucial for training effective 3D monocular detectors. The key obstacle lies in automatically determining realistic object placement parameters - including position, dimensions, and directional alignment when introducing synthetic objects into actual scenes. To address this, we introduce MonoPlace3D, a novel system that considers the 3D scene content to create realistic augmentations. Specifically, given a background scene, MonoPlace3D learns a distribution over plausible 3D bounding boxes. Subsequently, we render realistic objects and place them according to the locations sampled from the learned distribution. Our comprehensive evaluation on two standard datasets KITTI and NuScenes, demonstrates that MonoPlace3D significantly improves the accuracy of multiple existing monocular 3D detectors while being highly data efficient.