MonoPlace3D: 3D単眼検出のための3D認識オブジェクト配置学習

MonoPlace3D: Learning 3D-Aware Object Placement for 3D Monocular Detection

April 9, 2025

著者: Rishubh Parihar, Srinjay Sarkar, Sarthak Vora, Jogendra Kundu, R. Venkatesh Babu

cs.AI

要旨

現在の単眼3D検出器は、実世界のデータセットの多様性と規模の限界によって制約を受けています。データ拡張は確かに役立ちますが、屋外設定における現実的なシーン認識型の拡張データを生成することは特に困難です。現在の合成データ生成のアプローチの多くは、改良されたレンダリング技術を通じて現実的な物体の外観に焦点を当てています。しかし、効果的な単眼3D検出器を訓練するためには、物体がどこにどのように配置されるかが同様に重要であることを示します。主要な課題は、合成物体を実際のシーンに導入する際に、現実的な物体配置パラメータ（位置、寸法、方向の整合性など）を自動的に決定することにあります。これを解決するために、我々はMonoPlace3Dという新しいシステムを導入します。MonoPlace3Dは、3Dシーン内容を考慮して現実的な拡張を作成します。具体的には、背景シーンが与えられると、MonoPlace3Dは妥当な3Dバウンディングボックスの分布を学習します。その後、学習された分布からサンプリングされた位置に従って現実的な物体をレンダリングし配置します。KITTIとNuScenesという2つの標準データセットでの包括的な評価により、MonoPlace3Dが複数の既存の単眼3D検出器の精度を大幅に向上させながら、高いデータ効率性を実現することが示されました。

English

Current monocular 3D detectors are held back by the limited diversity and scale of real-world datasets. While data augmentation certainly helps, it's particularly difficult to generate realistic scene-aware augmented data for outdoor settings. Most current approaches to synthetic data generation focus on realistic object appearance through improved rendering techniques. However, we show that where and how objects are positioned is just as crucial for training effective 3D monocular detectors. The key obstacle lies in automatically determining realistic object placement parameters - including position, dimensions, and directional alignment when introducing synthetic objects into actual scenes. To address this, we introduce MonoPlace3D, a novel system that considers the 3D scene content to create realistic augmentations. Specifically, given a background scene, MonoPlace3D learns a distribution over plausible 3D bounding boxes. Subsequently, we render realistic objects and place them according to the locations sampled from the learned distribution. Our comprehensive evaluation on two standard datasets KITTI and NuScenes, demonstrates that MonoPlace3D significantly improves the accuracy of multiple existing monocular 3D detectors while being highly data efficient.