MonoPlace3D: Lernen der 3D-bewussten Objektplatzierung für die 3D-Monokulare Detektion

MonoPlace3D: Learning 3D-Aware Object Placement for 3D Monocular Detection

April 9, 2025

Autoren: Rishubh Parihar, Srinjay Sarkar, Sarthak Vora, Jogendra Kundu, R. Venkatesh Babu

cs.AI

Zusammenfassung

Aktuelle monokulare 3D-Detektoren werden durch die begrenzte Vielfalt und den Umfang realer Datensätze eingeschränkt. Obwohl Datenaugmentierung sicherlich hilfreich ist, ist es besonders schwierig, realistische, szenenbewusste augmentierte Daten für Außenbereiche zu generieren. Die meisten aktuellen Ansätze zur synthetischen Datengenerierung konzentrieren sich auf das realistische Erscheinungsbild von Objekten durch verbesserte Rendering-Techniken. Wir zeigen jedoch, dass die Platzierung und Positionierung von Objekten ebenso entscheidend für das Training effektiver monokularer 3D-Detektoren ist. Die Hauptherausforderung liegt in der automatischen Bestimmung realistischer Platzierungsparameter – einschließlich Position, Abmessungen und Ausrichtung – bei der Einführung synthetischer Objekte in reale Szenen. Um dies zu bewältigen, stellen wir MonoPlace3D vor, ein neuartiges System, das den 3D-Szeneninhalt berücksichtigt, um realistische Augmentierungen zu erzeugen. Konkret lernt MonoPlace3D, gegeben eine Hintergrundszene, eine Verteilung über plausible 3D-Bounding-Boxen. Anschließend rendern wir realistische Objekte und platzieren sie entsprechend den aus der gelernten Verteilung entnommenen Positionen. Unsere umfassende Auswertung auf zwei Standarddatensätzen, KITTI und NuScenes, zeigt, dass MonoPlace3D die Genauigkeit mehrerer bestehender monokularer 3D-Detektoren signifikant verbessert und dabei äußerst dateneffizient ist.

English

Current monocular 3D detectors are held back by the limited diversity and scale of real-world datasets. While data augmentation certainly helps, it's particularly difficult to generate realistic scene-aware augmented data for outdoor settings. Most current approaches to synthetic data generation focus on realistic object appearance through improved rendering techniques. However, we show that where and how objects are positioned is just as crucial for training effective 3D monocular detectors. The key obstacle lies in automatically determining realistic object placement parameters - including position, dimensions, and directional alignment when introducing synthetic objects into actual scenes. To address this, we introduce MonoPlace3D, a novel system that considers the 3D scene content to create realistic augmentations. Specifically, given a background scene, MonoPlace3D learns a distribution over plausible 3D bounding boxes. Subsequently, we render realistic objects and place them according to the locations sampled from the learned distribution. Our comprehensive evaluation on two standard datasets KITTI and NuScenes, demonstrates that MonoPlace3D significantly improves the accuracy of multiple existing monocular 3D detectors while being highly data efficient.