MonoPlace3D: Leren van 3D-bewuste objectplaatsing voor 3D-monoculaire detectie

MonoPlace3D: Learning 3D-Aware Object Placement for 3D Monocular Detection

April 9, 2025

Auteurs: Rishubh Parihar, Srinjay Sarkar, Sarthak Vora, Jogendra Kundu, R. Venkatesh Babu

cs.AI

Samenvatting

Huidige monoscopische 3D-detectoren worden beperkt door de beperkte diversiteit en schaal van real-world datasets. Hoewel data-augmentatie zeker helpt, is het bijzonder moeilijk om realistische, scènebewuste augmented data te genereren voor buitenomgevingen. De meeste huidige benaderingen voor synthetische datageneratie richten zich op realistische objectweergave door verbeterde renderingtechnieken. Wij tonen echter aan dat waar en hoe objecten worden geplaatst net zo cruciaal is voor het trainen van effectieve monoscopische 3D-detectoren. Het belangrijkste obstakel ligt in het automatisch bepalen van realistische plaatsingsparameters voor objecten - inclusief positie, afmetingen en richtingsuitlijning bij het introduceren van synthetische objecten in werkelijke scènes. Om dit aan te pakken, introduceren we MonoPlace3D, een nieuw systeem dat de 3D-scène-inhoud in overweging neemt om realistische augmentaties te creëren. Specifiek leert MonoPlace3D, gegeven een achtergrondscène, een verdeling over plausibele 3D-boundingboxes. Vervolgens renderen we realistische objecten en plaatsen ze volgens de locaties die zijn bemonsterd uit de geleerde verdeling. Onze uitgebreide evaluatie op twee standaarddatasets, KITTI en NuScenes, toont aan dat MonoPlace3D de nauwkeurigheid van meerdere bestaande monoscopische 3D-detectoren aanzienlijk verbetert, terwijl het zeer data-efficiënt is.

English

Current monocular 3D detectors are held back by the limited diversity and scale of real-world datasets. While data augmentation certainly helps, it's particularly difficult to generate realistic scene-aware augmented data for outdoor settings. Most current approaches to synthetic data generation focus on realistic object appearance through improved rendering techniques. However, we show that where and how objects are positioned is just as crucial for training effective 3D monocular detectors. The key obstacle lies in automatically determining realistic object placement parameters - including position, dimensions, and directional alignment when introducing synthetic objects into actual scenes. To address this, we introduce MonoPlace3D, a novel system that considers the 3D scene content to create realistic augmentations. Specifically, given a background scene, MonoPlace3D learns a distribution over plausible 3D bounding boxes. Subsequently, we render realistic objects and place them according to the locations sampled from the learned distribution. Our comprehensive evaluation on two standard datasets KITTI and NuScenes, demonstrates that MonoPlace3D significantly improves the accuracy of multiple existing monocular 3D detectors while being highly data efficient.