RoCo-Sim: Verbetering van samenwerkende waarneming langs de weg door middel van voorgrondsimulatie

RoCo-Sim: Enhancing Roadside Collaborative Perception through Foreground Simulation

March 13, 2025

Auteurs: Yuwen Du, Anning Hu, Zichen Chao, Yifan Lu, Junhao Ge, Genjia Liu, Weitao Wu, Lanjun Wang, Siheng Chen

cs.AI

Samenvatting

Roadside Collaborative Perception verwijst naar een systeem waarbij meerdere wegkantunits samenwerken om hun perceptuele gegevens te bundelen, waardoor voertuigen worden geholpen bij het verbeteren van hun omgevingsbewustzijn. Bestaande methoden voor wegkantperceptie richten zich op modelontwerp maar negeren dataproblemen zoals kalibratiefouten, schaarse informatie en multi-view consistentie, wat leidt tot slechte prestaties op recent gepubliceerde datasets. Om de wegkant collaboratieve perceptie aanzienlijk te verbeteren en kritieke dataproblemen aan te pakken, presenteren we het eerste simulatiekader RoCo-Sim voor wegkant collaboratieve perceptie. RoCo-Sim is in staat om diverse, multi-view consistente gesimuleerde wegkantgegevens te genereren door dynamische voorgrondbewerking en volledige scène-stijloverdracht van een enkele afbeelding. RoCo-Sim bestaat uit vier componenten: (1) Camera Extrinsic Optimization zorgt voor nauwkeurige 3D naar 2D projectie voor wegkantcamera's; (2) Een nieuwe Multi-View Occlusion-Aware Sampler (MOAS) bepaalt de plaatsing van diverse digitale assets binnen 3D-ruimte; (3) DepthSAM modelleert op innovatieve wijze voorgrond-achtergrondrelaties vanuit enkelvoudige fixed-view afbeeldingen, waardoor multi-view consistentie van de voorgrond wordt gegarandeerd; en (4) Een schaalbaar post-processing toolkit genereert realistischere en verrijkte scènes door stijloverdracht en andere verbeteringen. RoCo-Sim verbetert de wegkant 3D-objectdetectie aanzienlijk en overtreft SOTA-methoden met 83.74 op Rcooper-Intersection en 83.12 op TUMTraf-V2X voor AP70. RoCo-Sim vult een kritieke leemte in wegkantperceptiesimulatie. Code en vooraf getrainde modellen worden binnenkort vrijgegeven: https://github.com/duyuwen-duen/RoCo-Sim

English

Roadside Collaborative Perception refers to a system where multiple roadside units collaborate to pool their perceptual data, assisting vehicles in enhancing their environmental awareness. Existing roadside perception methods concentrate on model design but overlook data issues like calibration errors, sparse information, and multi-view consistency, leading to poor performance on recent published datasets. To significantly enhance roadside collaborative perception and address critical data issues, we present the first simulation framework RoCo-Sim for road-side collaborative perception. RoCo-Sim is capable of generating diverse, multi-view consistent simulated roadside data through dynamic foreground editing and full-scene style transfer of a single image. RoCo-Sim consists of four components: (1) Camera Extrinsic Optimization ensures accurate 3D to 2D projection for roadside cameras; (2) A novel Multi-View Occlusion-Aware Sampler (MOAS) determines the placement of diverse digital assets within 3D space; (3) DepthSAM innovatively models foreground-background relationships from single-frame fixed-view images, ensuring multi-view consistency of foreground; and (4) Scalable Post-Processing Toolkit generates more realistic and enriched scenes through style transfer and other enhancements. RoCo-Sim significantly improves roadside 3D object detection, outperforming SOTA methods by 83.74 on Rcooper-Intersection and 83.12 on TUMTraf-V2X for AP70. RoCo-Sim fills a critical gap in roadside perception simulation. Code and pre-trained models will be released soon: https://github.com/duyuwen-duen/RoCo-Sim