RoCo-Sim: Aprimorando a Percepção Colaborativa na Borda da Estrada por meio de Simulação de Primeiro Plano

RoCo-Sim: Enhancing Roadside Collaborative Perception through Foreground Simulation

March 13, 2025

Autores: Yuwen Du, Anning Hu, Zichen Chao, Yifan Lu, Junhao Ge, Genjia Liu, Weitao Wu, Lanjun Wang, Siheng Chen

cs.AI

Resumo

A Percepção Colaborativa à Beira da Estrada refere-se a um sistema onde múltiplas unidades à beira da estrada colaboram para agrupar seus dados perceptuais, auxiliando veículos a aprimorar sua consciência ambiental. Os métodos existentes de percepção à beira da estrada concentram-se no design do modelo, mas negligenciam questões de dados, como erros de calibração, informações esparsas e consistência multi-visão, resultando em desempenho insatisfatório em conjuntos de dados recentemente publicados. Para aprimorar significativamente a percepção colaborativa à beira da estrada e abordar questões críticas de dados, apresentamos o primeiro framework de simulação RoCo-Sim para percepção colaborativa à beira da estrada. O RoCo-Sim é capaz de gerar dados simulados diversos e consistentes em multi-visão através da edição dinâmica de primeiro plano e transferência de estilo de cena completa de uma única imagem. O RoCo-Sim consiste em quatro componentes: (1) A Otimização de Extrínsecos da Câmera garante a projeção precisa de 3D para 2D para câmeras à beira da estrada; (2) Um novo Amostrador Consciente de Oclusão Multi-Visão (MOAS) determina o posicionamento de diversos ativos digitais no espaço 3D; (3) O DepthSAM modela de forma inovadora as relações entre primeiro plano e fundo a partir de imagens de visão fixa de quadro único, garantindo a consistência multi-visão do primeiro plano; e (4) Um Kit de Ferramentas de Pós-Processamento Escalável gera cenas mais realistas e enriquecidas através de transferência de estilo e outros aprimoramentos. O RoCo-Sim melhora significativamente a detecção de objetos 3D à beira da estrada, superando os métodos SOTA em 83,74 no Rcooper-Intersection e 83,12 no TUMTraf-V2X para AP70. O RoCo-Sim preenche uma lacuna crítica na simulação de percepção à beira da estrada. Código e modelos pré-treinados serão lançados em breve: https://github.com/duyuwen-duen/RoCo-Sim

English

Roadside Collaborative Perception refers to a system where multiple roadside units collaborate to pool their perceptual data, assisting vehicles in enhancing their environmental awareness. Existing roadside perception methods concentrate on model design but overlook data issues like calibration errors, sparse information, and multi-view consistency, leading to poor performance on recent published datasets. To significantly enhance roadside collaborative perception and address critical data issues, we present the first simulation framework RoCo-Sim for road-side collaborative perception. RoCo-Sim is capable of generating diverse, multi-view consistent simulated roadside data through dynamic foreground editing and full-scene style transfer of a single image. RoCo-Sim consists of four components: (1) Camera Extrinsic Optimization ensures accurate 3D to 2D projection for roadside cameras; (2) A novel Multi-View Occlusion-Aware Sampler (MOAS) determines the placement of diverse digital assets within 3D space; (3) DepthSAM innovatively models foreground-background relationships from single-frame fixed-view images, ensuring multi-view consistency of foreground; and (4) Scalable Post-Processing Toolkit generates more realistic and enriched scenes through style transfer and other enhancements. RoCo-Sim significantly improves roadside 3D object detection, outperforming SOTA methods by 83.74 on Rcooper-Intersection and 83.12 on TUMTraf-V2X for AP70. RoCo-Sim fills a critical gap in roadside perception simulation. Code and pre-trained models will be released soon: https://github.com/duyuwen-duen/RoCo-Sim