RadarGen: 카메라 영상 기반 자동차 레이더 포인트 클라우드 생성

초록

우리는 다중 뷰 카메라 영상으로부터 사실적인 자율주행 레이더 포인트 클라우드를 합성하기 위한 확산 모델인 RadarGen을 제안합니다. RadarGen은 공간 구조와 레이더 단면적(RCS), 도플러 속성을 함께 인코딩하는 조감도(BEV) 형태로 레이더 측정값을 표현함으로써 효율적인 이미지-잠재 확산 모델을 레이더 영역에 적용합니다. 경량화된 복원 단계를 통해 생성된 맵에서 포인트 클라우드를 재구성합니다. 생성 과정을 시각적 장면과 더 잘 정렬하기 위해 RadarGen은 사전 학습된 파운데이션 모델에서 추출한 BEV 정렬 깊이, 의미론적, 운동 정보를 통합하여 확률적 생성 과정이 물리적으로 타당한 레이더 패턴을 생성하도록 유도합니다. 이미지 조건 설정을 통해 이 접근법은 원칙적으로 기존 시각 데이터셋 및 시뮬레이션 프레임워크와 광범위하게 호환되며, 다중 모달 생성 시뮬레이션을 위한 확장 가능한 방향을 제시합니다. 대규모 주행 데이터에 대한 평가 결과, RadarGen은 특징적인 레이더 측정 분포를 포착하고 실제 데이터로 학습된 인식 모델과의 격차를 줄여, 다양한 센싱 모달리티를 아우르는 통합 생성 시뮬레이션으로 나아가는 한 걸음을 표시합니다.

English

We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.

RadarGen: 카메라 영상 기반 자동차 레이더 포인트 클라우드 생성

RadarGen: Automotive Radar Point Cloud Generation from Cameras

초록

Support