RadarGen: Generatie van Automotive Radar-puntenwolken uit Camerabeelden
RadarGen: Automotive Radar Point Cloud Generation from Cameras
December 19, 2025
Auteurs: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany
cs.AI
Samenvatting
Wij presenteren RadarGen, een diffusiemodel voor de synthese van realistische automotive radar point clouds op basis van multi-view camera-beelden. RadarGen past efficiënte diffusie in beeldlatentieruimte aan voor het radardomein door radarmetingen te representeren in een vogelperspectief (bird's-eye-view, BEV) formaat dat de ruimtelijke structuur codeert samen met radardoorsnede (RCS) en Doppler-attributen. Een lichtgewicht herstapstap reconstrueert point clouds uit de gegenereerde kaarten. Om de generatie beter te laten aansluiten bij de visuele scène, integreert RadarGen BEV-uitgelijnde diepte-, semantische- en bewegingsaanwijzingen die zijn geëxtraheerd uit voorgetrainde foundation models. Deze begeleiden het stochastische generatieproces naar fysiek plausibele radarpatronen. Conditionering op beelden maakt de aanpak in principe breed compatibel met bestaande visuele datasets en simulatiekaders, wat een schaalbare richting biedt voor multimodale generatieve simulatie. Evaluaties op grootschalige rijdata tonen aan dat RadarGen karakteristieke radarmeetdistributies vastlegt en de kloof verkleint met perceptiemodellen die op echte data zijn getraind, wat een stap markeert naar uniforme generatieve simulatie over sensorische modaliteiten heen.
English
We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.