RadarGen : Génération de nuages de points radar automobiles à partir de caméras

RadarGen: Automotive Radar Point Cloud Generation from Cameras

December 19, 2025

papers.authors: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

cs.AI

papers.abstract

Nous présentons RadarGen, un modèle de diffusion pour la synthèse de nuages de points radar automobiles réalistes à partir d'imagerie multicaméra. RadarGen adapte la diffusion efficace en espace latent d'image au domaine radar en représentant les mesures radar sous forme de vue de dessus (bird's-eye-view) qui encode la structure spatiale ainsi que la section efficace radar (SER) et les attributs Doppler. Une étape légère de reconstruction permet de retrouver les nuages de points à partir des cartes générées. Pour mieux aligner la génération avec la scène visuelle, RadarGen intègre des indices de profondeur, sémantiques et de mouvement, alignés en vue de dessus et extraits de modèles de fondation pré-entraînés, qui guident le processus de génération stochastique vers des motifs radar physiquement plausibles. Le conditionnement par les images rend l'approche largement compatible, en principe, avec les jeux de données visuels existants et les cadres de simulation, offrant une direction évolutive pour la simulation générative multimodale. Les évaluations sur des données de conduite à grande échelle montrent que RadarGen capture les distributions caractéristiques des mesures radar et réduit l'écart avec les modèles de perception entraînés sur des données réelles, marquant une étape vers une simulation générative unifiée à travers les modalités de détection.

English

We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.