RadarGen: Generazione di Nuvole di Punti Radar Automobilistiche da Telecamere
RadarGen: Automotive Radar Point Cloud Generation from Cameras
December 19, 2025
Autori: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany
cs.AI
Abstract
Presentiamo RadarGen, un modello di diffusione per la sintesi di nuvole di punti radar automobilistiche realistiche a partire da immagini multi-vista di telecamere. RadarGen adatta l'efficiente diffusione in spazio latente delle immagini al dominio radar rappresentando le misure radar in forma di vista dall'alto (bird's-eye-view, BEV) che codifica la struttura spaziale insieme agli attributi di sezione radar equivalente (RCS) e Doppler. Un passo di ricostruzione leggero ricostruisce le nuvole di punti dalle mappe generate. Per allineare meglio la generazione con la scena visiva, RadarGen incorpora segnali di profondità, semantica e movimento allineati in BEV, estratti da modelli foundation pre-addestrati, che guidano il processo di generazione stocastica verso pattern radar fisicamente plausibili. Il condizionamento sulle immagini rende l'approccio ampiamente compatibile, in linea di principio, con dataset visivi esistenti e framework di simulazione, offrendo una direzione scalabile per la simulazione generativa multimodale. Le valutazioni su dati di guida su larga scala mostrano che RadarGen cattura le distribuzioni caratteristiche delle misure radar e riduce il divario rispetto ai modelli di percezione addestrati su dati reali, segnando un passo verso una simulazione generativa unificata tra le modalità di sensing.
English
We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.