RadarGen: Generación de Nubes de Puntos de Radar Automotriz a partir de Cámaras

RadarGen: Automotive Radar Point Cloud Generation from Cameras

December 19, 2025

Autores: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

cs.AI

Resumen

Presentamos RadarGen, un modelo de difusión para sintetizar nubes de puntos de radar automotriz realistas a partir de imágenes multicámara. RadarGen adapta la difusión eficiente en espacios latentes de imagen al dominio del radar representando las mediciones de radar en forma de vista de pájaro (BEV), que codifica la estructura espacial junto con atributos de sección transversal radar (RCS) y Doppler. Una etapa ligera de recuperación reconstruye las nubes de puntos a partir de los mapas generados. Para alinear mejor la generación con la escena visual, RadarGen incorpora señales de profundidad, semánticas y de movimiento alineadas en BEV, extraídas de modelos base preentrenados, que guían el proceso estocástico de generación hacia patrones de radar físicamente plausibles. El condicionamiento por imágenes hace que el enfoque sea ampliamente compatible, en principio, con conjuntos de datos visuales existentes y frameworks de simulación, ofreciendo una dirección escalable para la simulación generativa multimodal. Las evaluaciones en datos de conducción a gran escala muestran que RadarGen captura las distribuciones características de las mediciones de radar y reduce la brecha con los modelos de percepción entrenados con datos reales, marcando un paso hacia la simulación generativa unificada entre modalidades de sensado.

English

We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.