RadarGen: Geração de Nuvem de Pontos de Radar Automotivo a partir de Câmeras
RadarGen: Automotive Radar Point Cloud Generation from Cameras
December 19, 2025
Autores: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany
cs.AI
Resumo
Apresentamos o RadarGen, um modelo de difusão para síntese de nuvens de pontos radar automotivas realistas a partir de imagens de câmera multi-visão. O RadarGen adapta a difusão eficiente em latentes de imagem para o domínio radar representando as medições radar em formato de visão de cima (bird's-eye-view) que codifica a estrutura espacial juntamente com atributos de seção transversal radar (RCS) e Doppler. Uma etapa leve de recuperação reconstrói as nuvens de pontos a partir dos mapas gerados. Para melhor alinhar a geração com a cena visual, o RadarGen incorpora pistas de profundidade, semântica e movimento alinhadas em BEV, extraídas de modelos de base pré-treinados, que guiam o processo estocástico de geração em direção a padrões radar fisicamente plausíveis. O condicionamento por imagens torna a abordagem amplamente compatível, em princípio, com conjuntos de dados visuais existentes e frameworks de simulação, oferecendo uma direção escalável para simulação generativa multimodal. Avaliações em dados de condução em larga escala mostram que o RadarGen captura distribuições características de medições radar e reduz a lacuna para modelos de percepção treinados com dados reais, marcando um passo em direção a uma simulação generativa unificada entre modalidades de sensoriamento.
English
We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.