RadarGen: カメラ画像からの自動車用レーダーポイントクラウド生成

RadarGen: Automotive Radar Point Cloud Generation from Cameras

December 19, 2025

著者: Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

cs.AI

要旨

本論文では、マルチビューカメラ画像から実写レベルの自動車用レーダーポイントクラウドを合成する拡散モデル「RadarGen」を提案する。RadarGenは、レーダー計測値を鳥瞰図形式で表現し、空間構造に加えてレーダー反射断面積（RCS）およびドップラー属性を符号化することで、効率的な画像潜在拡散をレーダードメインに適応させる。軽量な復元ステップにより、生成されたマップから点群を再構築する。生成と視覚シーンとの整合性を高めるため、事前学習済み基盤モデルから抽出したBEV整合の深度、意味情報、動きの手がかりを組み込み、確率的生成プロセスを物理的に妥当なレーダーパターンへ導く。画像を条件付けることで、本手法は原理的に既存の視覚データセットやシミュレーションフレームワークとの幅広い互換性を有し、マルチモーダル生成シミュレーションへのスケーラブルな方向性を提供する。大規模運転データによる評価では、RadarGenが特徴的なレーダー計測分布を捉え、実データで学習した知覚モデルとの差を縮めることを示し、これはセンシングモダリティを横断する統合生成シミュレーションへの一歩を記すものである。

English

We present RadarGen, a diffusion model for synthesizing realistic automotive radar point clouds from multi-view camera imagery. RadarGen adapts efficient image-latent diffusion to the radar domain by representing radar measurements in bird's-eye-view form that encodes spatial structure together with radar cross section (RCS) and Doppler attributes. A lightweight recovery step reconstructs point clouds from the generated maps. To better align generation with the visual scene, RadarGen incorporates BEV-aligned depth, semantic, and motion cues extracted from pretrained foundation models, which guide the stochastic generation process toward physically plausible radar patterns. Conditioning on images makes the approach broadly compatible, in principle, with existing visual datasets and simulation frameworks, offering a scalable direction for multimodal generative simulation. Evaluations on large-scale driving data show that RadarGen captures characteristic radar measurement distributions and reduces the gap to perception models trained on real data, marking a step toward unified generative simulation across sensing modalities.