BEVCALIB: ジオメトリ誘導型鳥瞰図表現によるLiDAR-カメラキャリブレーション
BEVCALIB: LiDAR-Camera Calibration via Geometry-Guided Bird's-Eye View Representations
June 3, 2025
著者: Weiduo Yuan, Jerry Li, Justin Yue, Divyank Shah, Konstantinos Karydis, Hang Qiu
cs.AI
要旨
正確なLiDAR-カメラキャリブレーションは、自動運転やロボットシステムにおけるマルチモーダル知覚の融合において基本的な要素です。従来のキャリブレーション手法では、制御された環境での大量のデータ収集が必要であり、車両やロボットの移動中に生じる変換の変化に対応できません。本論文では、生データからLiDARカメラキャリブレーションを行うために鳥瞰図(BEV)特徴を利用する初のモデル、BEVCALIBを提案します。これを実現するため、カメラBEV特徴とLiDAR BEV特徴を別々に抽出し、それらを共有BEV特徴空間に融合します。BEV特徴から得られる幾何学的情報を最大限に活用するため、変換デコーダにおいて最も重要な特徴をフィルタリングする新しい特徴セレクタを導入し、メモリ消費を削減し効率的な学習を可能にします。KITTI、NuScenes、および独自のデータセットでの広範な評価により、BEVCALIBが新たな最先端技術を確立することが示されました。様々なノイズ条件下において、BEVCALIBはKITTIデータセットで(47.08%、82.32%)、NuScenesデータセットで(78.17%、68.29%)の平均で(並進、回転)の観点から文献上の最良のベースラインを上回りました。オープンソース領域では、再現可能な最良のベースラインを一桁改善します。コードとデモ結果はhttps://cisl.ucr.edu/BEVCalibで公開されています。
English
Accurate LiDAR-camera calibration is fundamental to fusing multi-modal
perception in autonomous driving and robotic systems. Traditional calibration
methods require extensive data collection in controlled environments and cannot
compensate for the transformation changes during the vehicle/robot movement. In
this paper, we propose the first model that uses bird's-eye view (BEV) features
to perform LiDAR camera calibration from raw data, termed BEVCALIB. To achieve
this, we extract camera BEV features and LiDAR BEV features separately and fuse
them into a shared BEV feature space. To fully utilize the geometric
information from the BEV feature, we introduce a novel feature selector to
filter the most important features in the transformation decoder, which reduces
memory consumption and enables efficient training. Extensive evaluations on
KITTI, NuScenes, and our own dataset demonstrate that BEVCALIB establishes a
new state of the art. Under various noise conditions, BEVCALIB outperforms the
best baseline in the literature by an average of (47.08%, 82.32%) on KITTI
dataset, and (78.17%, 68.29%) on NuScenes dataset, in terms of (translation,
rotation), respectively. In the open-source domain, it improves the best
reproducible baseline by one order of magnitude. Our code and demo results are
available at https://cisl.ucr.edu/BEVCalib.