自動運転における今後の展望：KITScenesマルチモーダルデータセット

要旨

既存の自動運転データセットは大きな進歩をもたらしてきたが、センサーの忠実度、地図の完全性、あるいは地理的多様性の点で不足がある。本稿では、高忠実度センサーと地図を基盤とした欧州のデータセット、KITScenes Multimodalを紹介する。完全に同期されたセンサースイートには、高解像度グローバルシャッターカメラ、400m超の長距離LiDAR、4Dイメージングレーダー、そして冗長化されたGNSS/INS位置推定が組み込まれている。我々の高精細地図は、既知の限りではあらゆるセンサーデータセットの中で最も完全であり、オープンソースソフトウェアを用いた自動運転走行実験により検証されている。公開データセットとして初めて、信号機など運転に関連するすべての交通要素が、完全なトポロジカル接続性を備えた再投影精度レベルで3Dマッピングされている。不規則な街路配置と複合交通モードが混在する都市で収録された本データセットは、利用可能な地理的多様性を拡大することで既存のデータセットを補完する。さらに、具現化AIの空間学習を促進する4つのベンチマーク、すなわちオンライン高精細地図構築、長距離深度推定、新規視点合成、エンドツーエンド運転を導入する。プロジェクトページ：https://kitscenes.com/

English

Existing autonomous driving datasets have enabled major progress, but fall short in sensor fidelity, map completeness, or geographic diversity. We present KITScenes Multimodal, a European dataset built around high-fidelity sensors and maps. Our fully synchronized sensor suite combines high-resolution global-shutter cameras, long-range lidar beyond 400m, 4D imaging radar, and redundant GNSS/INS localization. Our HD maps are, to our knowledge, the most complete of any sensor dataset, validated through autonomous driving trials on open-source software. For the first time in a public dataset, all driving-relevant traffic elements, such as traffic lights, are mapped in 3D to a reprojection-accurate level with full topological connectivity. Recorded in cities with irregular street layouts and mixed traffic modes, our dataset complements existing datasets by broadening the available geographic diversity. We also introduce four benchmarks, each advancing spatial learning for embodied AI: online HD map construction, long-range depth estimation, novel view synthesis, and end-to-end driving. Project page: https://kitscenes.com/