De weg vooruit in autonoom rijden: De KITScenes multimodale dataset

Samenvatting

Bestaande datasets voor autonoom rijden hebben aanzienlijke vooruitgang mogelijk gemaakt, maar schieten tekort op het gebied van sensorgetrouwheid, kaartvolledigheid of geografische diversiteit. Wij presenteren KITScenes Multimodal, een Europese dataset die is opgebouwd rond hooggetrouwe sensoren en kaarten. Onze volledig gesynchroniseerde sensoropstelling combineert camera’s met een hoge resolutie en een globale sluiter, langeafstands-lidar tot meer dan 400 m, 4D-beeldvormingsradar en redundante GNSS/INS-lokalisatie. Onze HD-kaarten zijn, naar ons weten, de meest complete van elke sensordataset, gevalideerd door middel van autonome rijtests met opensourcesoftware. Voor het eerst in een openbare dataset worden alle voor het rijden relevante verkeerselementen, zoals verkeerslichten, in 3D in kaart gebracht op een herprojectienauwkeurig niveau met volledige topologische connectiviteit. Opgenomen in steden met onregelmatige straatindelingen en gemengde verkeersmodi, vult onze dataset bestaande datasets aan door de beschikbare geografische diversiteit te vergroten. We introduceren ook vier benchmarks, die elk het ruimtelijk leren voor belichaamde AI bevorderen: online HD-kaartconstructie, schatting van diepte op lange afstand, synthese van nieuwe aanzichten en end-to-end rijden. Projectpagina: https://kitscenes.com/

English

Existing autonomous driving datasets have enabled major progress, but fall short in sensor fidelity, map completeness, or geographic diversity. We present KITScenes Multimodal, a European dataset built around high-fidelity sensors and maps. Our fully synchronized sensor suite combines high-resolution global-shutter cameras, long-range lidar beyond 400m, 4D imaging radar, and redundant GNSS/INS localization. Our HD maps are, to our knowledge, the most complete of any sensor dataset, validated through autonomous driving trials on open-source software. For the first time in a public dataset, all driving-relevant traffic elements, such as traffic lights, are mapped in 3D to a reprojection-accurate level with full topological connectivity. Recorded in cities with irregular street layouts and mixed traffic modes, our dataset complements existing datasets by broadening the available geographic diversity. We also introduce four benchmarks, each advancing spatial learning for embodied AI: online HD map construction, long-range depth estimation, novel view synthesis, and end-to-end driving. Project page: https://kitscenes.com/