ADS-Edit: Een Multimodaal Kennisbewerkingsdataset voor Autonome Rijsystemen

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Auteurs: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Samenvatting

Recente vooruitgang in Grote Multimodale Modellen (LMMs) heeft veelbelovende resultaten getoond in Autonome Rijsytemen (ADS). Hun directe toepassing in ADS wordt echter belemmerd door uitdagingen zoals misinterpretatie van verkeerskennis, complexe wegcondities en diverse voertuigtoestanden. Om deze uitdagingen aan te pakken, stellen wij het gebruik van Kennisbewerking voor, waarmee gerichte aanpassingen aan het gedrag van een model mogelijk zijn zonder volledige hertraining. Tegelijkertijd introduceren wij ADS-Edit, een multimodaal kennisbewerkingsdataset specifiek ontworpen voor ADS, dat diverse real-world scenario's, meerdere datatypes en uitgebreide evaluatiemetrics omvat. Wij voeren uitgebreide experimenten uit en trekken verschillende interessante conclusies. Wij hopen dat ons werk zal bijdragen aan de verdere vooruitgang van kennisbewerkingsapplicaties op het gebied van autonoom rijden. Code en data zijn beschikbaar op https://github.com/zjunlp/EasyEdit.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.