ADS-Edit: 自動運転システムのためのマルチモーダル知識編集データセット

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

著者: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

要旨

大規模マルチモーダルモデル（LMMs）の最近の進展は、自動運転システム（ADS）において有望な成果を示しています。しかし、ADSへの直接的な適用は、交通知識の誤解、複雑な道路状況、多様な車両状態といった課題によって妨げられています。これらの課題に対処するため、我々は知識編集（Knowledge Editing）の利用を提案します。これにより、モデルの動作を完全な再トレーニングなしに特定の目的に合わせて修正することが可能になります。同時に、ADS向けに特別に設計されたマルチモーダル知識編集データセット「ADS-Edit」を導入します。このデータセットには、さまざまな実世界のシナリオ、複数のデータタイプ、そして包括的な評価指標が含まれています。我々は包括的な実験を行い、いくつかの興味深い結論を導き出しました。我々の研究が、自動運転分野における知識編集アプリケーションのさらなる進展に貢献することを願っています。コードとデータはhttps://github.com/zjunlp/EasyEditで公開されています。

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.