ADS-Edit : Un ensemble de données multimodales pour l'édition de connaissances dans les systèmes de conduite autonome

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Auteurs: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Résumé

Les récents progrès des modèles multimodaux de grande taille (LMMs) ont montré des perspectives prometteuses dans les systèmes de conduite autonome (ADS). Cependant, leur application directe aux ADS est entravée par des défis tels que la méconnaissance des règles de circulation, les conditions routières complexes et les états variés des véhicules. Pour relever ces défis, nous proposons l'utilisation de l'édition de connaissances, qui permet des modifications ciblées du comportement d'un modèle sans nécessiter un réentraînement complet. Parallèlement, nous introduisons ADS-Edit, un ensemble de données d'édition de connaissances multimodal spécialement conçu pour les ADS, qui inclut divers scénarios réels, plusieurs types de données et des métriques d'évaluation complètes. Nous menons des expériences approfondies et tirons plusieurs conclusions intéressantes. Nous espérons que notre travail contribuera à l'avancement des applications d'édition de connaissances dans le domaine de la conduite autonome. Le code et les données sont disponibles sur https://github.com/zjunlp/EasyEdit.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.