ADS-Edit: Um Conjunto de Dados Multimodal para Edição de Conhecimento em Sistemas de Condução Autônoma

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Autores: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Resumo

Os recentes avanços em Modelos Multimodais de Grande Escala (LMMs) têm mostrado potencial em Sistemas de Condução Autônoma (ADS). No entanto, sua aplicação direta em ADS é dificultada por desafios como a má compreensão do conhecimento de tráfego, condições complexas das vias e estados diversos dos veículos. Para abordar esses desafios, propomos o uso de Edição de Conhecimento, que permite modificações direcionadas no comportamento de um modelo sem a necessidade de retreinamento completo. Paralelamente, introduzimos o ADS-Edit, um conjunto de dados de edição de conhecimento multimodal especificamente projetado para ADS, que inclui diversos cenários do mundo real, múltiplos tipos de dados e métricas de avaliação abrangentes. Realizamos experimentos abrangentes e derivamos várias conclusões interessantes. Esperamos que nosso trabalho contribua para o avanço adicional das aplicações de edição de conhecimento no campo da condução autônoma. O código e os dados estão disponíveis em https://github.com/zjunlp/EasyEdit.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.