ADS-Edit: Un Conjunto de Datos Multimodal para la Edición de Conocimiento en Sistemas de Conducción Autónoma

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Autores: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Resumen

Los recientes avances en Modelos Multimodales de Gran Escala (LMMs) han mostrado un gran potencial en los Sistemas de Conducción Autónoma (ADS). Sin embargo, su aplicación directa a los ADS se ve obstaculizada por desafíos como la mala interpretación del conocimiento sobre tráfico, las condiciones complejas de las carreteras y los diversos estados de los vehículos. Para abordar estos desafíos, proponemos el uso de la Edición de Conocimiento, que permite realizar modificaciones específicas en el comportamiento de un modelo sin necesidad de un reentrenamiento completo. Además, presentamos ADS-Edit, un conjunto de datos de edición de conocimiento multimodal diseñado específicamente para ADS, que incluye diversos escenarios del mundo real, múltiples tipos de datos y métricas de evaluación exhaustivas. Realizamos experimentos exhaustivos y obtenemos varias conclusiones interesantes. Esperamos que nuestro trabajo contribuya al avance de las aplicaciones de edición de conocimiento en el campo de la conducción autónoma. El código y los datos están disponibles en https://github.com/zjunlp/EasyEdit.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.