ADS-Edit: 자율주행 시스템을 위한 다중모달 지식 편집 데이터셋

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

저자: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

초록

대규모 멀티모달 모델(Large Multimodal Models, LMMs)의 최근 발전은 자율주행 시스템(Autonomous Driving Systems, ADS) 분야에서 유망한 가능성을 보여주고 있습니다. 그러나 이러한 모델을 ADS에 직접 적용하는 데는 교통 지식의 오해, 복잡한 도로 조건, 차량의 다양한 상태와 같은 도전 과제가 존재합니다. 이러한 문제를 해결하기 위해, 우리는 전체 재학습 없이도 모델의 행동을 목표에 맞게 수정할 수 있는 지식 편집(Knowledge Editing) 기법을 제안합니다. 동시에, 우리는 ADS를 위해 특별히 설계된 멀티모달 지식 편집 데이터셋인 ADS-Edit을 소개합니다. 이 데이터셋은 다양한 실제 시나리오, 다중 데이터 유형, 그리고 포괄적인 평가 지표를 포함하고 있습니다. 우리는 포괄적인 실험을 수행하고 여러 흥미로운 결론을 도출했습니다. 우리의 연구가 자율주행 분야에서 지식 편집 응용의 더 나은 발전에 기여하기를 바랍니다. 코드와 데이터는 https://github.com/zjunlp/EasyEdit에서 확인할 수 있습니다.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.