ADS-Edit: Мультимодальный набор данных для редактирования знаний в системах автономного вождения

ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

March 26, 2025

Авторы: Chenxi Wang, Jizhan Fang, Xiang Chen, Bozhong Tian, Ziwen Xu, Huajun Chen, Ningyu Zhang

cs.AI

Аннотация

Последние достижения в области крупных мультимодальных моделей (LMM) демонстрируют перспективы их применения в системах автономного вождения (ADS). Однако их прямое использование в ADS сталкивается с такими проблемами, как непонимание правил дорожного движения, сложные дорожные условия и разнообразные состояния транспортных средств. Для решения этих задач мы предлагаем использовать метод редактирования знаний, который позволяет вносить целенаправленные изменения в поведение модели без необходимости полного переобучения. Одновременно мы представляем ADS-Edit — мультимодальный набор данных для редактирования знаний, специально разработанный для ADS, который включает различные реальные сценарии, множество типов данных и комплексные метрики оценки. Мы провели всесторонние эксперименты и получили несколько интересных выводов. Мы надеемся, что наша работа внесет вклад в дальнейшее развитие приложений для редактирования знаний в области автономного вождения. Код и данные доступны по адресу https://github.com/zjunlp/EasyEdit.

English

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model's behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.