PEBench: Искусственный набор данных для оценки методов машинного "забывания" в мультимодальных больших языковых моделях

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Авторы: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Аннотация

В последние годы мультимодальные большие языковые модели (MLLMs) продемонстрировали значительные успехи в таких задачах, как визуальное ответы на вопросы, визуальное понимание и рассуждение. Однако этот впечатляющий прогресс основывается на огромных объемах данных, собранных из интернета, что вызывает серьезные опасения в отношении конфиденциальности и безопасности. Для решения этих проблем появилось перспективное направление — машинное "забывание" (MU), которое позволяет удалять определенные знания из уже обученной модели без необходимости ее полного переобучения. Хотя MU для MLLMs привлекает внимание, текущие оценки его эффективности остаются неполными, а сама проблема часто недостаточно четко определена, что затрудняет разработку стратегий для создания более безопасных и надежных систем. Чтобы устранить этот пробел, мы представляем бенчмарк под названием PEBench, который включает набор данных о личных объектах и соответствующих общих сценах событий, предназначенный для всесторонней оценки производительности MU для MLLMs. С помощью PEBench мы стремимся предоставить стандартизированную и надежную основу для продвижения исследований в области безопасных и защищающих конфиденциальность мультимодальных моделей. Мы протестировали 6 методов MU, выявив их сильные и слабые стороны, а также обозначив ключевые вызовы и возможности для MU в MLLMs.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.