PEBench: 멀티모달 대형 언어 모델을 위한 기계적 망각 벤치마킹을 위한 가상 데이터셋

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

저자: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

초록

최근 멀티모달 대형 언어 모델(MLLMs)은 시각적 질문 응답, 시각적 이해, 추론과 같은 작업에서 놀라운 발전을 보여주었습니다. 그러나 이러한 인상적인 성과는 인터넷에서 수집된 방대한 양의 데이터에 의존하고 있어, 프라이버시와 보안에 대한 심각한 우려를 불러일으키고 있습니다. 이러한 문제를 해결하기 위해 기계 언러닝(MU)이 유망한 해결책으로 떠오르고 있으며, 이는 이미 훈련된 모델에서 특정 지식을 제거할 수 있게 해주어 처음부터 다시 훈련할 필요 없이 모델을 개선할 수 있습니다. MLLMs에 대한 MU가 주목받고 있지만, 현재의 효율성 평가는 여전히 불완전하며, 근본적인 문제가 종종 명확히 정의되지 않아 더 안전하고 신뢰할 수 있는 시스템을 구축하기 위한 전략 개발을 방해하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 PEBench라는 벤치마크를 소개합니다. 이 벤치마크는 개인 엔티티와 해당 일반 이벤트 장면으로 구성된 데이터셋을 포함하여 MLLMs에 대한 MU의 성능을 포괄적으로 평가하도록 설계되었습니다. PEBench를 통해 우리는 안전하고 프라이버시를 보호하는 멀티모달 모델 연구를 발전시키기 위한 표준화되고 견고한 프레임워크를 제공하고자 합니다. 우리는 6가지 MU 방법을 벤치마킹하여 그들의 강점과 한계를 밝히고, MLLMs에서 MU의 주요 과제와 기회에 대한 통찰을 제공합니다.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.