PEBench：マルチモーダル大規模言語モデルにおける機械的忘却を評価するための仮想データセット

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

著者: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

要旨

近年、マルチモーダル大規模言語モデル（MLLMs）は、視覚的質問応答、視覚的理解、推論などのタスクにおいて顕著な進歩を遂げてきました。しかし、この印象的な進歩は、インターネットから収集された膨大なデータに依存しており、プライバシーとセキュリティに関する重大な懸念を引き起こしています。これらの問題に対処するため、機械学習の「忘却学習（Machine Unlearning, MU）」が有望な解決策として登場し、既に訓練されたモデルから特定の知識を削除することを可能にし、ゼロから再訓練する必要をなくしました。MLLMsにおけるMUは注目を集めていますが、その有効性に関する現在の評価は不完全であり、根本的な問題がしばしば不明確であるため、より安全で信頼性の高いシステムを構築するための戦略の開発が妨げられています。このギャップを埋めるため、私たちはPEBenchというベンチマークを導入しました。PEBenchは、個人エンティティと対応する一般的なイベントシーンを含むデータセットを備えており、MLLMsにおけるMUの性能を包括的に評価するために設計されています。PEBenchを通じて、安全でプライバシーを保護するマルチモーダルモデルの研究を進めるための標準化された堅牢なフレームワークを提供することを目指しています。私たちは6つのMU手法をベンチマークし、それらの強みと限界を明らかにし、MLLMsにおけるMUの主要な課題と機会に光を当てました。

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.