PEBench: Een fictieve dataset om machine-unlearning te benchmarken voor multimodale grote taalmodellen

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Auteurs: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Samenvatting

De afgelopen jaren hebben Multimodale Large Language Models (MLLMs) opmerkelijke vooruitgang geboekt in taken zoals visuele vraagbeantwoording, visueel begrip en redeneren. Deze indrukwekkende vooruitgang is echter afhankelijk van enorme hoeveelheden data die van het internet zijn verzameld, wat aanzienlijke zorgen oproept over privacy en beveiliging. Om deze problemen aan te pakken, is machine unlearning (MU) naar voren gekomen als een veelbelovende oplossing, waardoor specifieke kennis uit een reeds getraind model kan worden verwijderd zonder dat het model vanaf nul opnieuw getraind hoeft te worden. Hoewel MU voor MLLMs aandacht heeft gekregen, blijven huidige evaluaties van de effectiviteit ervan onvolledig, en is het onderliggende probleem vaak slecht gedefinieerd, wat de ontwikkeling van strategieën voor het creëren van veiligere en betrouwbaardere systemen belemmert. Om deze kloof te overbruggen, introduceren we een benchmark, genaamd PEBench, die een dataset bevat van persoonlijke entiteiten en bijbehorende algemene gebeurtenisscènes, ontworpen om de prestaties van MU voor MLLMs uitgebreid te beoordelen. Met PEBench streven we ernaar een gestandaardiseerd en robuust raamwerk te bieden om onderzoek naar veilige en privacybeschermende multimodale modellen te bevorderen. We hebben 6 MU-methoden gebenchmarkt, waarbij hun sterke punten en beperkingen aan het licht zijn gekomen, en belangrijke uitdagingen en kansen voor MU in MLLMs zijn belicht.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.