PEBench: Ein fiktiver Datensatz zur Bewertung des maschinellen Verlernens für multimodale Large Language Models

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Autoren: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Zusammenfassung

In den letzten Jahren haben Multimodale Große Sprachmodelle (MLLMs) bemerkenswerte Fortschritte in Aufgaben wie visueller Fragebeantwortung, visuellem Verständnis und logischem Schlussfolgern gezeigt. Dieser beeindruckende Fortschritt beruht jedoch auf großen Datenmengen, die aus dem Internet gesammelt wurden, was erhebliche Bedenken hinsichtlich Datenschutz und Sicherheit aufwirft. Um diese Probleme zu adressieren, hat sich das maschinelle Verlernen (Machine Unlearning, MU) als vielversprechende Lösung etabliert, das die Entfernung spezifischen Wissens aus einem bereits trainierten Modell ermöglicht, ohne dass eine Neuanpassung von Grund auf erforderlich ist. Obwohl MU für MLLMs zunehmend Aufmerksamkeit erregt, bleiben aktuelle Bewertungen seiner Wirksamkeit unvollständig, und das zugrunde liegende Problem ist oft unzureichend definiert, was die Entwicklung von Strategien zur Schaffung sichererer und vertrauenswürdigerer Systeme behindert. Um diese Lücke zu schließen, stellen wir einen Benchmark namens PEBench vor, der einen Datensatz von persönlichen Entitäten und entsprechenden allgemeinen Ereignisszenarien umfasst, der darauf abzielt, die Leistung von MU für MLLMs umfassend zu bewerten. Mit PEBench streben wir an, einen standardisierten und robusten Rahmen zu schaffen, um die Forschung in sicheren und datenschutzbewahrenden multimodalen Modellen voranzutreiben. Wir haben 6 MU-Methoden getestet, um ihre Stärken und Schwächen aufzuzeigen und wichtige Herausforderungen sowie Chancen für MU in MLLMs zu beleuchten.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.