PEBench: Un Dataset Fittizio per Valutare il Machine Unlearning nei Modelli Linguistici Multimodali di Grandi Dimensioni

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Autori: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Abstract

Negli ultimi anni, i Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno dimostrato progressi significativi in compiti come il question answering visivo, la comprensione visiva e il ragionamento. Tuttavia, questo impressionante progresso si basa su enormi quantità di dati raccolti da internet, sollevando preoccupazioni rilevanti riguardo alla privacy e alla sicurezza. Per affrontare questi problemi, il machine unlearning (MU) è emerso come una soluzione promettente, consentendo la rimozione di conoscenze specifiche da un modello già addestrato senza la necessità di riaddestrarlo da zero. Sebbene il MU per gli MLLMs abbia attirato l'attenzione, le attuali valutazioni della sua efficacia rimangono incomplete e il problema sottostante è spesso mal definito, il che ostacola lo sviluppo di strategie per creare sistemi più sicuri e affidabili. Per colmare questa lacuna, introduciamo un benchmark, denominato PEBench, che include un dataset di entità personali e scene di eventi generali corrispondenti, progettato per valutare in modo completo le prestazioni del MU per gli MLLMs. Attraverso PEBench, miriamo a fornire un framework standardizzato e robusto per far progredire la ricerca su modelli multimodali sicuri e rispettosi della privacy. Abbiamo valutato 6 metodi di MU, rivelando i loro punti di forza e limiti, e gettando luce sulle principali sfide e opportunità per il MU negli MLLMs.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.