PEBench: Un Conjunto de Datos Ficticio para Evaluar el Desaprendizaje Automático en Modelos de Lenguaje Multimodales de Gran Escala

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Autores: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Resumen

En los últimos años, los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han demostrado avances notables en tareas como la respuesta a preguntas visuales, la comprensión visual y el razonamiento. Sin embargo, este progreso impresionante depende de grandes cantidades de datos recopilados de internet, lo que plantea preocupaciones significativas sobre la privacidad y la seguridad. Para abordar estos problemas, el "desaprendizaje" en machine learning (MU, por sus siglas en inglés) ha surgido como una solución prometedora, permitiendo la eliminación de conocimientos específicos de un modelo ya entrenado sin necesidad de volver a entrenarlo desde cero. Aunque el MU para MLLMs ha ganado atención, las evaluaciones actuales de su eficacia siguen siendo incompletas, y el problema subyacente a menudo está mal definido, lo que dificulta el desarrollo de estrategias para crear sistemas más seguros y confiables. Para cerrar esta brecha, presentamos un benchmark, denominado PEBench, que incluye un conjunto de datos de entidades personales y escenas de eventos generales correspondientes, diseñado para evaluar de manera integral el rendimiento del MU en MLLMs. A través de PEBench, nuestro objetivo es proporcionar un marco estandarizado y robusto para avanzar en la investigación de modelos multimodales seguros y que preserven la privacidad. Evaluamos 6 métodos de MU, revelando sus fortalezas y limitaciones, y arrojando luz sobre los desafíos clave y las oportunidades para el MU en MLLMs.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.