PEBench: Um Conjunto de Dados Fictício para Avaliar o Desaprendizado de Máquina em Modelos de Linguagem Multimodais de Grande Escala

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Autores: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Resumo

Nos últimos anos, os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) demonstraram avanços notáveis em tarefas como resposta a perguntas visuais, compreensão visual e raciocínio. No entanto, esse progresso impressionante depende de grandes quantidades de dados coletados da internet, levantando preocupações significativas sobre privacidade e segurança. Para abordar essas questões, o "machine unlearning" (MU) surgiu como uma solução promissora, permitindo a remoção de conhecimentos específicos de um modelo já treinado sem a necessidade de retreiná-lo do zero. Embora o MU para MLLMs tenha ganhado atenção, as avaliações atuais de sua eficácia permanecem incompletas, e o problema subjacente é frequentemente mal definido, o que dificulta o desenvolvimento de estratégias para criar sistemas mais seguros e confiáveis. Para preencher essa lacuna, introduzimos um benchmark, denominado PEBench, que inclui um conjunto de dados de entidades pessoais e cenas de eventos gerais correspondentes, projetado para avaliar de forma abrangente o desempenho do MU para MLLMs. Por meio do PEBench, nosso objetivo é fornecer uma estrutura padronizada e robusta para avançar a pesquisa em modelos multimodais seguros e que preservam a privacidade. Avaliamos 6 métodos de MU, revelando seus pontos fortes e limitações, e destacando desafios e oportunidades-chave para o MU em MLLMs.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.