PEBench : Un jeu de données fictif pour évaluer le désapprentissage automatique dans les modèles de langage multimodaux de grande taille

PEBench: A Fictitious Dataset to Benchmark Machine Unlearning for Multimodal Large Language Models

March 16, 2025

Auteurs: Zhaopan Xu, Pengfei Zhou, Weidong Tang, Jiaxin Ai, Wangbo Zhao, Xiaojiang Peng, Kai Wang, Yang You, Wenqi Shao, Hongxun Yao, Kaipeng Zhang

cs.AI

Résumé

Ces dernières années, les modèles de langage multimodaux de grande envergure (MLLMs) ont démontré des avancées remarquables dans des tâches telles que la réponse à des questions visuelles, la compréhension visuelle et le raisonnement. Cependant, ces progrès impressionnants reposent sur des quantités massives de données collectées sur Internet, soulevant d'importantes préoccupations en matière de confidentialité et de sécurité. Pour résoudre ces problèmes, le désapprentissage machine (MU) est apparu comme une solution prometteuse, permettant de supprimer des connaissances spécifiques d'un modèle déjà entraîné sans nécessiter un réentraînement complet. Bien que le MU pour les MLLMs ait attiré l'attention, les évaluations actuelles de son efficacité restent incomplètes, et le problème sous-jacent est souvent mal défini, ce qui entrave le développement de stratégies pour créer des systèmes plus sûrs et plus fiables. Pour combler cette lacune, nous introduisons un benchmark, nommé PEBench, qui inclut un ensemble de données d'entités personnelles et de scènes d'événements généraux correspondantes, conçu pour évaluer de manière exhaustive les performances du MU pour les MLLMs. À travers PEBench, nous visons à fournir un cadre standardisé et robuste pour faire progresser la recherche sur les modèles multimodaux sécurisés et respectueux de la vie privée. Nous avons évalué 6 méthodes de MU, révélant leurs forces et leurs limites, et mettant en lumière les principaux défis et opportunités pour le MU dans les MLLMs.

English

In recent years, Multimodal Large Language Models (MLLMs) have demonstrated remarkable advancements in tasks such as visual question answering, visual understanding, and reasoning. However, this impressive progress relies on vast amounts of data collected from the internet, raising significant concerns about privacy and security. To address these issues, machine unlearning (MU) has emerged as a promising solution, enabling the removal of specific knowledge from an already trained model without requiring retraining from scratch. Although MU for MLLMs has gained attention, current evaluations of its efficacy remain incomplete, and the underlying problem is often poorly defined, which hinders the development of strategies for creating more secure and trustworthy systems. To bridge this gap, we introduce a benchmark, named PEBench, which includes a dataset of personal entities and corresponding general event scenes, designed to comprehensively assess the performance of MU for MLLMs. Through PEBench, we aim to provide a standardized and robust framework to advance research in secure and privacy-preserving multimodal models. We benchmarked 6 MU methods, revealing their strengths and limitations, and shedding light on key challenges and opportunities for MU in MLLMs.