Comparateur de Désapprentissage : Un Système d'Analyse Visuelle pour l'Évaluation Comparative des Méthodes de Désapprentissage Automatique

Unlearning Comparator: A Visual Analytics System for Comparative Evaluation of Machine Unlearning Methods

August 18, 2025

papers.authors: Jaeung Lee, Suhyeon Yu, Yurim Jang, Simon S. Woo, Jaemin Jo

cs.AI

papers.abstract

Le Machine Unlearning (MU) vise à supprimer des données d'entraînement ciblées d'un modèle déjà entraîné, afin que ces données supprimées n'influencent plus le comportement du modèle, répondant ainsi aux obligations du "droit à l'oubli" prévues par les lois sur la protection des données. Cependant, nous observons que les chercheurs dans ce domaine en pleine émergence rencontrent des difficultés pour analyser et comprendre le comportement des différentes méthodes de MU, en particulier en ce qui concerne trois principes fondamentaux : la précision, l'efficacité et la confidentialité. Par conséquent, ils se reposent souvent sur des métriques agrégées et des évaluations ad hoc, ce qui rend difficile une évaluation précise des compromis entre les méthodes. Pour combler cette lacune, nous introduisons un système d'analyse visuelle, Unlearning Comparator, conçu pour faciliter l'évaluation systématique des méthodes de MU. Notre système prend en charge deux tâches importantes dans le processus d'évaluation : la comparaison de modèles et la simulation d'attaques. Premièrement, il permet à l'utilisateur de comparer les comportements de deux modèles, tels qu'un modèle généré par une méthode spécifique et un modèle de référence réentraîné, aux niveaux des classes, des instances et des couches, afin de mieux comprendre les changements opérés après le processus de MU. Deuxièmement, notre système simule des attaques par inférence d'appartenance (MIAs) pour évaluer la confidentialité d'une méthode, où un attaquant tente de déterminer si des échantillons de données spécifiques faisaient partie de l'ensemble d'entraînement original. Nous évaluons notre système à travers une étude de cas analysant visuellement des méthodes de MU notables, et démontrons qu'il aide l'utilisateur non seulement à comprendre les comportements des modèles, mais aussi à obtenir des insights pouvant guider l'amélioration des méthodes de MU.

English

Machine Unlearning (MU) aims to remove target training data from a trained model so that the removed data no longer influences the model's behavior, fulfilling "right to be forgotten" obligations under data privacy laws. Yet, we observe that researchers in this rapidly emerging field face challenges in analyzing and understanding the behavior of different MU methods, especially in terms of three fundamental principles in MU: accuracy, efficiency, and privacy. Consequently, they often rely on aggregate metrics and ad-hoc evaluations, making it difficult to accurately assess the trade-offs between methods. To fill this gap, we introduce a visual analytics system, Unlearning Comparator, designed to facilitate the systematic evaluation of MU methods. Our system supports two important tasks in the evaluation process: model comparison and attack simulation. First, it allows the user to compare the behaviors of two models, such as a model generated by a certain method and a retrained baseline, at class-, instance-, and layer-levels to better understand the changes made after unlearning. Second, our system simulates membership inference attacks (MIAs) to evaluate the privacy of a method, where an attacker attempts to determine whether specific data samples were part of the original training set. We evaluate our system through a case study visually analyzing prominent MU methods and demonstrate that it helps the user not only understand model behaviors but also gain insights that can inform the improvement of MU methods.