Unlearning Comparator: Een Visueel Analysesysteem voor Vergelijkende Evaluatie van Machine Unlearning Methoden
Unlearning Comparator: A Visual Analytics System for Comparative Evaluation of Machine Unlearning Methods
August 18, 2025
Auteurs: Jaeung Lee, Suhyeon Yu, Yurim Jang, Simon S. Woo, Jaemin Jo
cs.AI
Samenvatting
Machine Unlearning (MU) heeft als doel specifieke trainingsgegevens uit een getraind model te verwijderen, zodat de verwijderde gegevens het gedrag van het model niet langer beïnvloeden, en zo te voldoen aan de "recht om vergeten te worden"-verplichtingen onder privacywetgeving. Echter, we merken op dat onderzoekers in dit snel opkomende veld uitdagingen ondervinden bij het analyseren en begrijpen van het gedrag van verschillende MU-methoden, met name wat betreft drie fundamentele principes in MU: nauwkeurigheid, efficiëntie en privacy. Hierdoor vertrouwen ze vaak op samengevatte metrieken en ad-hoc-evaluaties, wat het nauwkeurig beoordelen van de afwegingen tussen methoden bemoeilijkt. Om deze kloof te dichten, introduceren we een visueel analysesysteem, Unlearning Comparator, dat is ontworpen om de systematische evaluatie van MU-methoden te vergemakkelijken. Ons systeem ondersteunt twee belangrijke taken in het evaluatieproces: modelvergelijking en aanvalssimulatie. Ten eerste stelt het de gebruiker in staat om het gedrag van twee modellen te vergelijken, zoals een model gegenereerd door een bepaalde methode en een opnieuw getraind basislijn, op klasse-, instantie- en laagniveau om de wijzigingen na het verwijderen beter te begrijpen. Ten tweede simuleert ons systeem membership inference attacks (MIA's) om de privacy van een methode te evalueren, waarbij een aanvaller probeert te bepalen of specifieke gegevensmonsters deel uitmaakten van de oorspronkelijke trainingsset. We evalueren ons systeem via een casestudy waarin we prominente MU-methoden visueel analyseren en tonen aan dat het de gebruiker niet alleen helpt om modelgedrag te begrijpen, maar ook inzichten biedt die kunnen bijdragen aan de verbetering van MU-methoden.
English
Machine Unlearning (MU) aims to remove target training data from a trained
model so that the removed data no longer influences the model's behavior,
fulfilling "right to be forgotten" obligations under data privacy laws. Yet, we
observe that researchers in this rapidly emerging field face challenges in
analyzing and understanding the behavior of different MU methods, especially in
terms of three fundamental principles in MU: accuracy, efficiency, and privacy.
Consequently, they often rely on aggregate metrics and ad-hoc evaluations,
making it difficult to accurately assess the trade-offs between methods. To
fill this gap, we introduce a visual analytics system, Unlearning Comparator,
designed to facilitate the systematic evaluation of MU methods. Our system
supports two important tasks in the evaluation process: model comparison and
attack simulation. First, it allows the user to compare the behaviors of two
models, such as a model generated by a certain method and a retrained baseline,
at class-, instance-, and layer-levels to better understand the changes made
after unlearning. Second, our system simulates membership inference attacks
(MIAs) to evaluate the privacy of a method, where an attacker attempts to
determine whether specific data samples were part of the original training set.
We evaluate our system through a case study visually analyzing prominent MU
methods and demonstrate that it helps the user not only understand model
behaviors but also gain insights that can inform the improvement of MU methods.