Unlearning Comparator: Ein Visual-Analytics-System zur vergleichenden Bewertung von Methoden des maschinellen Verlernens
Unlearning Comparator: A Visual Analytics System for Comparative Evaluation of Machine Unlearning Methods
August 18, 2025
papers.authors: Jaeung Lee, Suhyeon Yu, Yurim Jang, Simon S. Woo, Jaemin Jo
cs.AI
papers.abstract
Machine Unlearning (MU) zielt darauf ab, bestimmte Trainingsdaten aus einem trainierten Modell zu entfernen, sodass die entfernten Daten das Verhalten des Modells nicht mehr beeinflussen. Dies erfüllt die Anforderungen des „Rechts auf Vergessenwerden“ gemäß den Datenschutzgesetzen. Wir beobachten jedoch, dass Forscher in diesem schnell wachsenden Feld Schwierigkeiten haben, das Verhalten verschiedener MU-Methoden zu analysieren und zu verstehen, insbesondere im Hinblick auf drei grundlegende Prinzipien von MU: Genauigkeit, Effizienz und Privatsphäre. Infolgedessen verlassen sie sich oft auf aggregierte Metriken und Ad-hoc-Bewertungen, was es schwierig macht, die Kompromisse zwischen den Methoden genau zu bewerten. Um diese Lücke zu schließen, stellen wir ein Visual-Analytics-System vor, den Unlearning Comparator, der die systematische Bewertung von MU-Methoden erleichtern soll. Unser System unterstützt zwei wichtige Aufgaben im Bewertungsprozess: Modellvergleich und Angriffssimulation. Erstens ermöglicht es dem Benutzer, das Verhalten zweier Modelle, wie z. B. eines Modells, das mit einer bestimmten Methode erzeugt wurde, und eines neu trainierten Basismodells, auf Klassen-, Instanz- und Ebenenebene zu vergleichen, um die nach dem Unlearning vorgenommenen Änderungen besser zu verstehen. Zweitens simuliert unser System Membership Inference Attacks (MIAs), um die Privatsphäre einer Methode zu bewerten, bei denen ein Angreifer versucht festzustellen, ob bestimmte Datenproben Teil des ursprünglichen Trainingssets waren. Wir bewerten unser System durch eine Fallstudie, in der wir prominente MU-Methoden visuell analysieren, und zeigen, dass es dem Benutzer nicht nur hilft, das Modellverhalten zu verstehen, sondern auch Einblicke gewährt, die zur Verbesserung von MU-Methoden beitragen können.
English
Machine Unlearning (MU) aims to remove target training data from a trained
model so that the removed data no longer influences the model's behavior,
fulfilling "right to be forgotten" obligations under data privacy laws. Yet, we
observe that researchers in this rapidly emerging field face challenges in
analyzing and understanding the behavior of different MU methods, especially in
terms of three fundamental principles in MU: accuracy, efficiency, and privacy.
Consequently, they often rely on aggregate metrics and ad-hoc evaluations,
making it difficult to accurately assess the trade-offs between methods. To
fill this gap, we introduce a visual analytics system, Unlearning Comparator,
designed to facilitate the systematic evaluation of MU methods. Our system
supports two important tasks in the evaluation process: model comparison and
attack simulation. First, it allows the user to compare the behaviors of two
models, such as a model generated by a certain method and a retrained baseline,
at class-, instance-, and layer-levels to better understand the changes made
after unlearning. Second, our system simulates membership inference attacks
(MIAs) to evaluate the privacy of a method, where an attacker attempts to
determine whether specific data samples were part of the original training set.
We evaluate our system through a case study visually analyzing prominent MU
methods and demonstrate that it helps the user not only understand model
behaviors but also gain insights that can inform the improvement of MU methods.