Unlearning Comparator: Un Sistema di Analisi Visuale per la Valutazione Comparativa dei Metodi di Machine Unlearning

Unlearning Comparator: A Visual Analytics System for Comparative Evaluation of Machine Unlearning Methods

August 18, 2025

Autori: Jaeung Lee, Suhyeon Yu, Yurim Jang, Simon S. Woo, Jaemin Jo

cs.AI

Abstract

Il Machine Unlearning (MU) mira a rimuovere dati specifici di addestramento da un modello già addestrato, in modo che i dati rimossi non influenzino più il comportamento del modello, adempiendo così agli obblighi del "diritto all'oblio" previsti dalle leggi sulla privacy dei dati. Tuttavia, osserviamo che i ricercatori in questo campo in rapida evoluzione affrontano sfide nell'analizzare e comprendere il comportamento dei diversi metodi di MU, in particolare in relazione a tre principi fondamentali: accuratezza, efficienza e privacy. Di conseguenza, spesso si affidano a metriche aggregate e valutazioni ad hoc, rendendo difficile valutare con precisione i compromessi tra i vari metodi. Per colmare questa lacuna, introduciamo un sistema di analisi visiva, Unlearning Comparator, progettato per facilitare la valutazione sistematica dei metodi di MU. Il nostro sistema supporta due compiti importanti nel processo di valutazione: il confronto tra modelli e la simulazione di attacchi. In primo luogo, consente all'utente di confrontare i comportamenti di due modelli, come un modello generato da un determinato metodo e un modello riaddestrato di riferimento, a livello di classe, istanza e strato, per comprendere meglio i cambiamenti apportati dopo l'unlearning. In secondo luogo, il nostro sistema simula attacchi di inferenza di appartenenza (MIAs) per valutare la privacy di un metodo, in cui un attaccante tenta di determinare se specifici campioni di dati facevano parte del set di addestramento originale. Valutiamo il nostro sistema attraverso uno studio di caso che analizza visivamente i principali metodi di MU e dimostriamo che aiuta l'utente non solo a comprendere i comportamenti del modello, ma anche a ottenere intuizioni che possono guidare il miglioramento dei metodi di MU.

English

Machine Unlearning (MU) aims to remove target training data from a trained model so that the removed data no longer influences the model's behavior, fulfilling "right to be forgotten" obligations under data privacy laws. Yet, we observe that researchers in this rapidly emerging field face challenges in analyzing and understanding the behavior of different MU methods, especially in terms of three fundamental principles in MU: accuracy, efficiency, and privacy. Consequently, they often rely on aggregate metrics and ad-hoc evaluations, making it difficult to accurately assess the trade-offs between methods. To fill this gap, we introduce a visual analytics system, Unlearning Comparator, designed to facilitate the systematic evaluation of MU methods. Our system supports two important tasks in the evaluation process: model comparison and attack simulation. First, it allows the user to compare the behaviors of two models, such as a model generated by a certain method and a retrained baseline, at class-, instance-, and layer-levels to better understand the changes made after unlearning. Second, our system simulates membership inference attacks (MIAs) to evaluate the privacy of a method, where an attacker attempts to determine whether specific data samples were part of the original training set. We evaluate our system through a case study visually analyzing prominent MU methods and demonstrate that it helps the user not only understand model behaviors but also gain insights that can inform the improvement of MU methods.