Desaprendizaje Comparativo: Un Sistema de Análisis Visual para la Evaluación Comparativa de Métodos de Desaprendizaje en Aprendizaje Automático

Unlearning Comparator: A Visual Analytics System for Comparative Evaluation of Machine Unlearning Methods

August 18, 2025

Autores: Jaeung Lee, Suhyeon Yu, Yurim Jang, Simon S. Woo, Jaemin Jo

cs.AI

Resumen

El Olvido de Máquina (Machine Unlearning, MU) tiene como objetivo eliminar datos específicos de entrenamiento de un modelo ya entrenado, de modo que los datos eliminados ya no influyan en el comportamiento del modelo, cumpliendo así con las obligaciones del "derecho al olvido" establecidas en las leyes de privacidad de datos. Sin embargo, observamos que los investigadores en este campo emergente enfrentan desafíos al analizar y comprender el comportamiento de los diferentes métodos de MU, especialmente en términos de tres principios fundamentales: precisión, eficiencia y privacidad. Como resultado, a menudo dependen de métricas agregadas y evaluaciones ad-hoc, lo que dificulta la evaluación precisa de las compensaciones entre los métodos. Para abordar esta brecha, presentamos un sistema de análisis visual, el Comparador de Olvido (Unlearning Comparator), diseñado para facilitar la evaluación sistemática de los métodos de MU. Nuestro sistema soporta dos tareas importantes en el proceso de evaluación: la comparación de modelos y la simulación de ataques. En primer lugar, permite al usuario comparar los comportamientos de dos modelos, como un modelo generado por un método específico y un modelo de referencia reentrenado, a nivel de clase, instancia y capa, para comprender mejor los cambios realizados después del olvido. En segundo lugar, nuestro sistema simula ataques de inferencia de pertenencia (MIAs) para evaluar la privacidad de un método, donde un atacante intenta determinar si muestras de datos específicas formaron parte del conjunto de entrenamiento original. Evaluamos nuestro sistema mediante un estudio de caso que analiza visualmente métodos destacados de MU y demostramos que ayuda al usuario no solo a comprender los comportamientos del modelo, sino también a obtener ideas que pueden informar la mejora de los métodos de MU.

English

Machine Unlearning (MU) aims to remove target training data from a trained model so that the removed data no longer influences the model's behavior, fulfilling "right to be forgotten" obligations under data privacy laws. Yet, we observe that researchers in this rapidly emerging field face challenges in analyzing and understanding the behavior of different MU methods, especially in terms of three fundamental principles in MU: accuracy, efficiency, and privacy. Consequently, they often rely on aggregate metrics and ad-hoc evaluations, making it difficult to accurately assess the trade-offs between methods. To fill this gap, we introduce a visual analytics system, Unlearning Comparator, designed to facilitate the systematic evaluation of MU methods. Our system supports two important tasks in the evaluation process: model comparison and attack simulation. First, it allows the user to compare the behaviors of two models, such as a model generated by a certain method and a retrained baseline, at class-, instance-, and layer-levels to better understand the changes made after unlearning. Second, our system simulates membership inference attacks (MIAs) to evaluate the privacy of a method, where an attacker attempts to determine whether specific data samples were part of the original training set. We evaluate our system through a case study visually analyzing prominent MU methods and demonstrate that it helps the user not only understand model behaviors but also gain insights that can inform the improvement of MU methods.