Aprendizaje Automático Robusto a Nivel de Grupo para el Olvido de Datos

Group-robust Machine Unlearning

March 12, 2025

Autores: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Resumen

El desaprendizaje automático es un paradigma emergente para eliminar la influencia de datos específicos de entrenamiento (es decir, el conjunto de olvido) de un modelo, preservando su conocimiento sobre el resto de los datos (es decir, el conjunto de retención). Los enfoques anteriores asumen que los datos a olvidar están distribuidos uniformemente entre todos los puntos de entrenamiento. Sin embargo, si los datos a desaprender son dominantes en un grupo, demostramos empíricamente que el rendimiento para este grupo se degrada, lo que genera problemas de equidad. Este trabajo aborda el problema pasado por alto de los conjuntos de olvido distribuidos de manera no uniforme, que denominamos desaprendizaje automático robusto a grupos, presentando una estrategia simple y efectiva que mitiga la pérdida de rendimiento en grupos dominantes mediante la reasignación de pesos en la distribución de muestras. Además, presentamos MIU (Desaprendizaje Automático Consciente de la Información Mutua), el primer enfoque para la robustez de grupos en el desaprendizaje automático aproximado. MIU minimiza la información mutua entre las características del modelo y la información de grupo, logrando el desaprendizaje mientras reduce la degradación del rendimiento en el grupo dominante del conjunto de olvido. Adicionalmente, MIU aprovecha la reasignación de pesos en la distribución de muestras y la calibración de la información mutua con el modelo original para preservar la robustez de grupos. Realizamos experimentos en tres conjuntos de datos y demostramos que MIU supera a los métodos estándar, logrando el desaprendizaje sin comprometer la robustez del modelo. El código fuente está disponible en https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.