Apprentissage automatique robuste au niveau des groupes pour l'effacement de modèles

Group-robust Machine Unlearning

March 12, 2025

Auteurs: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Résumé

Le désapprentissage machine est un paradigme émergent visant à supprimer l'influence de données d'entraînement spécifiques (c'est-à-dire l'ensemble à oublier) d'un modèle tout en préservant sa connaissance du reste des données (c'est-à-dire l'ensemble à retenir). Les approches précédentes supposent que les données à oublier sont uniformément réparties parmi tous les points de données d'entraînement. Cependant, si les données à désapprendre dominent dans un groupe, nous montrons empiriquement que les performances pour ce groupe se dégradent, entraînant des problèmes d'équité. Ce travail aborde le problème négligé des ensembles à oublier non uniformément répartis, que nous appelons désapprentissage machine robuste aux groupes, en présentant une stratégie simple et efficace qui atténue la perte de performance dans les groupes dominants via une re-pondération de la distribution des échantillons. De plus, nous présentons MIU (Machine Unlearning basé sur l'Information Mutuelle), la première approche pour la robustesse aux groupes dans le désapprentissage machine approximatif. MIU minimise l'information mutuelle entre les caractéristiques du modèle et les informations de groupe, permettant le désapprentissage tout en réduisant la dégradation des performances dans le groupe dominant de l'ensemble à oublier. Par ailleurs, MIU exploite la re-pondération de la distribution des échantillons et la calibration de l'information mutuelle avec le modèle original pour préserver la robustesse aux groupes. Nous menons des expériences sur trois jeux de données et montrons que MIU surpasse les méthodes standard, réalisant le désapprentissage sans compromettre la robustesse du modèle. Le code source est disponible à l'adresse suivante : https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.