Groepsrobuuste Machine Unlearning

Group-robust Machine Unlearning

March 12, 2025

Auteurs: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Samenvatting

Machine unlearning is een opkomend paradigma om de invloed van specifieke trainingsdata (d.w.z. de forget set) uit een model te verwijderen, terwijl de kennis van de rest van de data (d.w.z. de retain set) behouden blijft. Eerdere benaderingen gaan ervan uit dat de te vergeten data uniform verdeeld is over alle trainingsdatapunten. Echter, als de data die moet worden vergeten dominant is in één groep, tonen we empirisch aan dat de prestaties voor deze groep achteruitgaan, wat leidt tot eerlijkheidsproblemen. Dit werk behandelt het over het hoofd geziene probleem van niet-uniform verdeelde forget sets, wat we group-robust machine unlearning noemen, door een eenvoudige, effectieve strategie te presenteren die het prestatieverlies in dominante groepen vermindert via herweging van de steekproefverdeling. Bovendien presenteren we MIU (Mutual Information-aware Machine Unlearning), de eerste benadering voor groeprobuustheid in benaderend machine unlearning. MIU minimaliseert de wederzijdse informatie tussen modelkenmerken en groepsinformatie, waardoor unlearning wordt bereikt terwijl prestatievermindering in de dominante groep van de forget set wordt beperkt. Daarnaast maakt MIU gebruik van herweging van de steekproefverdeling en kalibratie van wederzijdse informatie met het oorspronkelijke model om groeprobuustheid te behouden. We voeren experimenten uit op drie datasets en laten zien dat MIU standaardmethoden overtreft, waarbij unlearning wordt bereikt zonder de robuustheid van het model aan te tasten. Broncode is beschikbaar op https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.