Apprendimento automatico robusto ai gruppi per la cancellazione dei dati

Group-robust Machine Unlearning

March 12, 2025

Autori: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Abstract

Il machine unlearning è un paradigma emergente per rimuovere l'influenza di specifici dati di addestramento (cioè il forget set) da un modello preservando la sua conoscenza del resto dei dati (cioè il retain set). Gli approcci precedenti assumono che i dati da dimenticare siano distribuiti uniformemente tra tutti i punti di addestramento. Tuttavia, se i dati da dimenticare sono dominanti in un gruppo, dimostriamo empiricamente che le prestazioni per questo gruppo si degradano, portando a problemi di equità. Questo lavoro affronta il problema trascurato dei forget set distribuiti in modo non uniforme, che chiamiamo group-robust machine unlearning, presentando una strategia semplice ed efficace che mitiga la perdita di prestazioni nei gruppi dominanti attraverso il ri-ponderamento della distribuzione dei campioni. Inoltre, presentiamo MIU (Mutual Information-aware Machine Unlearning), il primo approccio per la robustezza di gruppo nell'approximate machine unlearning. MIU minimizza l'informazione mutua tra le caratteristiche del modello e le informazioni di gruppo, ottenendo l'unlearning riducendo al contempo il degrado delle prestazioni nel gruppo dominante del forget set. Inoltre, MIU sfrutta il ri-ponderamento della distribuzione dei campioni e la calibrazione dell'informazione mutua con il modello originale per preservare la robustezza di gruppo. Abbiamo condotto esperimenti su tre dataset e dimostrato che MIU supera i metodi standard, ottenendo l'unlearning senza compromettere la robustezza del modello. Il codice sorgente è disponibile all'indirizzo https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.