Desaprendizado de Máquina Robusto para Grupos

Group-robust Machine Unlearning

March 12, 2025

Autores: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Resumo

O desaprendizado de máquina é um paradigma emergente para remover a influência de dados específicos de treinamento (ou seja, o conjunto de esquecimento) de um modelo, preservando seu conhecimento sobre o restante dos dados (ou seja, o conjunto de retenção). Abordagens anteriores assumem que os dados a serem esquecidos estão uniformemente distribuídos entre todos os pontos de treinamento. No entanto, se os dados a serem desaprendidos forem dominantes em um grupo, mostramos empiricamente que o desempenho para esse grupo se degrada, levando a questões de justiça. Este trabalho aborda o problema negligenciado de conjuntos de esquecimento distribuídos de forma não uniforme, que chamamos de desaprendizado de máquina robusto a grupos, apresentando uma estratégia simples e eficaz que mitiga a perda de desempenho em grupos dominantes por meio da reconfiguração da distribuição de amostras. Além disso, apresentamos o MIU (Desaprendizado de Máquina com Consciência de Informação Mútua), a primeira abordagem para robustez de grupos no desaprendizado de máquina aproximado. O MIU minimiza a informação mútua entre as características do modelo e as informações do grupo, alcançando o desaprendizado enquanto reduz a degradação de desempenho no grupo dominante do conjunto de esquecimento. Adicionalmente, o MIU explora a reconfiguração da distribuição de amostras e a calibração da informação mútua com o modelo original para preservar a robustez do grupo. Realizamos experimentos em três conjuntos de dados e mostramos que o MIU supera métodos padrão, alcançando o desaprendizado sem comprometer a robustez do modelo. O código-fonte está disponível em https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.