Группово-устойчивое машинное забывание

Group-robust Machine Unlearning

March 12, 2025

Авторы: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

Аннотация

Машинное "разучивание" (machine unlearning) — это новая парадигма, позволяющая удалить влияние определённых обучающих данных (так называемого "забываемого набора") из модели, сохраняя при этом её знания о остальных данных (так называемого "сохраняемого набора"). Предыдущие подходы предполагали, что забываемые данные равномерно распределены среди всех обучающих точек. Однако, если данные, которые необходимо "разучить", доминируют в одной из групп, мы эмпирически показываем, что производительность для этой группы ухудшается, что приводит к проблемам справедливости. Данная работа решает упущенную проблему неравномерно распределённых забываемых наборов, которую мы называем группово-устойчивым машинным "разучиванием", предлагая простую и эффективную стратегию, которая смягчает потерю производительности в доминирующих группах за счёт перевзвешивания распределения выборок. Кроме того, мы представляем MIU (Mutual Information-aware Machine Unlearning) — первый подход для обеспечения групповой устойчивости в приближённом машинном "разучивании". MIU минимизирует взаимную информацию между признаками модели и групповой информацией, достигая "разучивания" при одновременном снижении деградации производительности в доминирующей группе забываемого набора. Дополнительно MIU использует перевзвешивание распределения выборок и калибровку взаимной информации с исходной моделью для сохранения групповой устойчивости. Мы проводим эксперименты на трёх наборах данных и показываем, что MIU превосходит стандартные методы, достигая "разучивания" без ущерба для устойчивости модели. Исходный код доступен по адресу https://github.com/tdemin16/group-robust_machine_unlearning.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.