그룹-강건 머신 언러닝

Group-robust Machine Unlearning

March 12, 2025

저자: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

초록

머신 언러닝(Machine Unlearning)은 특정 훈련 데이터(즉, 잊을 집합)의 영향을 모델에서 제거하면서 나머지 데이터(즉, 유지할 집합)에 대한 지식을 보존하는 새로운 패러다임입니다. 기존 접근법은 잊을 데이터가 모든 훈련 데이터 포인트에서 균일하게 분포되어 있다고 가정했습니다. 그러나 언러닝할 데이터가 한 그룹에서 지배적일 경우, 우리는 실험적으로 이 그룹의 성능이 저하되어 공정성 문제가 발생함을 보여줍니다. 본 연구는 균일하지 않게 분포된 잊을 집합이라는 간과된 문제, 즉 그룹-강건 머신 언러닝(Group-Robust Machine Unlearning)을 다룹니다. 이를 위해 샘플 분포 재가중을 통해 지배적 그룹의 성능 저하를 완화하는 간단하면서도 효과적인 전략을 제시합니다. 또한, 우리는 근사적 머신 언러닝에서 그룹 강건성을 위한 최초의 접근법인 MIU(Mutual Information-aware Machine Unlearning)를 소개합니다. MIU는 모델 특징과 그룹 정보 간의 상호 정보를 최소화하여 언러닝을 달성하면서 잊을 집합의 지배적 그룹에서의 성능 저하를 줄입니다. 더불어, MIU는 샘플 분포 재가중과 원본 모델과의 상호 정보 보정을 활용하여 그룹 강건성을 유지합니다. 우리는 세 가지 데이터셋에 대한 실험을 수행하여 MIU가 표준 방법을 능가하며 모델 강건성을 저해하지 않고 언러닝을 달성함을 보여줍니다. 소스 코드는 https://github.com/tdemin16/group-robust_machine_unlearning에서 확인할 수 있습니다.

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.