グループロバストな機械学習忘却

Group-robust Machine Unlearning

March 12, 2025

著者: Thomas De Min, Subhankar Roy, Stéphane Lathuilière, Elisa Ricci, Massimiliano Mancini

cs.AI

要旨

機械学習のアンラーニングは、特定の学習データ（すなわち、忘れ去るべきデータセット）の影響をモデルから除去しつつ、残りのデータ（すなわち、保持すべきデータセット）に関する知識を保持する新たなパラダイムです。従来のアプローチでは、忘れ去るべきデータが全ての学習データポイントから均一に分布していると仮定していました。しかし、アンラーニングすべきデータが特定のグループに偏在している場合、そのグループの性能が低下し、公平性の問題が生じることが実証的に示されています。本研究では、均一に分布していない忘れ去るべきデータセットという見過ごされていた問題（我々はこれをグループロバストな機械学習のアンラーニングと呼びます）に取り組み、サンプル分布の再重み付けを通じて主要なグループにおける性能低下を緩和するシンプルで効果的な戦略を提案します。さらに、近似機械学習のアンラーニングにおけるグループロバスト性を実現する初めてのアプローチとして、MIU（Mutual Information-aware Machine Unlearning）を提示します。MIUは、モデルの特徴量とグループ情報との間の相互情報量を最小化し、忘れ去るべきデータセットの主要なグループにおける性能低下を抑えつつアンラーニングを達成します。加えて、MIUはサンプル分布の再重み付けと元のモデルとの相互情報量の調整を活用し、グループロバスト性を維持します。3つのデータセットを用いた実験を行い、MIUが標準的な手法を上回り、モデルのロバスト性を損なうことなくアンラーニングを実現することを示します。ソースコードはhttps://github.com/tdemin16/group-robust_machine_unlearningで公開されています。

English

Machine unlearning is an emerging paradigm to remove the influence of specific training data (i.e., the forget set) from a model while preserving its knowledge of the rest of the data (i.e., the retain set). Previous approaches assume the forget data to be uniformly distributed from all training datapoints. However, if the data to unlearn is dominant in one group, we empirically show that performance for this group degrades, leading to fairness issues. This work tackles the overlooked problem of non-uniformly distributed forget sets, which we call group-robust machine unlearning, by presenting a simple, effective strategy that mitigates the performance loss in dominant groups via sample distribution reweighting. Moreover, we present MIU (Mutual Information-aware Machine Unlearning), the first approach for group robustness in approximate machine unlearning. MIU minimizes the mutual information between model features and group information, achieving unlearning while reducing performance degradation in the dominant group of the forget set. Additionally, MIU exploits sample distribution reweighting and mutual information calibration with the original model to preserve group robustness. We conduct experiments on three datasets and show that MIU outperforms standard methods, achieving unlearning without compromising model robustness. Source code available at https://github.com/tdemin16/group-robust_machine_unlearning.