影響力近似による効率的な機械学習の忘却

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

著者: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

要旨

プライバシー懸念の高まりに伴い、機械学習モデルが特定の訓練データを「忘れる」ことを可能にする機械的忘却（machine unlearning）が注目を集めています。既存の手法の中でも、影響ベースの忘却（influence-based unlearning）は、再訓練なしに個々の訓練サンプルがモデルパラメータに与える影響を推定できることから、主要なアプローチとして浮上しています。しかし、この手法は、すべての訓練サンプルとパラメータにわたってヘッセ行列（Hessian matrix）とその逆行列を計算する必要性から生じる膨大な計算コストに悩まされており、大規模モデルや頻繁なデータ削除リクエストが発生するシナリオでは非現実的です。これは、忘却の難しさを浮き彫りにしています。 認知科学が示唆するように、記憶することは忘却するよりも容易であるという観点に着想を得て、本論文では、記憶（増分学習）と忘却（機械的忘却）の間に理論的な関連性を確立します。この関連性により、機械的忘却を増分学習の観点から取り組むことが可能になります。忘却（機械的忘却）における時間のかかるヘッセ行列の計算とは異なり、記憶（増分学習）は通常、より効率的な勾配最適化に依存しており、前述の認知理論を支持しています。この関連性に基づき、我々は増分学習の観点から効率的な機械的忘却を実現するための「影響近似忘却（Influence Approximation Unlearning, IAU）」アルゴリズムを提案します。広範な実験的評価により、IAUが削除保証、忘却効率、および同等のモデル有用性の間で優れたバランスを達成し、多様なデータセットとモデルアーキテクチャにおいて最先端の手法を凌駕することが実証されています。我々のコードはhttps://github.com/Lolo1222/IAUで公開されています。

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.