Désapprentissage efficace des modèles via approximation d'influence

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

papers.authors: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

papers.abstract

En raison des préoccupations croissantes en matière de confidentialité, le désapprentissage automatique, qui vise à permettre aux modèles d'apprentissage automatique d'« oublier » des données d'entraînement spécifiques, a suscité un intérêt croissant. Parmi les méthodes existantes, le désapprentissage basé sur l'influence s'est imposé comme une approche prédominante en raison de sa capacité à estimer l'impact des échantillons d'entraînement individuels sur les paramètres du modèle sans nécessiter de réentraînement. Cependant, cette approche souffre d'une surcharge computationnelle prohibitive découlant de la nécessité de calculer la matrice hessienne et son inverse pour tous les échantillons d'entraînement et paramètres, la rendant peu pratique pour les modèles à grande échelle et les scénarios impliquant des demandes fréquentes de suppression de données. Cela met en lumière la difficulté d'oublier. Inspiré par les sciences cognitives, qui suggèrent que mémoriser est plus facile qu'oublier, cet article établit un lien théorique entre la mémorisation (apprentissage incrémental) et l'oubli (désapprentissage). Cette connexion permet d'aborder le désapprentissage automatique sous l'angle de l'apprentissage incrémental. Contrairement aux calculs hessiens chronophages dans le désapprentissage (oubli), l'apprentissage incrémental (mémorisation) repose généralement sur une optimisation par gradient plus efficace, ce qui soutient la théorie cognitive mentionnée. Sur la base de cette connexion, nous introduisons l'algorithme Influence Approximation Unlearning (IAU) pour un désapprentissage efficace du point de vue incrémental. Des évaluations empiriques approfondies démontrent qu'IAU atteint un équilibre supérieur entre garantie de suppression, efficacité de désapprentissage et utilité comparable du modèle, tout en surpassant les méthodes de pointe sur divers ensembles de données et architectures de modèles. Notre code est disponible à l'adresse https://github.com/Lolo1222/IAU.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.