Efficiënt Machine Unlearning via Invloedbenadering

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

Auteurs: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

Samenvatting

Vanwege groeiende privacyzorgen heeft machine unlearning, dat als doel heeft om machine learning-modellen specifieke trainingsdata te laten "vergeten", steeds meer aandacht gekregen. Onder de bestaande methoden is influence-based unlearning naar voren gekomen als een prominente aanpak vanwege zijn vermogen om de impact van individuele trainingsvoorbeelden op modelparameters te schatten zonder hertraining. Deze aanpak kampt echter met een verbijsterende rekenkundige overhead die voortkomt uit de noodzaak om de Hessiaanmatrix en zijn inverse te berekenen over alle trainingsvoorbeelden en parameters, wat het onpraktisch maakt voor grootschalige modellen en scenario's waarbij frequente verzoeken tot gegevensverwijdering plaatsvinden. Dit onderstreept de moeilijkheid van vergeten. Geïnspireerd door de cognitieve wetenschap, die suggereert dat onthouden gemakkelijker is dan vergeten, legt dit artikel een theoretische link tussen onthouden (incrementeel leren) en vergeten (unlearning). Deze verbinding maakt het mogelijk om machine unlearning te benaderen vanuit het perspectief van incrementeel leren. In tegenstelling tot de tijdrovende Hessiaanberekeningen bij unlearning (vergeten), vertrouwt incrementeel leren (onthouden) doorgaans op efficiëntere gradientoptimalisatie, wat de eerdergenoemde cognitieve theorie ondersteunt. Op basis van deze verbinding introduceren we het Influence Approximation Unlearning (IAU)-algoritme voor efficiënte machine unlearning vanuit het incrementele perspectief. Uitgebreide empirische evaluaties tonen aan dat IAU een superieure balans bereikt tussen verwijderingsgarantie, unlearning-efficiëntie en vergelijkbare modelnut, terwijl het state-of-the-art methoden overtreft op diverse datasets en modelarchitecturen. Onze code is beschikbaar op https://github.com/Lolo1222/IAU.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.