Effizientes Maschinelles Verlernen durch Einflussapproximation

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

papers.authors: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

papers.abstract

Aufgrund zunehmender Datenschutzbedenken hat das maschinelle Verlernen, das darauf abzielt, maschinellen Lernmodellen das „Vergessen“ spezifischer Trainingsdaten zu ermöglichen, immer mehr Aufmerksamkeit erhalten. Unter den bestehenden Methoden hat sich der einflussbasierte Ansatz des Verlernens als prominente Methode herausgestellt, da er in der Lage ist, die Auswirkungen einzelner Trainingsbeispiele auf die Modellparameter zu schätzen, ohne das Modell neu trainieren zu müssen. Dieser Ansatz leidet jedoch unter einem prohibitiv hohen Rechenaufwand, der sich aus der Notwendigkeit ergibt, die Hessian-Matrix und ihre Inverse über alle Trainingsbeispiele und Parameter hinweg zu berechnen, was ihn für großskalige Modelle und Szenarien mit häufigen Datenlöschungsanfragen unpraktisch macht. Dies unterstreicht die Schwierigkeit des Vergessens. Inspiriert von der Kognitionswissenschaft, die nahelegt, dass das Merken einfacher ist als das Vergessen, stellt diese Arbeit eine theoretische Verbindung zwischen dem Merken (inkrementelles Lernen) und dem Vergessen (Verlernen) her. Diese Verbindung ermöglicht es, das maschinelle Verlernen aus der Perspektive des inkrementellen Lernens zu betrachten. Im Gegensatz zu den zeitaufwändigen Hessian-Berechnungen beim Verlernen (Vergessen) stützt sich das inkrementelle Lernen (Merken) typischerweise auf effizientere Gradientenoptimierungen, was die genannte kognitive Theorie unterstützt. Basierend auf dieser Verbindung führen wir den Influence Approximation Unlearning (IAU)-Algorithmus für effizientes maschinelles Verlernen aus der inkrementellen Perspektive ein. Umfangreiche empirische Auswertungen zeigen, dass IAU eine überlegene Balance zwischen Entfernungsgarantie, Effizienz des Verlernens und vergleichbarer Modellnutzung erreicht, während er state-of-the-art Methoden über verschiedene Datensätze und Modellarchitekturen hinweg übertrifft. Unser Code ist verfügbar unter https://github.com/Lolo1222/IAU.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.