Desaprendizaje Eficiente en Máquinas mediante Aproximación de Influencia

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

Autores: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

Resumen

Debido a las crecientes preocupaciones sobre la privacidad, el desaprendizaje en máquinas, que busca permitir que los modelos de aprendizaje automático "olviden" datos específicos de entrenamiento, ha recibido una atención cada vez mayor. Entre los métodos existentes, el desaprendizaje basado en influencia ha surgido como un enfoque destacado debido a su capacidad para estimar el impacto de muestras individuales de entrenamiento en los parámetros del modelo sin necesidad de reentrenamiento. Sin embargo, este enfoque sufre de una sobrecarga computacional prohibitiva que surge de la necesidad de calcular la matriz Hessiana y su inversa en todas las muestras de entrenamiento y parámetros, lo que lo hace poco práctico para modelos a gran escala y escenarios que involucran solicitudes frecuentes de eliminación de datos. Esto resalta la dificultad de olvidar. Inspirados por la ciencia cognitiva, que sugiere que memorizar es más fácil que olvidar, este artículo establece un vínculo teórico entre memorizar (aprendizaje incremental) y olvidar (desaprendizaje). Esta conexión permite abordar el desaprendizaje en máquinas desde la perspectiva del aprendizaje incremental. A diferencia de los cálculos de la Hessiana que consumen tiempo en el desaprendizaje (olvidar), el aprendizaje incremental (memorizar) generalmente se basa en una optimización de gradiente más eficiente, lo que respalda la teoría cognitiva mencionada. Basándonos en esta conexión, presentamos el algoritmo de Desaprendizaje por Aproximación de Influencia (IAU, por sus siglas en inglés) para un desaprendizaje eficiente en máquinas desde la perspectiva incremental. Evaluaciones empíricas extensas demuestran que IAU logra un equilibrio superior entre la garantía de eliminación, la eficiencia del desaprendizaje y una utilidad del modelo comparable, superando a los métodos más avanzados en diversos conjuntos de datos y arquitecturas de modelos. Nuestro código está disponible en https://github.com/Lolo1222/IAU.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.