Disapprendimento Efficiente delle Macchine tramite Approssimazione dell'Influenza

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

Autori: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

Abstract

A causa delle crescenti preoccupazioni sulla privacy, il machine unlearning, che mira a consentire ai modelli di machine learning di "dimenticare" specifici dati di addestramento, ha ricevuto un'attenzione sempre maggiore. Tra i metodi esistenti, l'unlearning basato sull'influenza è emerso come un approccio prominente grazie alla sua capacità di stimare l'impatto dei singoli campioni di addestramento sui parametri del modello senza dover riaddestrare. Tuttavia, questo approccio soffre di un sovraccarico computazionale proibitivo derivante dalla necessità di calcolare la matrice Hessiana e la sua inversa su tutti i campioni di addestramento e i parametri, rendendolo impraticabile per modelli su larga scala e scenari che coinvolgono frequenti richieste di cancellazione dei dati. Ciò evidenzia la difficoltà del dimenticare. Ispirati dalla scienza cognitiva, che suggerisce che memorizzare è più facile che dimenticare, questo articolo stabilisce un collegamento teorico tra il memorizzare (apprendimento incrementale) e il dimenticare (unlearning). Questa connessione consente di affrontare il machine unlearning dalla prospettiva dell'apprendimento incrementale. A differenza dei calcoli Hessiani dispendiosi in termini di tempo nell'unlearning (dimenticare), l'apprendimento incrementale (memorizzare) si basa tipicamente su un'ottimizzazione del gradiente più efficiente, che supporta la teoria cognitiva sopra menzionata. Basandoci su questa connessione, introduciamo l'algoritmo Influence Approximation Unlearning (IAU) per un machine unlearning efficiente dalla prospettiva incrementale. Valutazioni empiriche estensive dimostrano che IAU raggiunge un equilibrio superiore tra garanzia di rimozione, efficienza dell'unlearning e utilità comparabile del modello, superando i metodi all'avanguardia su diversi dataset e architetture di modelli. Il nostro codice è disponibile all'indirizzo https://github.com/Lolo1222/IAU.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.