영향력 근사를 통한 효율적인 머신 언러닝

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

저자: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

초록

개인정보 보호에 대한 우려가 증가함에 따라, 특정 학습 데이터를 "잊게" 하는 것을 목표로 하는 머신 언러닝(machine unlearning)이 점점 더 주목받고 있다. 기존 방법 중에서, 영향 기반 언러닝(influence-based unlearning)은 모델 파라미터에 대한 개별 학습 샘플의 영향을 재학습 없이 추정할 수 있는 능력으로 인해 두드러진 접근법으로 부상했다. 그러나 이 방법은 모든 학습 샘플과 파라미터에 대해 헤시안 행렬(Hessian matrix)과 그 역행렬을 계산해야 하는 과도한 계산 오버헤드로 인해 대규모 모델과 빈번한 데이터 삭제 요청이 발생하는 시나리오에서 실용적이지 못하다. 이는 잊는 것의 어려움을 강조한다. 기억하는 것이 잊는 것보다 쉽다는 인지과학의 통찰에서 영감을 받아, 이 논문은 기억(증분 학습)과 잊기(언러닝) 사이의 이론적 연결을 확립한다. 이 연결을 통해 머신 언러닝을 증분 학습의 관점에서 접근할 수 있게 된다. 언러닝(잊기)에서 시간이 많이 소요되는 헤시안 계산과 달리, 증분 학습(기억)은 일반적으로 더 효율적인 경사 최적화에 의존하며, 이는 앞서 언급한 인지 이론을 뒷받침한다. 이러한 연결을 바탕으로, 우리는 증분 관점에서 효율적인 머신 언러닝을 위한 영향 근사 언러닝(Influence Approximation Unlearning, IAU) 알고리즘을 제안한다. 광범위한 실험 평가를 통해 IAU는 제거 보장, 언러닝 효율성, 그리고 비교 가능한 모델 유용성 사이에서 우수한 균형을 달성하며, 다양한 데이터셋과 모델 아키텍처에서 최신 방법들을 능가함을 입증한다. 우리의 코드는 https://github.com/Lolo1222/IAU에서 확인할 수 있다.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.