Эффективное удаление знаний в машинном обучении через аппроксимацию влияния

Efficient Machine Unlearning via Influence Approximation

July 31, 2025

Авторы: Jiawei Liu, Chenwang Wu, Defu Lian, Enhong Chen

cs.AI

Аннотация

В связи с растущими проблемами конфиденциальности, машинное "забывание", направленное на то, чтобы модели машинного обучения могли "забывать" определённые обучающие данные, привлекает всё больше внимания. Среди существующих методов подход, основанный на оценке влияния, выделяется благодаря своей способности оценивать влияние отдельных обучающих образцов на параметры модели без необходимости повторного обучения. Однако этот подход страдает от чрезмерных вычислительных затрат, связанных с необходимостью вычисления матрицы Гессе и её обратной для всех обучающих образцов и параметров, что делает его непрактичным для крупномасштабных моделей и сценариев с частыми запросами на удаление данных. Это подчеркивает сложность процесса "забывания". Вдохновлённые когнитивной наукой, которая утверждает, что запоминание легче, чем забывание, в данной работе устанавливается теоретическая связь между запоминанием (инкрементальным обучением) и забыванием (машинным "забыванием"). Эта связь позволяет рассматривать машинное "забывание" с точки зрения инкрементального обучения. В отличие от трудоёмких вычислений матрицы Гессе в процессе "забывания", инкрементальное обучение (запоминание) обычно опирается на более эффективную оптимизацию градиентов, что поддерживает упомянутую когнитивную теорию. На основе этой связи мы представляем алгоритм Influence Approximation Unlearning (IAU) для эффективного машинного "забывания" с инкрементальной точки зрения. Обширные эмпирические оценки демонстрируют, что IAU достигает превосходного баланса между гарантией удаления, эффективностью "забывания" и сопоставимой полезностью модели, превосходя современные методы на различных наборах данных и архитектурах моделей. Наш код доступен по адресу https://github.com/Lolo1222/IAU.

English

Due to growing privacy concerns, machine unlearning, which aims at enabling machine learning models to ``forget" specific training data, has received increasing attention. Among existing methods, influence-based unlearning has emerged as a prominent approach due to its ability to estimate the impact of individual training samples on model parameters without retraining. However, this approach suffers from prohibitive computational overhead arising from the necessity to compute the Hessian matrix and its inverse across all training samples and parameters, rendering it impractical for large-scale models and scenarios involving frequent data deletion requests. This highlights the difficulty of forgetting. Inspired by cognitive science, which suggests that memorizing is easier than forgetting, this paper establishes a theoretical link between memorizing (incremental learning) and forgetting (unlearning). This connection allows machine unlearning to be addressed from the perspective of incremental learning. Unlike the time-consuming Hessian computations in unlearning (forgetting), incremental learning (memorizing) typically relies on more efficient gradient optimization, which supports the aforementioned cognitive theory. Based on this connection, we introduce the Influence Approximation Unlearning (IAU) algorithm for efficient machine unlearning from the incremental perspective. Extensive empirical evaluations demonstrate that IAU achieves a superior balance among removal guarantee, unlearning efficiency, and comparable model utility, while outperforming state-of-the-art methods across diverse datasets and model architectures. Our code is available at https://github.com/Lolo1222/IAU.