UPCORE: Выбор утилитарно-сохраняющего ядра данных для сбалансированного удаления информации

UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning

February 20, 2025

Авторы: Vaidehi Patil, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Аннотация

Пользовательские требования или правовые нормы часто требуют удаления информации из предварительно обученных моделей, включая крупные языковые модели (LLMs). Это предполагает удаление или "забывание" набора данных из уже обученной модели, что обычно ухудшает её производительность на других данных. Таким образом, необходимо найти баланс между удалением информации и сохранением других способностей модели, поскольку неудачный баланс может привести к неэффективному удалению или непригодности модели. Для решения этой задачи мы предлагаем UPCORE (Utility-Preserving Coreset Selection), метод-агностическую структуру выбора данных для минимизации побочного ущерба в процессе "забывания". Обнаружив, что ущерб модели коррелирует с дисперсией её представлений на наборе данных для забывания, мы выборочно удаляем выбросы из этого набора, тем самым минимизируя ухудшение модели после "забывания". Мы оцениваем UPCORE на трёх стандартных методах "забывания", последовательно достигая превосходного баланса между конкурирующими целями эффективности удаления и сохранения модели. Для более точной оценки этого компромисса мы вводим новый метрический показатель, измеряющий площадь под кривой (AUC) для стандартных метрик. Мы обнаруживаем, что UPCORE улучшает как стандартные метрики, так и AUC, извлекая выгоду из положительного переноса между корсетом и удалёнными точками, одновременно снижая отрицательный перенос с набора для забывания на точки вне его.

English

User specifications or legal frameworks often require information to be removed from pretrained models, including large language models (LLMs). This requires deleting or "forgetting" a set of data points from an already-trained model, which typically degrades its performance on other data points. Thus, a balance must be struck between removing information and keeping the model's other abilities intact, with a failure to balance this trade-off leading to poor deletion or an unusable model. To this end, we propose UPCORE (Utility-Preserving Coreset Selection), a method-agnostic data selection framework for mitigating collateral damage during unlearning. Finding that the model damage is correlated with the variance of the model's representations on the forget set, we selectively prune the forget set to remove outliers, thereby minimizing model degradation after unlearning. We evaluate UPCORE across three standard unlearning methods consistently achieving a superior balance between the competing objectives of deletion efficacy and model preservation. To better evaluate this trade-off, we introduce a new metric, measuring the area-under-the-curve (AUC) across standard metrics. We find that UPCORE improves both standard metrics and AUC, benefitting from positive transfer between the coreset and pruned points while reducing negative transfer from the forget set to points outside of it.