UPCORE: Selezione di Coreset che Preserva l'Utilità per la Rimozione Bilanciata dei Dati

UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning

February 20, 2025

Autori: Vaidehi Patil, Elias Stengel-Eskin, Mohit Bansal

cs.AI

Abstract

Le specifiche degli utenti o i quadri normativi spesso richiedono la rimozione di informazioni da modelli preaddestrati, inclusi i grandi modelli linguistici (LLM). Ciò comporta l'eliminazione o il "dimenticare" un insieme di punti dati da un modello già addestrato, il che tipicamente ne degrada le prestazioni sugli altri punti dati. Pertanto, è necessario trovare un equilibrio tra la rimozione delle informazioni e il mantenimento delle altre capacità del modello, poiché il mancato bilanciamento di questo compromesso porta a una cancellazione inefficace o a un modello inutilizzabile. A tal fine, proponiamo UPCORE (Utility-Preserving Coreset Selection), un framework di selezione dei dati indipendente dal metodo, per mitigare i danni collaterali durante il processo di unlearning. Rilevando che il danno al modello è correlato alla varianza delle rappresentazioni del modello sul set di dimenticanza, selettivamente potiamo il set di dimenticanza per rimuovere gli outlier, minimizzando così il degrado del modello dopo l'unlearning. Valutiamo UPCORE su tre metodi standard di unlearning, ottenendo costantemente un equilibrio superiore tra gli obiettivi concorrenti di efficacia nella cancellazione e preservazione del modello. Per valutare meglio questo compromesso, introduciamo una nuova metrica, misurando l'area-sotto-la-curva (AUC) attraverso metriche standard. Rileviamo che UPCORE migliora sia le metriche standard che l'AUC, beneficiando del trasferimento positivo tra il coreset e i punti potati, riducendo al contempo il trasferimento negativo dal set di dimenticanza ai punti esterni ad esso.

English

User specifications or legal frameworks often require information to be removed from pretrained models, including large language models (LLMs). This requires deleting or "forgetting" a set of data points from an already-trained model, which typically degrades its performance on other data points. Thus, a balance must be struck between removing information and keeping the model's other abilities intact, with a failure to balance this trade-off leading to poor deletion or an unusable model. To this end, we propose UPCORE (Utility-Preserving Coreset Selection), a method-agnostic data selection framework for mitigating collateral damage during unlearning. Finding that the model damage is correlated with the variance of the model's representations on the forget set, we selectively prune the forget set to remove outliers, thereby minimizing model degradation after unlearning. We evaluate UPCORE across three standard unlearning methods consistently achieving a superior balance between the competing objectives of deletion efficacy and model preservation. To better evaluate this trade-off, we introduce a new metric, measuring the area-under-the-curve (AUC) across standard metrics. We find that UPCORE improves both standard metrics and AUC, benefitting from positive transfer between the coreset and pruned points while reducing negative transfer from the forget set to points outside of it.