ReLearn: Disapprendere attraverso l'apprendimento per i Modelli Linguistici di Grandi Dimensioni

ReLearn: Unlearning via Learning for Large Language Models

February 16, 2025

Autori: Haoming Xu, Ningyuan Zhao, Liming Yang, Sendong Zhao, Shumin Deng, Mengru Wang, Bryan Hooi, Nay Oo, Huajun Chen, Ningyu Zhang

cs.AI

Abstract

I metodi attuali di "unlearning" per i modelli linguistici di grandi dimensioni si basano solitamente sull'ottimizzazione inversa per ridurre le probabilità dei token target. Tuttavia, questo paradigma compromette la previsione dei token successivi, degradando le prestazioni del modello e la coerenza linguistica. Inoltre, le metriche di valutazione esistenti enfatI metodi attuali di "unlearning" per i modelli linguistici di grandi dimensioni si basano generalmente sull'ottimizzazione inversa per ridurre le probabilità dei token target. Tuttavia, questo paradigma compromette la previsione dei token successivi, degradando le prestazioni del modello e la coerenza linguistica. Inoltre, le metriche di valutazione esistenti enfatizzano eccessivamente la dimenticanza contestuale, valutando in modo inadeguato la fluidità e la pertinenza delle risposte. Per affrontare queste sfide, proponiamo ReLearn, una pipeline di aumento dei dati e fine-tuning per un "unlearning" efficace, insieme a un quadro di valutazione completo. Questo framework introduce il Tasso di Dimenticanza della Conoscenza (KFR) e il Tasso di Conservazione della Conoscenza (KRR) per misurare la preservazione a livello di conoscenza, e il Punteggio Linguistico (LS) per valutare la qualità della generazione. I nostri esperimenti dimostrano che ReLearn raggiunge con successo la dimenticanza mirata preservando un output di alta qualità. Attraverso un'analisi meccanicistica, dimostriamo ulteriormente come l'ottimizzazione inversa comprometta la generazione coerente del testo, mentre ReLearn preserva questa capacità essenziale. Il codice è disponibile all'indirizzo https://github.com/zjunlp/unlearn.

English

Current unlearning methods for large language models usually rely on reverse optimization to reduce target token probabilities. However, this paradigm disrupts the subsequent tokens prediction, degrading model performance and linguistic coherence. Moreover, existing evaluation metrics overemphasize contextual forgetting while inadequately assessing response fluency and relevance. To address these challenges, we propose ReLearn, a data augmentation and fine-tuning pipeline for effective unlearning, along with a comprehensive evaluation framework. This framework introduces Knowledge Forgetting Rate (KFR) and Knowledge Retention Rate (KRR) to measure knowledge-level preservation, and Linguistic Score (LS) to evaluate generation quality. Our experiments show that ReLearn successfully achieves targeted forgetting while preserving high-quality output. Through mechanistic analysis, we further demonstrate how reverse optimization disrupts coherent text generation, while ReLearn preserves this essential capability. Code is available at https://github.com/zjunlp/unlearn.