ReLearn: Vergessen durch Lernen für große Sprachmodelle

ReLearn: Unlearning via Learning for Large Language Models

February 16, 2025

Autoren: Haoming Xu, Ningyuan Zhao, Liming Yang, Sendong Zhao, Shumin Deng, Mengru Wang, Bryan Hooi, Nay Oo, Huajun Chen, Ningyu Zhang

cs.AI

Zusammenfassung

Aktuelle Methoden zum Vergessenlernen für große Sprachmodelle verlassen sich in der Regel auf die Umkehrung der Optimierung, um die Wahrscheinlichkeiten der Ziel-Token zu reduzieren. Dieses Paradigma stört jedoch die Vorhersage der nachfolgenden Token, was die Leistung des Modells und die sprachliche Kohärenz beeinträchtigt. Darüber hinaus betonen bestehende Bewertungsmetriken das kontextuelle Vergessen übermäßig, während sie die Flüssigkeit und Relevanz der Antworten unzureichend bewerten. Um diesen Herausforderungen zu begegnen, schlagen wir ReLearn vor, eine Datenanreicherungs- und Feinabstimmungspipeline für effektives Vergessenlernen, zusammen mit einem umfassenden Bewertungsrahmen. Dieser Rahmen führt den Wissensvergessensgrad (Knowledge Forgetting Rate, KFR) und den Wissensretentionsgrad (Knowledge Retention Rate, KRR) ein, um die Erhaltung des Wissensniveaus zu messen, sowie den sprachlichen Score (Linguistic Score, LS) zur Bewertung der Generierungsqualität. Unsere Experimente zeigen, dass ReLearn erfolgreich gezieltes Vergessen erreicht, während hochwertige Ausgaben erhalten bleiben. Durch mechanistische Analysen zeigen wir weiterhin, wie die Umkehrung der Optimierung die kohärente Textgenerierung stört, während ReLearn diese wesentliche Fähigkeit bewahrt. Der Code ist verfügbar unter https://github.com/zjunlp/unlearn.

English

Current unlearning methods for large language models usually rely on reverse optimization to reduce target token probabilities. However, this paradigm disrupts the subsequent tokens prediction, degrading model performance and linguistic coherence. Moreover, existing evaluation metrics overemphasize contextual forgetting while inadequately assessing response fluency and relevance. To address these challenges, we propose ReLearn, a data augmentation and fine-tuning pipeline for effective unlearning, along with a comprehensive evaluation framework. This framework introduces Knowledge Forgetting Rate (KFR) and Knowledge Retention Rate (KRR) to measure knowledge-level preservation, and Linguistic Score (LS) to evaluate generation quality. Our experiments show that ReLearn successfully achieves targeted forgetting while preserving high-quality output. Through mechanistic analysis, we further demonstrate how reverse optimization disrupts coherent text generation, while ReLearn preserves this essential capability. Code is available at https://github.com/zjunlp/unlearn.