ReLearn : Désapprentissage par l'apprentissage pour les grands modèles de langage

ReLearn: Unlearning via Learning for Large Language Models

February 16, 2025

Auteurs: Haoming Xu, Ningyuan Zhao, Liming Yang, Sendong Zhao, Shumin Deng, Mengru Wang, Bryan Hooi, Nay Oo, Huajun Chen, Ningyu Zhang

cs.AI

Résumé

Les méthodes actuelles de désapprentissage pour les grands modèles de langage reposent généralement sur une optimisation inverse pour réduire les probabilités des jetons cibles. Cependant, ce paradigme perturbe la prédiction des jetons suivants, dégradant les performances du modèle et la cohérence linguistique. De plus, les métriques d'évaluation existantes mettent trop l'accent sur l'oubli contextuel tout en évaluant de manière insuffisante la fluidité et la pertinence des réponses. Pour relever ces défis, nous proposons ReLearn, un pipeline d'augmentation de données et de fine-tuning pour un désapprentissage efficace, ainsi qu'un cadre d'évaluation complet. Ce cadre introduit le Taux d'Oubli de Connaissances (KFR) et le Taux de Rétention de Connaissances (KRR) pour mesurer la préservation au niveau des connaissances, et le Score Linguistique (LS) pour évaluer la qualité de la génération. Nos expériences montrent que ReLearn parvient avec succès à oublier de manière ciblée tout en préservant une production de haute qualité. À travers une analyse mécaniste, nous démontrons en outre comment l'optimisation inverse perturbe la génération de texte cohérent, tandis que ReLearn préserve cette capacité essentielle. Le code est disponible sur https://github.com/zjunlp/unlearn.

English

Current unlearning methods for large language models usually rely on reverse optimization to reduce target token probabilities. However, this paradigm disrupts the subsequent tokens prediction, degrading model performance and linguistic coherence. Moreover, existing evaluation metrics overemphasize contextual forgetting while inadequately assessing response fluency and relevance. To address these challenges, we propose ReLearn, a data augmentation and fine-tuning pipeline for effective unlearning, along with a comprehensive evaluation framework. This framework introduces Knowledge Forgetting Rate (KFR) and Knowledge Retention Rate (KRR) to measure knowledge-level preservation, and Linguistic Score (LS) to evaluate generation quality. Our experiments show that ReLearn successfully achieves targeted forgetting while preserving high-quality output. Through mechanistic analysis, we further demonstrate how reverse optimization disrupts coherent text generation, while ReLearn preserves this essential capability. Code is available at https://github.com/zjunlp/unlearn.