ReLearn: Vergeten door Leren voor Grote Taalmodellen

ReLearn: Unlearning via Learning for Large Language Models

February 16, 2025

Auteurs: Haoming Xu, Ningyuan Zhao, Liming Yang, Sendong Zhao, Shumin Deng, Mengru Wang, Bryan Hooi, Nay Oo, Huajun Chen, Ningyu Zhang

cs.AI

Samenvatting

Huidige methoden voor het vergeten van grote taalmodellen vertrouwen meestal op reverse optimalisatie om de waarschijnlijkheden van doeltokens te verlagen. Echter, dit paradigma verstoort de voorspelling van daaropvolgende tokens, wat de prestaties van het model en de linguïstische coherentie verslechtert. Bovendien leggen bestaande evaluatiemetrics te veel nadruk op contextueel vergeten, terwijl ze onvoldoende de vloeiendheid en relevantie van de respons beoordelen. Om deze uitdagingen aan te pakken, stellen we ReLearn voor, een gegevensvermeerderings- en fijnafstemmingspijplijn voor effectief vergeten, samen met een uitgebreid evaluatiekader. Dit kader introduceert Kennis Vergeet Ratio (KVR) en Kennis Behoud Ratio (KBR) om kennisniveau behoud te meten, en Linguïstische Score (LS) om de kwaliteit van de generatie te evalueren. Onze experimenten tonen aan dat ReLearn succesvol gericht vergeten bereikt terwijl het hoogwaardige output behoudt. Via mechanistische analyse tonen we verder aan hoe reverse optimalisatie coherente tekstgeneratie verstoort, terwijl ReLearn deze essentiële capaciteit behoudt. De code is beschikbaar op https://github.com/zjunlp/unlearn.

English

Current unlearning methods for large language models usually rely on reverse optimization to reduce target token probabilities. However, this paradigm disrupts the subsequent tokens prediction, degrading model performance and linguistic coherence. Moreover, existing evaluation metrics overemphasize contextual forgetting while inadequately assessing response fluency and relevance. To address these challenges, we propose ReLearn, a data augmentation and fine-tuning pipeline for effective unlearning, along with a comprehensive evaluation framework. This framework introduces Knowledge Forgetting Rate (KFR) and Knowledge Retention Rate (KRR) to measure knowledge-level preservation, and Linguistic Score (LS) to evaluate generation quality. Our experiments show that ReLearn successfully achieves targeted forgetting while preserving high-quality output. Through mechanistic analysis, we further demonstrate how reverse optimization disrupts coherent text generation, while ReLearn preserves this essential capability. Code is available at https://github.com/zjunlp/unlearn.