ReLearn: Desaprendizagem via Aprendizado para Modelos de Linguagem de Grande Escala

ReLearn: Unlearning via Learning for Large Language Models

February 16, 2025

Autores: Haoming Xu, Ningyuan Zhao, Liming Yang, Sendong Zhao, Shumin Deng, Mengru Wang, Bryan Hooi, Nay Oo, Huajun Chen, Ningyu Zhang

cs.AI

Resumo

Os métodos atuais de "desaprendizado" (unlearning) para modelos de linguagem de grande escala geralmente dependem de otimização reversa para reduzir as probabilidades dos tokens alvo. No entanto, esse paradigma prejudica a previsão dos tokens subsequentes, degradando o desempenho do modelo e a coerência linguística. Além disso, as métricas de avaliação existentes superenfatizam o esquecimento contextual, enquanto avaliam de forma inadequada a fluência e a relevância das respostas. Para enfrentar esses desafios, propomos o ReLearn, um pipeline de aumento de dados e ajuste fino para um desaprendizado eficaz, juntamente com um framework de avaliação abrangente. Esse framework introduz a Taxa de Esquecimento de Conhecimento (Knowledge Forgetting Rate - KFR) e a Taxa de Retenção de Conhecimento (Knowledge Retention Rate - KRR) para medir a preservação do conhecimento em nível de informação, e a Pontuação Linguística (Linguistic Score - LS) para avaliar a qualidade da geração. Nossos experimentos mostram que o ReLearn consegue alcançar o esquecimento direcionado enquanto preserva saídas de alta qualidade. Por meio de análise mecanicista, demonstramos ainda como a otimização reversa prejudica a geração de texto coerente, enquanto o ReLearn preserva essa capacidade essencial. O código está disponível em https://github.com/zjunlp/unlearn.

English

Current unlearning methods for large language models usually rely on reverse optimization to reduce target token probabilities. However, this paradigm disrupts the subsequent tokens prediction, degrading model performance and linguistic coherence. Moreover, existing evaluation metrics overemphasize contextual forgetting while inadequately assessing response fluency and relevance. To address these challenges, we propose ReLearn, a data augmentation and fine-tuning pipeline for effective unlearning, along with a comprehensive evaluation framework. This framework introduces Knowledge Forgetting Rate (KFR) and Knowledge Retention Rate (KRR) to measure knowledge-level preservation, and Linguistic Score (LS) to evaluate generation quality. Our experiments show that ReLearn successfully achieves targeted forgetting while preserving high-quality output. Through mechanistic analysis, we further demonstrate how reverse optimization disrupts coherent text generation, while ReLearn preserves this essential capability. Code is available at https://github.com/zjunlp/unlearn.