ReLearn: Desaprender a través del Aprendizaje para Modelos de Lenguaje Grandes

ReLearn: Unlearning via Learning for Large Language Models

February 16, 2025

Autores: Haoming Xu, Ningyuan Zhao, Liming Yang, Sendong Zhao, Shumin Deng, Mengru Wang, Bryan Hooi, Nay Oo, Huajun Chen, Ningyu Zhang

cs.AI

Resumen

Los métodos actuales de desaprendizaje para modelos de lenguaje grandes suelen depender de la optimización inversa para reducir las probabilidades de los tokens objetivo. Sin embargo, este paradigma interfiere con la predicción de los tokens subsiguientes, degradando el rendimiento del modelo y la coherencia lingüística. Además, las métricas de evaluación existentes sobrevaloran el olvido contextual mientras evalúan de manera insuficiente la fluidez y relevancia de las respuestas. Para abordar estos desafíos, proponemos ReLearn, un pipeline de aumento de datos y ajuste fino para desaprendizaje efectivo, junto con un marco de evaluación integral. Este marco introduce la Tasa de Olvido de Conocimiento (KFR) y la Tasa de Retención de Conocimiento (KRR) para medir la preservación a nivel de conocimiento, y el Puntaje Lingüístico (LS) para evaluar la calidad de generación. Nuestros experimentos muestran que ReLearn logra con éxito el olvido dirigido mientras preserva una salida de alta calidad. A través de un análisis mecanicista, demostramos además cómo la optimización inversa interfiere con la generación de texto coherente, mientras que ReLearn conserva esta capacidad esencial. El código está disponible en https://github.com/zjunlp/unlearn.

English

Current unlearning methods for large language models usually rely on reverse optimization to reduce target token probabilities. However, this paradigm disrupts the subsequent tokens prediction, degrading model performance and linguistic coherence. Moreover, existing evaluation metrics overemphasize contextual forgetting while inadequately assessing response fluency and relevance. To address these challenges, we propose ReLearn, a data augmentation and fine-tuning pipeline for effective unlearning, along with a comprehensive evaluation framework. This framework introduces Knowledge Forgetting Rate (KFR) and Knowledge Retention Rate (KRR) to measure knowledge-level preservation, and Linguistic Score (LS) to evaluate generation quality. Our experiments show that ReLearn successfully achieves targeted forgetting while preserving high-quality output. Through mechanistic analysis, we further demonstrate how reverse optimization disrupts coherent text generation, while ReLearn preserves this essential capability. Code is available at https://github.com/zjunlp/unlearn.