¿Olvidar o no olvidar? Hacia el desaprendizaje práctico del conocimiento para modelos de lenguaje grandes

To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models

July 2, 2024

Autores: Bozhong Tian, Xiaozhuan Liang, Siyuan Cheng, Qingbin Liu, Mengru Wang, Dianbo Sui, Xi Chen, Huajun Chen, Ningyu Zhang

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) entrenados en extensos corpus inevitablemente retienen datos sensibles, como información de privacidad personal y material con derechos de autor. Los avances recientes en el olvido de conocimiento implican la actualización de parámetros de LLM para borrar conocimiento específico. Sin embargo, los paradigmas actuales de olvido están atrapados en límites vagos, a menudo borrando conocimiento indiscriminadamente. En este trabajo, presentamos KnowUnDo, un banco de pruebas que contiene contenido con derechos de autor y dominios de privacidad del usuario para evaluar si el proceso de olvido borra involuntariamente conocimiento esencial. Nuestros hallazgos indican que los métodos de olvido existentes a menudo sufren de un olvido excesivo. Para abordar esto, proponemos un método simple pero efectivo, MemFlex, que utiliza información de gradiente para apuntar y desaprender de manera precisa parámetros sensibles. Los resultados experimentales muestran que MemFlex es superior a los métodos existentes tanto en el desaprendizaje preciso de conocimiento como en la retención de conocimiento general de LLMs. El código y el conjunto de datos se publicarán en https://github.com/zjunlp/KnowUnDo.

English

Large Language Models (LLMs) trained on extensive corpora inevitably retain sensitive data, such as personal privacy information and copyrighted material. Recent advancements in knowledge unlearning involve updating LLM parameters to erase specific knowledge. However, current unlearning paradigms are mired in vague forgetting boundaries, often erasing knowledge indiscriminately. In this work, we introduce KnowUnDo, a benchmark containing copyrighted content and user privacy domains to evaluate if the unlearning process inadvertently erases essential knowledge. Our findings indicate that existing unlearning methods often suffer from excessive unlearning. To address this, we propose a simple yet effective method, MemFlex, which utilizes gradient information to precisely target and unlearn sensitive parameters. Experimental results show that MemFlex is superior to existing methods in both precise knowledge unlearning and general knowledge retaining of LLMs. Code and dataset will be released at https://github.com/zjunlp/KnowUnDo.