Esquecer ou Não? Rumo ao Desaprendizado Prático de Conhecimento para Modelos de Linguagem de Grande Escala

To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models

July 2, 2024

Autores: Bozhong Tian, Xiaozhuan Liang, Siyuan Cheng, Qingbin Liu, Mengru Wang, Dianbo Sui, Xi Chen, Huajun Chen, Ningyu Zhang

cs.AI

Resumo

Modelos de Linguagem Grandes (LLMs) treinados em extensos corpora inevitavelmente retêm dados sensíveis, como informações de privacidade pessoal e material protegido por direitos autorais. Avanços recentes em desaprendizado de conhecimento envolvem a atualização dos parâmetros do LLM para apagar conhecimento específico. No entanto, os paradigmas atuais de desaprendizado estão imersos em fronteiras de esquecimento vagas, frequentemente apagando conhecimento indiscriminadamente. Neste trabalho, apresentamos o KnowUnDo, um benchmark contendo conteúdo protegido por direitos autorais e domínios de privacidade do usuário para avaliar se o processo de desaprendizado apaga inadvertidamente conhecimento essencial. Nossos resultados indicam que os métodos de desaprendizado existentes frequentemente sofrem de desaprendizado excessivo. Para lidar com isso, propomos um método simples, porém eficaz, chamado MemFlex, que utiliza informações de gradiente para mirar precisamente e desaprender parâmetros sensíveis. Resultados experimentais mostram que o MemFlex é superior aos métodos existentes tanto no desaprendizado preciso de conhecimento quanto na retenção de conhecimento geral dos LLMs. O código e o conjunto de dados serão disponibilizados em https://github.com/zjunlp/KnowUnDo.

English

Large Language Models (LLMs) trained on extensive corpora inevitably retain sensitive data, such as personal privacy information and copyrighted material. Recent advancements in knowledge unlearning involve updating LLM parameters to erase specific knowledge. However, current unlearning paradigms are mired in vague forgetting boundaries, often erasing knowledge indiscriminately. In this work, we introduce KnowUnDo, a benchmark containing copyrighted content and user privacy domains to evaluate if the unlearning process inadvertently erases essential knowledge. Our findings indicate that existing unlearning methods often suffer from excessive unlearning. To address this, we propose a simple yet effective method, MemFlex, which utilizes gradient information to precisely target and unlearn sensitive parameters. Experimental results show that MemFlex is superior to existing methods in both precise knowledge unlearning and general knowledge retaining of LLMs. Code and dataset will be released at https://github.com/zjunlp/KnowUnDo.