Oublier ou ne pas oublier ? Vers un désapprentissage pratique des connaissances pour les grands modèles de langage

To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models

July 2, 2024

papers.authors: Bozhong Tian, Xiaozhuan Liang, Siyuan Cheng, Qingbin Liu, Mengru Wang, Dianbo Sui, Xi Chen, Huajun Chen, Ningyu Zhang

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) entraînés sur des corpus étendus conservent inévitablement des données sensibles, telles que des informations personnelles privées et du matériel protégé par des droits d'auteur. Les avancées récentes en matière de désapprentissage de connaissances impliquent la mise à jour des paramètres des LLMs pour effacer des connaissances spécifiques. Cependant, les paradigmes actuels de désapprentissage sont entravés par des limites de mémorisation floues, effaçant souvent les connaissances de manière indiscriminée. Dans ce travail, nous présentons KnowUnDo, un benchmark contenant des domaines de contenu protégé par des droits d'auteur et de confidentialité des utilisateurs pour évaluer si le processus de désapprentissage efface par inadvertance des connaissances essentielles. Nos résultats indiquent que les méthodes de désapprentissage existantes souffrent souvent d'un désapprentissage excessif. Pour remédier à cela, nous proposons une méthode simple mais efficace, MemFlex, qui utilise des informations de gradient pour cibler et désapprendre précisément les paramètres sensibles. Les résultats expérimentaux montrent que MemFlex est supérieur aux méthodes existantes à la fois en termes de désapprentissage précis des connaissances et de rétention générale des connaissances des LLMs. Le code et le jeu de données seront publiés à l'adresse https://github.com/zjunlp/KnowUnDo.

English

Large Language Models (LLMs) trained on extensive corpora inevitably retain sensitive data, such as personal privacy information and copyrighted material. Recent advancements in knowledge unlearning involve updating LLM parameters to erase specific knowledge. However, current unlearning paradigms are mired in vague forgetting boundaries, often erasing knowledge indiscriminately. In this work, we introduce KnowUnDo, a benchmark containing copyrighted content and user privacy domains to evaluate if the unlearning process inadvertently erases essential knowledge. Our findings indicate that existing unlearning methods often suffer from excessive unlearning. To address this, we propose a simple yet effective method, MemFlex, which utilizes gradient information to precisely target and unlearn sensitive parameters. Experimental results show that MemFlex is superior to existing methods in both precise knowledge unlearning and general knowledge retaining of LLMs. Code and dataset will be released at https://github.com/zjunlp/KnowUnDo.