Apprendre à refuser : Vers une atténuation des risques de confidentialité dans les LLM

Learning to Refuse: Towards Mitigating Privacy Risks in LLMs

July 14, 2024

Auteurs: Zhenhua Liu, Tong Zhu, Chuanyuan Tan, Wenliang Chen

cs.AI

Résumé

Les grands modèles de langage (LLM) démontrent des capacités remarquables dans la compréhension et la génération du langage naturel. Cependant, ces modèles peuvent involontairement mémoriser des informations privées, posant des risques significatifs pour la vie privée. Cette étude aborde le défi de permettre aux LLM de protéger les données privées d'individus spécifiques sans nécessiter un réentraînement complet. Nous proposons \return, un ensemble de données Real-world pErsonal daTa UnleaRNing, comprenant 2 492 individus issus de Wikipédia avec des paires question-réponse associées, pour évaluer les méthodes de désapprentissage machine (MU) dans un scénario réaliste de protection des données personnelles. De plus, nous introduisons le Name-Aware Unlearning Framework (NAUF) pour la protection de la vie privée, qui permet au modèle d'apprendre quelles informations d'individus doivent être protégées sans affecter sa capacité à répondre à des questions concernant d'autres individus non liés. Nos expériences approfondies démontrent que NAUF atteint un score de désapprentissage moyen de pointe, surpassant la meilleure méthode de référence de 5,65 points, protégeant efficacement les données personnelles des individus cibles tout en préservant les capacités générales du modèle.

English

Large language models (LLMs) exhibit remarkable capabilities in understanding and generating natural language. However, these models can inadvertently memorize private information, posing significant privacy risks. This study addresses the challenge of enabling LLMs to protect specific individuals' private data without the need for complete retraining. We propose \return, a Real-world pErsonal daTa UnleaRNing dataset, comprising 2,492 individuals from Wikipedia with associated QA pairs, to evaluate machine unlearning (MU) methods for protecting personal data in a realistic scenario. Additionally, we introduce the Name-Aware Unlearning Framework (NAUF) for Privacy Protection, which enables the model to learn which individuals' information should be protected without affecting its ability to answer questions related to other unrelated individuals. Our extensive experiments demonstrate that NAUF achieves a state-of-the-art average unlearning score, surpassing the best baseline method by 5.65 points, effectively protecting target individuals' personal data while maintaining the model's general capabilities.