Обучение отказу: к смягчению рисков конфиденциальности в языковых моделях с ограниченной памятью

Learning to Refuse: Towards Mitigating Privacy Risks in LLMs

July 14, 2024

Авторы: Zhenhua Liu, Tong Zhu, Chuanyuan Tan, Wenliang Chen

cs.AI

Аннотация

Большие языковые модели (LLM) обладают выдающимися способностями в понимании и генерации естественного языка. Однако эти модели могут ненамеренно запоминать личную информацию, представляя значительные риски для конфиденциальности. В данном исследовании рассматривается проблема обеспечения возможности LLM защищать конкретные личные данные без необходимости полной переобучения. Мы предлагаем \return, набор данных Real-world pErsonal daTa UnleaRNing, включающий 2 492 человека из Википедии с соответствующими вопросами и ответами, для оценки методов машинного забывания (MU) по защите личных данных в реалистичной ситуации. Кроме того, мы представляем Name-Aware Unlearning Framework (NAUF) для защиты конфиденциальности, который позволяет модели узнавать, информацию о каких людях следует защищать, не влияя на ее способность отвечать на вопросы, касающиеся других несвязанных личностей. Наши обширные эксперименты показывают, что NAUF достигает современного среднего показателя забывания, превосходя лучший базовый метод на 5,65 пункта, эффективно защищая личные данные целевых лиц и сохраняя общие возможности модели.

English

Large language models (LLMs) exhibit remarkable capabilities in understanding and generating natural language. However, these models can inadvertently memorize private information, posing significant privacy risks. This study addresses the challenge of enabling LLMs to protect specific individuals' private data without the need for complete retraining. We propose \return, a Real-world pErsonal daTa UnleaRNing dataset, comprising 2,492 individuals from Wikipedia with associated QA pairs, to evaluate machine unlearning (MU) methods for protecting personal data in a realistic scenario. Additionally, we introduce the Name-Aware Unlearning Framework (NAUF) for Privacy Protection, which enables the model to learn which individuals' information should be protected without affecting its ability to answer questions related to other unrelated individuals. Our extensive experiments demonstrate that NAUF achieves a state-of-the-art average unlearning score, surpassing the best baseline method by 5.65 points, effectively protecting target individuals' personal data while maintaining the model's general capabilities.