Забыть или нет? К практическому забыванию знаний для больших языковых моделей

To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models

July 2, 2024

Авторы: Bozhong Tian, Xiaozhuan Liang, Siyuan Cheng, Qingbin Liu, Mengru Wang, Dianbo Sui, Xi Chen, Huajun Chen, Ningyu Zhang

cs.AI

Аннотация

Большие языковые модели (LLM), обученные на обширных корпусах, неизбежно сохраняют чувствительные данные, такие как личная информация о конфиденциальности и авторское материал. Недавние достижения в области забывания знаний включают обновление параметров LLM для стирания определенных знаний. Однако текущие парадигмы забывания застряли в неопределенных границах забывания, часто стирая знания произвольно. В данной работе мы представляем KnowUnDo, бенчмарк, содержащий авторский контент и области конфиденциальности пользователей, чтобы оценить, нестирает ли процесс забывания нежелательные знания. Наши результаты показывают, что существующие методы забывания часто страдают от избыточного забывания. Для решения этой проблемы мы предлагаем простой, но эффективный метод, MemFlex, который использует информацию о градиенте для точного выделения и забывания чувствительных параметров. Экспериментальные результаты показывают, что MemFlex превосходит существующие методы как в точном забывании знаний, так и в сохранении общих знаний LLM. Код и набор данных будут опубликованы на https://github.com/zjunlp/KnowUnDo.

English

Large Language Models (LLMs) trained on extensive corpora inevitably retain sensitive data, such as personal privacy information and copyrighted material. Recent advancements in knowledge unlearning involve updating LLM parameters to erase specific knowledge. However, current unlearning paradigms are mired in vague forgetting boundaries, often erasing knowledge indiscriminately. In this work, we introduce KnowUnDo, a benchmark containing copyrighted content and user privacy domains to evaluate if the unlearning process inadvertently erases essential knowledge. Our findings indicate that existing unlearning methods often suffer from excessive unlearning. To address this, we propose a simple yet effective method, MemFlex, which utilizes gradient information to precisely target and unlearn sensitive parameters. Experimental results show that MemFlex is superior to existing methods in both precise knowledge unlearning and general knowledge retaining of LLMs. Code and dataset will be released at https://github.com/zjunlp/KnowUnDo.