Внутренняя оценка забывания с использованием параметрических трасс знаний.

Intrinsic Evaluation of Unlearning Using Parametric Knowledge Traces

June 17, 2024

Авторы: Yihuai Hong, Lei Yu, Shauli Ravfogel, Haiqin Yang, Mor Geva

cs.AI

Аннотация

Задача "забывания" определенных концепций в больших языковых моделях (LLM) недавно привлекла огромное внимание из-за ее важности для смягчения нежелательного поведения модели, такого как генерация вредной, частной или неверной информации. Существующие протоколы оценки методов "забывания" в значительной степени опираются на поведенческие тесты, не отслеживая наличие забытых знаний в параметрах модели. Эти остаточные знания могут быть злоупотреблены для восстановления стертой информации после "забывания". Мы считаем, что "забывание" также должно оцениваться внутренне, учитывая изменения в параметрических следах знаний забытых концепций. Для этого мы предлагаем общую методологию для выявления направлений в пространстве параметров (называемых "векторами концепций"), кодирующих конкретные концепции, и создаем ConceptVectors, набор данных для оценки, содержащий сотни общих концепций и их параметрические следы знаний в двух открытых LLM. Оценка на ConceptVectors показывает, что существующие методы "забывания" минимально влияют на векторы концепций, в то время как прямое удаление этих векторов демонстрирует удаление связанного с ними знания из LLM и значительно снижает их уязвимость к адверсальным манипуляциям. Наши результаты подчеркивают ограничения оценок "забывания" на основе поведения и призывают к дальнейшей работе по включению оценок на основе параметров. Для поддержки этого мы выпускаем наш код и набор данных по ссылке https://github.com/yihuaihong/ConceptVectors.

English

The task of "unlearning" certain concepts in large language models (LLMs) has attracted immense attention recently, due to its importance for mitigating undesirable model behaviours, such as the generation of harmful, private, or incorrect information. Current protocols to evaluate unlearning methods largely rely on behavioral tests, without monitoring the presence of unlearned knowledge within the model's parameters. This residual knowledge can be adversarially exploited to recover the erased information post-unlearning. We argue that unlearning should also be evaluated internally, by considering changes in the parametric knowledge traces of the unlearned concepts. To this end, we propose a general methodology for eliciting directions in the parameter space (termed "concept vectors") that encode concrete concepts, and construct ConceptVectors, a benchmark dataset containing hundreds of common concepts and their parametric knowledge traces within two open-source LLMs. Evaluation on ConceptVectors shows that existing unlearning methods minimally impact concept vectors, while directly ablating these vectors demonstrably removes the associated knowledge from the LLMs and significantly reduces their susceptibility to adversarial manipulation. Our results highlight limitations in behavioral-based unlearning evaluations and call for future work to include parametric-based evaluations. To support this, we release our code and benchmark at https://github.com/yihuaihong/ConceptVectors.