Intrinsieke evaluatie van vergeten met behulp van parametrische kennissporen

Intrinsic Evaluation of Unlearning Using Parametric Knowledge Traces

June 17, 2024

Auteurs: Yihuai Hong, Lei Yu, Shauli Ravfogel, Haiqin Yang, Mor Geva

cs.AI

Samenvatting

De taak van het "afleren" van bepaalde concepten in grote taalmodellen (LLMs) heeft recentelijk veel aandacht getrokken vanwege het belang ervan voor het verminderen van ongewenst modelgedrag, zoals het genereren van schadelijke, privé- of incorrecte informatie. Huidige protocollen om aflermethoden te evalueren, zijn grotendeels gebaseerd op gedragstests, zonder het monitoren van de aanwezigheid van afgeleerde kennis binnen de parameters van het model. Deze resterende kennis kan op een adversariale manier worden uitgebuit om de gewiste informatie na het afleren te herstellen. Wij stellen dat afleren ook intern moet worden geëvalueerd, door veranderingen in de parametrische kennissporen van de afgeleerde concepten te beschouwen. Hiertoe stellen we een algemene methodologie voor om richtingen in de parameterruimte (genaamd "conceptvectoren") die concrete concepten coderen, te ontlokken, en construeren we ConceptVectors, een benchmarkdataset die honderden veelvoorkomende concepten en hun parametrische kennissporen binnen twee open-source LLMs bevat. Evaluatie op ConceptVectors toont aan dat bestaande aflermethoden minimale impact hebben op conceptvectoren, terwijl het direct verwijderen van deze vectoren aantoonbaar de bijbehorende kennis uit de LLMs verwijdert en hun gevoeligheid voor adversariale manipulatie aanzienlijk vermindert. Onze resultaten benadrukken de beperkingen van gedragsgebaseerde aflerevaluaties en roepen op tot toekomstig werk om parametrisch-gebaseerde evaluaties te omvatten. Om dit te ondersteunen, hebben we onze code en benchmark vrijgegeven op https://github.com/yihuaihong/ConceptVectors.

English

The task of "unlearning" certain concepts in large language models (LLMs) has attracted immense attention recently, due to its importance for mitigating undesirable model behaviours, such as the generation of harmful, private, or incorrect information. Current protocols to evaluate unlearning methods largely rely on behavioral tests, without monitoring the presence of unlearned knowledge within the model's parameters. This residual knowledge can be adversarially exploited to recover the erased information post-unlearning. We argue that unlearning should also be evaluated internally, by considering changes in the parametric knowledge traces of the unlearned concepts. To this end, we propose a general methodology for eliciting directions in the parameter space (termed "concept vectors") that encode concrete concepts, and construct ConceptVectors, a benchmark dataset containing hundreds of common concepts and their parametric knowledge traces within two open-source LLMs. Evaluation on ConceptVectors shows that existing unlearning methods minimally impact concept vectors, while directly ablating these vectors demonstrably removes the associated knowledge from the LLMs and significantly reduces their susceptibility to adversarial manipulation. Our results highlight limitations in behavioral-based unlearning evaluations and call for future work to include parametric-based evaluations. To support this, we release our code and benchmark at https://github.com/yihuaihong/ConceptVectors.