CRISP: Aanhoudend Concept Vergeten via Sparse Autoencoders

CRISP: Persistent Concept Unlearning via Sparse Autoencoders

August 19, 2025

Auteurs: Tomer Ashuach, Dana Arad, Aaron Mueller, Martin Tutek, Yonatan Belinkov

cs.AI

Samenvatting

Naarmate grote taalmmodellen (LLMs) steeds vaker worden ingezet in real-world toepassingen, is de noodzaak om ongewenste kennis selectief te verwijderen terwijl de bruikbaarheid van het model behouden blijft, van cruciaal belang geworden. Recent onderzoek heeft gesparse autoencoders (SAEs) verkend om precieze interventies uit te voeren op monosemantische kenmerken. De meeste op SAE gebaseerde methoden werken echter tijdens de inferentie, wat geen blijvende veranderingen in de parameters van het model creëert. Dergelijke interventies kunnen worden omzeild of teruggedraaid door kwaadwillende actoren met toegang tot de parameters. Wij introduceren CRISP, een parameter-efficiënte methode voor blijvend conceptvergeten met behulp van SAEs. CRISP identificeert automatisch belangrijke SAE-kenmerken over meerdere lagen en onderdrukt hun activeringen. We experimenteren met twee LLMs en laten zien dat onze methode eerdere benaderingen overtreft op veiligheidskritieke vergetentaken van de WMDP-benchmark, waarbij schadelijke kennis succesvol wordt verwijderd terwijl algemene en domeinspecifieke capaciteiten behouden blijven. Analyse op kenmerkniveau toont aan dat CRISP een semantisch coherente scheiding bereikt tussen doel- en goedaardige concepten, waardoor precieze onderdrukking van de doelkenmerken mogelijk wordt.

English

As large language models (LLMs) are increasingly deployed in real-world applications, the need to selectively remove unwanted knowledge while preserving model utility has become paramount. Recent work has explored sparse autoencoders (SAEs) to perform precise interventions on monosemantic features. However, most SAE-based methods operate at inference time, which does not create persistent changes in the model's parameters. Such interventions can be bypassed or reversed by malicious actors with parameter access. We introduce CRISP, a parameter-efficient method for persistent concept unlearning using SAEs. CRISP automatically identifies salient SAE features across multiple layers and suppresses their activations. We experiment with two LLMs and show that our method outperforms prior approaches on safety-critical unlearning tasks from the WMDP benchmark, successfully removing harmful knowledge while preserving general and in-domain capabilities. Feature-level analysis reveals that CRISP achieves semantically coherent separation between target and benign concepts, allowing precise suppression of the target features.