CRISP: Persistentes Konzeptverlernen durch Sparse Autoencoder

CRISP: Persistent Concept Unlearning via Sparse Autoencoders

August 19, 2025

papers.authors: Tomer Ashuach, Dana Arad, Aaron Mueller, Martin Tutek, Yonatan Belinkov

cs.AI

papers.abstract

Da große Sprachmodelle (LLMs) zunehmend in realen Anwendungen eingesetzt werden, ist die Notwendigkeit, unerwünschtes Wissen selektiv zu entfernen, während die Nützlichkeit des Modells erhalten bleibt, von entscheidender Bedeutung. Aktuelle Arbeiten haben spärliche Autoencoder (SAEs) untersucht, um präzise Eingriffe in monosemantische Merkmale durchzuführen. Die meisten SAE-basierten Methoden operieren jedoch zur Inferenzzeit, was keine dauerhaften Änderungen an den Parametern des Modells bewirkt. Solche Eingriffe können von böswilligen Akteuren mit Parameterzugang umgangen oder rückgängig gemacht werden. Wir stellen CRISP vor, eine parameter-effiziente Methode für dauerhaftes Konzeptverlernen unter Verwendung von SAEs. CRISP identifiziert automatisch relevante SAE-Merkmale über mehrere Schichten hinweg und unterdrückt deren Aktivierungen. Wir experimentieren mit zwei LLMs und zeigen, dass unsere Methode frühere Ansätze bei sicherheitskritischen Verlernaufgaben aus dem WMDP-Benchmark übertrifft, indem sie schädliches Wissen erfolgreich entfernt, während allgemeine und domänenspezifische Fähigkeiten erhalten bleiben. Eine Merkmalsebenenanalyse zeigt, dass CRISP eine semantisch kohärente Trennung zwischen Ziel- und harmlosen Konzepten erreicht, was eine präzise Unterdrückung der Zielmerkmale ermöglicht.

English

As large language models (LLMs) are increasingly deployed in real-world applications, the need to selectively remove unwanted knowledge while preserving model utility has become paramount. Recent work has explored sparse autoencoders (SAEs) to perform precise interventions on monosemantic features. However, most SAE-based methods operate at inference time, which does not create persistent changes in the model's parameters. Such interventions can be bypassed or reversed by malicious actors with parameter access. We introduce CRISP, a parameter-efficient method for persistent concept unlearning using SAEs. CRISP automatically identifies salient SAE features across multiple layers and suppresses their activations. We experiment with two LLMs and show that our method outperforms prior approaches on safety-critical unlearning tasks from the WMDP benchmark, successfully removing harmful knowledge while preserving general and in-domain capabilities. Feature-level analysis reveals that CRISP achieves semantically coherent separation between target and benign concepts, allowing precise suppression of the target features.