CRISP: Desaprendizado Persistente de Conceitos via Autoencoders Esparsos

CRISP: Persistent Concept Unlearning via Sparse Autoencoders

August 19, 2025

Autores: Tomer Ashuach, Dana Arad, Aaron Mueller, Martin Tutek, Yonatan Belinkov

cs.AI

Resumo

À medida que os modelos de linguagem de grande escala (LLMs) são cada vez mais implantados em aplicações do mundo real, a necessidade de remover seletivamente conhecimentos indesejados, preservando a utilidade do modelo, tornou-se primordial. Trabalhos recentes exploraram autoencoders esparsos (SAEs) para realizar intervenções precisas em características monossemânticas. No entanto, a maioria dos métodos baseados em SAEs opera durante a inferência, o que não cria alterações persistentes nos parâmetros do modelo. Tais intervenções podem ser contornadas ou revertidas por atores maliciosos com acesso aos parâmetros. Apresentamos o CRISP, um método eficiente em parâmetros para o esquecimento persistente de conceitos usando SAEs. O CRISP identifica automaticamente características salientes dos SAEs em múltiplas camadas e suprime suas ativações. Realizamos experimentos com dois LLMs e mostramos que nosso método supera abordagens anteriores em tarefas críticas de esquecimento do benchmark WMDP, removendo com sucesso conhecimentos prejudiciais enquanto preserva capacidades gerais e no domínio. Análises em nível de características revelam que o CRISP alcança uma separação semanticamente coerente entre conceitos-alvo e benignos, permitindo a supressão precisa das características-alvo.

English

As large language models (LLMs) are increasingly deployed in real-world applications, the need to selectively remove unwanted knowledge while preserving model utility has become paramount. Recent work has explored sparse autoencoders (SAEs) to perform precise interventions on monosemantic features. However, most SAE-based methods operate at inference time, which does not create persistent changes in the model's parameters. Such interventions can be bypassed or reversed by malicious actors with parameter access. We introduce CRISP, a parameter-efficient method for persistent concept unlearning using SAEs. CRISP automatically identifies salient SAE features across multiple layers and suppresses their activations. We experiment with two LLMs and show that our method outperforms prior approaches on safety-critical unlearning tasks from the WMDP benchmark, successfully removing harmful knowledge while preserving general and in-domain capabilities. Feature-level analysis reveals that CRISP achieves semantically coherent separation between target and benign concepts, allowing precise suppression of the target features.