CRISP: Eliminación Persistente de Conceptos mediante Autoencoders Escasos

CRISP: Persistent Concept Unlearning via Sparse Autoencoders

August 19, 2025

Autores: Tomer Ashuach, Dana Arad, Aaron Mueller, Martin Tutek, Yonatan Belinkov

cs.AI

Resumen

A medida que los modelos de lenguaje de gran escala (LLMs) se despliegan cada vez más en aplicaciones del mundo real, la necesidad de eliminar selectivamente conocimientos no deseados mientras se preserva la utilidad del modelo se ha vuelto primordial. Trabajos recientes han explorado el uso de autoencoders dispersos (SAEs) para realizar intervenciones precisas en características monosemánticas. Sin embargo, la mayoría de los métodos basados en SAEs operan durante la inferencia, lo que no genera cambios persistentes en los parámetros del modelo. Dichas intervenciones pueden ser eludidas o revertidas por actores maliciosos con acceso a los parámetros. Presentamos CRISP, un método eficiente en parámetros para el desaprendizaje persistente de conceptos utilizando SAEs. CRISP identifica automáticamente características destacadas de los SAEs en múltiples capas y suprime sus activaciones. Experimentamos con dos LLMs y demostramos que nuestro método supera enfoques previos en tareas críticas de desaprendizaje del benchmark WMDP, eliminando con éxito conocimientos dañinos mientras se preservan las capacidades generales y dentro del dominio. El análisis a nivel de características revela que CRISP logra una separación semánticamente coherente entre conceptos objetivo y benignos, permitiendo la supresión precisa de las características objetivo.

English

As large language models (LLMs) are increasingly deployed in real-world applications, the need to selectively remove unwanted knowledge while preserving model utility has become paramount. Recent work has explored sparse autoencoders (SAEs) to perform precise interventions on monosemantic features. However, most SAE-based methods operate at inference time, which does not create persistent changes in the model's parameters. Such interventions can be bypassed or reversed by malicious actors with parameter access. We introduce CRISP, a parameter-efficient method for persistent concept unlearning using SAEs. CRISP automatically identifies salient SAE features across multiple layers and suppresses their activations. We experiment with two LLMs and show that our method outperforms prior approaches on safety-critical unlearning tasks from the WMDP benchmark, successfully removing harmful knowledge while preserving general and in-domain capabilities. Feature-level analysis reveals that CRISP achieves semantically coherent separation between target and benign concepts, allowing precise suppression of the target features.