Desaprendizaje seguro: una solución sorprendentemente efectiva y generalizable para defenderse contra ataques de jailbreak.

Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks

July 3, 2024

Autores: Zhexin Zhang, Junxiao Yang, Pei Ke, Shiyao Cui, Chujie Zheng, Hongning Wang, Minlie Huang

cs.AI

Resumen

Se sabe que los LLM son vulnerables a ataques de jailbreak, incluso después de la alineación de seguridad. Una observación importante es que, si bien diferentes tipos de ataques de jailbreak pueden generar consultas significativamente diferentes, en su mayoría resultan en respuestas similares que se basan en el mismo conocimiento perjudicial (por ejemplo, pasos detallados para fabricar una bomba). Por lo tanto, conjeturamos que desaprender directamente el conocimiento perjudicial en el LLM puede ser una forma más efectiva de defenderse contra los ataques de jailbreak que los enfoques basados en el ajuste fino supervisado (SFT) convencionales. Nuestros extensos experimentos confirmaron nuestra perspicacia y sugirieron una sorprendente generalización de nuestro enfoque basado en el desaprendizaje: utilizando solo 20 preguntas perjudiciales sin procesos de jailbreak durante el entrenamiento, nuestra solución redujo la Tasa de Éxito del Ataque (ASR) en Vicuna-7B en preguntas perjudiciales fuera de distribución (OOD) envueltas con varios complejos procesos de jailbreak del 82.6% al 7.7%. Esto supera significativamente a Llama2-7B-Chat, que está ajustado fino en aproximadamente 0.1M muestras de alineación de seguridad pero aún tiene un ASR del 21.9% incluso con la ayuda de un proceso de seguridad adicional. Un análisis adicional revela que la capacidad de generalización de nuestra solución proviene de la relación intrínseca entre las respuestas perjudiciales a través de las preguntas perjudiciales (por ejemplo, patrones de respuesta, pasos y acciones compartidos, y similitud entre sus representaciones aprendidas en el LLM). Nuestro código está disponible en https://github.com/thu-coai/SafeUnlearning.

English

LLMs are known to be vulnerable to jailbreak attacks, even after safety alignment. An important observation is that, while different types of jailbreak attacks can generate significantly different queries, they mostly result in similar responses that are rooted in the same harmful knowledge (e.g., detailed steps to make a bomb). Therefore, we conjecture that directly unlearn the harmful knowledge in the LLM can be a more effective way to defend against jailbreak attacks than the mainstream supervised fine-tuning (SFT) based approaches. Our extensive experiments confirmed our insight and suggested surprising generalizability of our unlearning-based approach: using only 20 raw harmful questions without any jailbreak prompt during training, our solution reduced the Attack Success Rate (ASR) in Vicuna-7B on out-of-distribution (OOD) harmful questions wrapped with various complex jailbreak prompts from 82.6\% to 7.7\%. This significantly outperforms Llama2-7B-Chat, which is fine-tuned on about 0.1M safety alignment samples but still has an ASR of 21.9\% even under the help of an additional safety system prompt. Further analysis reveals that the generalization ability of our solution stems from the intrinsic relatedness among harmful responses across harmful questions (e.g., response patterns, shared steps and actions, and similarity among their learned representations in the LLM). Our code is available at https://github.com/thu-coai/SafeUnlearning.