Sicheres Vergessen: Eine überraschend effektive und generalisierbare Lösung zur Abwehr von Jailbreak-Angriffen.

Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks

July 3, 2024

Autoren: Zhexin Zhang, Junxiao Yang, Pei Ke, Shiyao Cui, Chujie Zheng, Hongning Wang, Minlie Huang

cs.AI

Zusammenfassung

LLMs sind bekannt dafür, anfällig für Jailbreak-Angriffe zu sein, selbst nach Sicherheitsausrichtung. Eine wichtige Beobachtung ist, dass verschiedene Arten von Jailbreak-Angriffen zwar signifikant unterschiedliche Abfragen generieren können, sie jedoch meist zu ähnlichen Antworten führen, die auf dem gleichen schädlichen Wissen basieren (z. B. detaillierte Schritte zur Herstellung einer Bombe). Daher vermuten wir, dass das direkte Verlernen des schädlichen Wissens im LLM ein effektiverer Weg sein könnte, um sich gegen Jailbreak-Angriffe zu verteidigen als die gängigen auf überwachtem Feintuning (SFT) basierenden Ansätze. Unsere umfangreichen Experimente bestätigten unsere Einsicht und deuteten auf eine überraschende Verallgemeinerbarkeit unseres verlernbasierten Ansatzes hin: Mit nur 20 rohen schädlichen Fragen ohne jegliche Jailbreak-Aufforderung während des Trainings reduzierte unsere Lösung die Angriffserfolgsrate (ASR) in Vicuna-7B bei schädlichen Fragen außerhalb der Verteilung, die mit verschiedenen komplexen Jailbreak-Aufforderungen versehen waren, von 82,6\% auf 7,7\%. Dies übertrifft signifikant Llama2-7B-Chat, der auf etwa 0,1M Sicherheitsausrichtungsbeispielen feinabgestimmt ist, aber selbst unter Hilfe einer zusätzlichen Sicherheitssystem-Aufforderung eine ASR von 21,9\% aufweist. Eine weitere Analyse zeigt, dass die Verallgemeinerungsfähigkeit unserer Lösung aus der intrinsischen Verwandtschaft zwischen schädlichen Antworten über schädliche Fragen hinweg resultiert (z. B. Antwortmuster, gemeinsame Schritte und Handlungen und Ähnlichkeit zwischen ihren erlernten Repräsentationen im LLM). Unser Code ist verfügbar unter https://github.com/thu-coai/SafeUnlearning.

English

LLMs are known to be vulnerable to jailbreak attacks, even after safety alignment. An important observation is that, while different types of jailbreak attacks can generate significantly different queries, they mostly result in similar responses that are rooted in the same harmful knowledge (e.g., detailed steps to make a bomb). Therefore, we conjecture that directly unlearn the harmful knowledge in the LLM can be a more effective way to defend against jailbreak attacks than the mainstream supervised fine-tuning (SFT) based approaches. Our extensive experiments confirmed our insight and suggested surprising generalizability of our unlearning-based approach: using only 20 raw harmful questions without any jailbreak prompt during training, our solution reduced the Attack Success Rate (ASR) in Vicuna-7B on out-of-distribution (OOD) harmful questions wrapped with various complex jailbreak prompts from 82.6\% to 7.7\%. This significantly outperforms Llama2-7B-Chat, which is fine-tuned on about 0.1M safety alignment samples but still has an ASR of 21.9\% even under the help of an additional safety system prompt. Further analysis reveals that the generalization ability of our solution stems from the intrinsic relatedness among harmful responses across harmful questions (e.g., response patterns, shared steps and actions, and similarity among their learned representations in the LLM). Our code is available at https://github.com/thu-coai/SafeUnlearning.