Veilig Ontleren: Een Verrassend Effectieve en Generaliseerbare Oplossing om Jailbreak-aanvallen te Bestrijden

Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks

July 3, 2024

Auteurs: Zhexin Zhang, Junxiao Yang, Pei Ke, Shiyao Cui, Chujie Zheng, Hongning Wang, Minlie Huang

cs.AI

Samenvatting

LLM's staan erom bekend kwetsbaar te zijn voor jailbreak-aanvallen, zelfs na veiligheidsafstemming. Een belangrijke observatie is dat, hoewel verschillende soorten jailbreak-aanvallen aanzienlijk verschillende queries kunnen genereren, ze meestal resulteren in vergelijkbare antwoorden die geworteld zijn in dezelfde schadelijke kennis (bijvoorbeeld gedetailleerde stappen om een bom te maken). Daarom vermoeden we dat het direct afleren van de schadelijke kennis in de LLM een effectievere manier kan zijn om jailbreak-aanvallen te weerstaan dan de mainstream benaderingen gebaseerd op supervised fine-tuning (SFT). Onze uitgebreide experimenten bevestigden ons inzicht en suggereerden een verrassende generaliseerbaarheid van onze afleren-gebaseerde aanpak: door slechts 20 onbewerkte schadelijke vragen te gebruiken zonder enige jailbreak-prompt tijdens de training, verlaagde onze oplossing de Attack Success Rate (ASR) in Vicuna-7B op out-of-distribution (OOD) schadelijke vragen verpakt in verschillende complexe jailbreak-prompts van 82,6\% naar 7,7\%. Dit overtreft aanzienlijk Llama2-7B-Chat, dat is afgestemd op ongeveer 0,1 miljoen veiligheidsafstemmingsmonsters maar nog steeds een ASR heeft van 21,9\% zelfs met behulp van een extra veiligheidssysteemprompt. Verdere analyse onthult dat het generalisatievermogen van onze oplossing voortkomt uit de intrinsieke verwantschap tussen schadelijke antwoorden over verschillende schadelijke vragen (bijvoorbeeld responspatronen, gedeelde stappen en acties, en de gelijkenis tussen hun geleerde representaties in de LLM). Onze code is beschikbaar op https://github.com/thu-coai/SafeUnlearning.

English

LLMs are known to be vulnerable to jailbreak attacks, even after safety alignment. An important observation is that, while different types of jailbreak attacks can generate significantly different queries, they mostly result in similar responses that are rooted in the same harmful knowledge (e.g., detailed steps to make a bomb). Therefore, we conjecture that directly unlearn the harmful knowledge in the LLM can be a more effective way to defend against jailbreak attacks than the mainstream supervised fine-tuning (SFT) based approaches. Our extensive experiments confirmed our insight and suggested surprising generalizability of our unlearning-based approach: using only 20 raw harmful questions without any jailbreak prompt during training, our solution reduced the Attack Success Rate (ASR) in Vicuna-7B on out-of-distribution (OOD) harmful questions wrapped with various complex jailbreak prompts from 82.6\% to 7.7\%. This significantly outperforms Llama2-7B-Chat, which is fine-tuned on about 0.1M safety alignment samples but still has an ASR of 21.9\% even under the help of an additional safety system prompt. Further analysis reveals that the generalization ability of our solution stems from the intrinsic relatedness among harmful responses across harmful questions (e.g., response patterns, shared steps and actions, and similarity among their learned representations in the LLM). Our code is available at https://github.com/thu-coai/SafeUnlearning.