Безопасное забывание: удивительно эффективное и обобщенное решение для защиты от атак с целью разблокировки.

Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks

July 3, 2024

Авторы: Zhexin Zhang, Junxiao Yang, Pei Ke, Shiyao Cui, Chujie Zheng, Hongning Wang, Minlie Huang

cs.AI

Аннотация

LLM известны своей уязвимостью к атакам на освобождение из тюрьмы, даже после выравнивания безопасности. Важным наблюдением является то, что, хотя различные типы атак на освобождение из тюрьмы могут порождать значительно разные запросы, они в основном приводят к схожим ответам, которые коренятся в тех же вредоносных знаниях (например, подробные шаги по изготовлению бомбы). Поэтому мы предполагаем, что прямое разучивание вредоносных знаний в LLM может быть более эффективным способом защиты от атак на освобождение из тюрьмы, чем основанные на массовом обучении с учителем (SFT) подходы. Наши обширные эксперименты подтвердили наше понимание и предположили удивительную обобщаемость нашего подхода на основе разучивания: используя всего 20 исходных вредоносных вопросов без каких-либо подсказок для атаки на освобождение из тюрьмы во время обучения, наше решение снизило уровень успешных атак (ASR) в Vicuna-7B на вредоносные вопросы вне диапазона (OOD), обернутые различными сложными подсказками для атаки на освобождение из тюрьмы с 82,6\% до 7,7\%. Это значительно превосходит Llama2-7B-Chat, который настроен на около 0,1 млн образцов выравнивания безопасности, но все равно имеет ASR 21,9\%, даже при помощи дополнительной системы безопасности. Дальнейший анализ показывает, что способность к обобщению нашего решения происходит из внутренней взаимосвязи между вредоносными ответами на вредоносные вопросы (например, шаблоны ответов, общие шаги и действия, и сходство между их выученными представлениями в LLM). Наш код доступен по адресу https://github.com/thu-coai/SafeUnlearning.

English

LLMs are known to be vulnerable to jailbreak attacks, even after safety alignment. An important observation is that, while different types of jailbreak attacks can generate significantly different queries, they mostly result in similar responses that are rooted in the same harmful knowledge (e.g., detailed steps to make a bomb). Therefore, we conjecture that directly unlearn the harmful knowledge in the LLM can be a more effective way to defend against jailbreak attacks than the mainstream supervised fine-tuning (SFT) based approaches. Our extensive experiments confirmed our insight and suggested surprising generalizability of our unlearning-based approach: using only 20 raw harmful questions without any jailbreak prompt during training, our solution reduced the Attack Success Rate (ASR) in Vicuna-7B on out-of-distribution (OOD) harmful questions wrapped with various complex jailbreak prompts from 82.6\% to 7.7\%. This significantly outperforms Llama2-7B-Chat, which is fine-tuned on about 0.1M safety alignment samples but still has an ASR of 21.9\% even under the help of an additional safety system prompt. Further analysis reveals that the generalization ability of our solution stems from the intrinsic relatedness among harmful responses across harmful questions (e.g., response patterns, shared steps and actions, and similarity among their learned representations in the LLM). Our code is available at https://github.com/thu-coai/SafeUnlearning.