Отклоняйте запросы в случае ощущения угрозы: улучшение безопасности в моделях языков с помощью обучения отказу, осуществляемого независимо.

Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training

July 12, 2024

Авторы: Youliang Yuan, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Jiahao Xu, Tian Liang, Pinjia He, Zhaopeng Tu

cs.AI

Аннотация

Данное исследование решает критическую проблему в практиках настройки безопасности Больших Языковых Моделей (БЯМ), выявляя и преодолевая предвзятость отказа в данных настройки безопасности, что подрывает способность моделей адекватно отказываться от генерации небезопасного контента. Мы представляем новый подход, Декоррелированное Обучение Отказу (DeRTa), разработанный для того, чтобы дать возможность БЯМ отказываться от выполнения вредных запросов на любой позиции ответа, значительно улучшая их безопасные возможности. DeRTa включает два новаторских компонента: (1) Оценка Максимального Правдоподобия (MLE) с Префиксом Вредного Ответа, которая обучает модели распознавать и избегать небезопасного контента, добавляя сегмент вредного ответа в начало безопасного ответа, и (2) Оптимизация Укрепленного Перехода (RTO), которая дает моделям возможность последовательно переходить от потенциального вреда к отказу от безопасности на протяжении всей последовательности вредного ответа. Наша эмпирическая оценка, проведенная с использованием семейств моделей LLaMA3 и Mistral в шести сценариях атак, демонстрирует, что наш метод не только улучшает безопасность модели без ущерба производительности, но и превосходит известные модели, такие как GPT-4, в защите от атак. Важно отметить, что наш подход успешно защищает от недавно разработанных продвинутых методов атак (например, CodeAttack), которые взломали GPT-4 и LLaMA3-70B-Instruct. Наш код и данные можно найти по ссылке https://github.com/RobustNLP/DeRTa.

English

This study addresses a critical gap in safety tuning practices for Large Language Models (LLMs) by identifying and tackling a refusal position bias within safety tuning data, which compromises the models' ability to appropriately refuse generating unsafe content. We introduce a novel approach, Decoupled Refusal Training (DeRTa), designed to empower LLMs to refuse compliance to harmful prompts at any response position, significantly enhancing their safety capabilities. DeRTa incorporates two novel components: (1) Maximum Likelihood Estimation (MLE) with Harmful Response Prefix, which trains models to recognize and avoid unsafe content by appending a segment of harmful response to the beginning of a safe response, and (2) Reinforced Transition Optimization (RTO), which equips models with the ability to transition from potential harm to safety refusal consistently throughout the harmful response sequence. Our empirical evaluation, conducted using LLaMA3 and Mistral model families across six attack scenarios, demonstrates that our method not only improves model safety without compromising performance but also surpasses well-known models such as GPT-4 in defending against attacks. Importantly, our approach successfully defends recent advanced attack methods (e.g., CodeAttack) that have jailbroken GPT-4 and LLaMA3-70B-Instruct. Our code and data can be found at https://github.com/RobustNLP/DeRTa.