Weigeren Wanneer Je Je Onveilig Voelt: Verbetering van Veiligheid in LLM's via Ontkoppelde Weigerings Training

Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training

July 12, 2024

Auteurs: Youliang Yuan, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Jiahao Xu, Tian Liang, Pinjia He, Zhaopeng Tu

cs.AI

Samenvatting

Dit onderzoek behandelt een kritieke leemte in de veiligheidsafstemmingspraktijken voor Large Language Models (LLMs) door een weigeringspositiebias in de veiligheidsafstemmingsdata te identificeren en aan te pakken, wat het vermogen van de modellen om het genereren van onveilige inhoud gepast te weigeren, in gevaar brengt. We introduceren een nieuwe aanpak, Decoupled Refusal Training (DeRTa), ontworpen om LLMs in staat te stellen om op elke reactiepositie te weigeren om schadelijke prompts te volgen, waardoor hun veiligheidsmogelijkheden aanzienlijk worden verbeterd. DeRTa omvat twee nieuwe componenten: (1) Maximum Likelihood Estimation (MLE) met Schadelijke Reactieprefix, die modellen traint om onveilige inhoud te herkennen en te vermijden door een segment van een schadelijke reactie aan het begin van een veilige reactie toe te voegen, en (2) Reinforced Transition Optimization (RTO), die modellen uitrust met het vermogen om consistent over te gaan van potentieel gevaar naar een veiligheidsweigering gedurende de schadelijke reactiereeks. Onze empirische evaluatie, uitgevoerd met de LLaMA3- en Mistral-modelfamilies over zes aanvalsscenario's, toont aan dat onze methode niet alleen de modelveiligheid verbetert zonder de prestaties aan te tasten, maar ook bekende modellen zoals GPT-4 overtreft in het verdedigen tegen aanvallen. Belangrijk is dat onze aanpak recente geavanceerde aanvalsmethoden (bijv. CodeAttack) die GPT-4 en LLaMA3-70B-Instruct hebben 'gejailbroken', succesvol verdedigt. Onze code en data zijn te vinden op https://github.com/RobustNLP/DeRTa.

English

This study addresses a critical gap in safety tuning practices for Large Language Models (LLMs) by identifying and tackling a refusal position bias within safety tuning data, which compromises the models' ability to appropriately refuse generating unsafe content. We introduce a novel approach, Decoupled Refusal Training (DeRTa), designed to empower LLMs to refuse compliance to harmful prompts at any response position, significantly enhancing their safety capabilities. DeRTa incorporates two novel components: (1) Maximum Likelihood Estimation (MLE) with Harmful Response Prefix, which trains models to recognize and avoid unsafe content by appending a segment of harmful response to the beginning of a safe response, and (2) Reinforced Transition Optimization (RTO), which equips models with the ability to transition from potential harm to safety refusal consistently throughout the harmful response sequence. Our empirical evaluation, conducted using LLaMA3 and Mistral model families across six attack scenarios, demonstrates that our method not only improves model safety without compromising performance but also surpasses well-known models such as GPT-4 in defending against attacks. Importantly, our approach successfully defends recent advanced attack methods (e.g., CodeAttack) that have jailbroken GPT-4 and LLaMA3-70B-Instruct. Our code and data can be found at https://github.com/RobustNLP/DeRTa.