Refusez dès que vous vous sentez en danger : Améliorer la sécurité des LLM grâce à un entraînement au refus découplé

Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training

July 12, 2024

papers.authors: Youliang Yuan, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Jiahao Xu, Tian Liang, Pinjia He, Zhaopeng Tu

cs.AI

papers.abstract

Cette étude aborde une lacune critique dans les pratiques de réglage de la sécurité pour les modèles de langage à grande échelle (LLMs) en identifiant et en traitant un biais de position de refus dans les données de réglage de la sécurité, ce qui compromet la capacité des modèles à refuser de manière appropriée la génération de contenu dangereux. Nous introduisons une nouvelle approche, l'Entraînement Découplé au Refus (DeRTa), conçue pour permettre aux LLMs de refuser de se conformer à des prompts nocifs à n'importe quelle position de réponse, améliorant ainsi significativement leurs capacités de sécurité. DeRTa intègre deux composants novateurs : (1) l'Estimation du Maximum de Vraisemblance (MLE) avec Préfixe de Réponse Nocive, qui entraîne les modèles à reconnaître et à éviter le contenu dangereux en ajoutant un segment de réponse nocive au début d'une réponse sûre, et (2) l'Optimisation de Transition Renforcée (RTO), qui dote les modèles de la capacité à passer de la potentialité de danger à un refus de sécurité de manière cohérente tout au long de la séquence de réponse nocive. Notre évaluation empirique, menée en utilisant les familles de modèles LLaMA3 et Mistral sur six scénarios d'attaque, démontre que notre méthode améliore non seulement la sécurité des modèles sans compromettre leurs performances, mais surpasse également des modèles bien connus comme GPT-4 dans la défense contre les attaques. Fait important, notre approche défend avec succès des méthodes d'attaque avancées récentes (par exemple, CodeAttack) qui ont réussi à contourner les protections de GPT-4 et LLaMA3-70B-Instruct. Notre code et nos données sont disponibles à l'adresse suivante : https://github.com/RobustNLP/DeRTa.

English

This study addresses a critical gap in safety tuning practices for Large Language Models (LLMs) by identifying and tackling a refusal position bias within safety tuning data, which compromises the models' ability to appropriately refuse generating unsafe content. We introduce a novel approach, Decoupled Refusal Training (DeRTa), designed to empower LLMs to refuse compliance to harmful prompts at any response position, significantly enhancing their safety capabilities. DeRTa incorporates two novel components: (1) Maximum Likelihood Estimation (MLE) with Harmful Response Prefix, which trains models to recognize and avoid unsafe content by appending a segment of harmful response to the beginning of a safe response, and (2) Reinforced Transition Optimization (RTO), which equips models with the ability to transition from potential harm to safety refusal consistently throughout the harmful response sequence. Our empirical evaluation, conducted using LLaMA3 and Mistral model families across six attack scenarios, demonstrates that our method not only improves model safety without compromising performance but also surpasses well-known models such as GPT-4 in defending against attacks. Importantly, our approach successfully defends recent advanced attack methods (e.g., CodeAttack) that have jailbroken GPT-4 and LLaMA3-70B-Instruct. Our code and data can be found at https://github.com/RobustNLP/DeRTa.