Lehnen Sie ab, wann immer Sie sich unsicher fühlen: Verbesserung der Sicherheit in LLMs durch entkoppeltes Ablehnungstraining.

Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training

July 12, 2024

Autoren: Youliang Yuan, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Jiahao Xu, Tian Liang, Pinjia He, Zhaopeng Tu

cs.AI

Zusammenfassung

Diese Studie befasst sich mit einer kritischen Lücke in den Sicherheitseinstellungspraktiken für große Sprachmodelle (LLMs), indem sie eine Verweigerungspositionsvoreingenommenheit innerhalb der Sicherheitseinstellungsdaten identifiziert und angeht, die die Fähigkeit der Modelle beeinträchtigt, unsichere Inhalte angemessen abzulehnen zu generieren. Wir stellen einen neuartigen Ansatz vor, das Decoupled Refusal Training (DeRTa), das darauf abzielt, LLMs zu ermächtigen, die Einhaltung schädlicher Aufforderungen an jeder Antwortposition zu verweigern und damit ihre Sicherheitsfähigkeiten signifikant zu verbessern. DeRTa integriert zwei neuartige Komponenten: (1) Maximum-Likelihood-Schätzung (MLE) mit schädlichem Antwortpräfix, das Modelle darauf trainiert, unsichere Inhalte zu erkennen und zu vermeiden, indem ein Segment schädlicher Antwort am Anfang einer sicheren Antwort angehängt wird, und (2) Reinforced Transition Optimization (RTO), das Modelle mit der Fähigkeit ausstattet, konsistent von potenzieller Schädlichkeit zu Sicherheitsverweigerung über die gesamte schädliche Antwortsequenz zu wechseln. Unsere empirische Bewertung, durchgeführt mit den Modellfamilien LLaMA3 und Mistral über sechs Angriffsszenarien, zeigt, dass unsere Methode nicht nur die Modellsicherheit verbessert, ohne die Leistung zu beeinträchtigen, sondern auch bekannte Modelle wie GPT-4 in der Abwehr von Angriffen übertrifft. Wichtig ist, dass unser Ansatz erfolgreich vor kürzlich entwickelten fortgeschrittenen Angriffsmethoden (z. B. CodeAttack) verteidigt, die GPT-4 und LLaMA3-70B-Instruct geknackt haben. Unser Code und unsere Daten finden Sie unter https://github.com/RobustNLP/DeRTa.

English

This study addresses a critical gap in safety tuning practices for Large Language Models (LLMs) by identifying and tackling a refusal position bias within safety tuning data, which compromises the models' ability to appropriately refuse generating unsafe content. We introduce a novel approach, Decoupled Refusal Training (DeRTa), designed to empower LLMs to refuse compliance to harmful prompts at any response position, significantly enhancing their safety capabilities. DeRTa incorporates two novel components: (1) Maximum Likelihood Estimation (MLE) with Harmful Response Prefix, which trains models to recognize and avoid unsafe content by appending a segment of harmful response to the beginning of a safe response, and (2) Reinforced Transition Optimization (RTO), which equips models with the ability to transition from potential harm to safety refusal consistently throughout the harmful response sequence. Our empirical evaluation, conducted using LLaMA3 and Mistral model families across six attack scenarios, demonstrates that our method not only improves model safety without compromising performance but also surpasses well-known models such as GPT-4 in defending against attacks. Importantly, our approach successfully defends recent advanced attack methods (e.g., CodeAttack) that have jailbroken GPT-4 and LLaMA3-70B-Instruct. Our code and data can be found at https://github.com/RobustNLP/DeRTa.