Rifiuta Ogni Volta che Ti Senti Insicuro: Migliorare la Sicurezza nei Modelli Linguistici di Grande Dimensione attraverso l'Addestramento al Rifiuto Disaccoppiato

Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training

July 12, 2024

Autori: Youliang Yuan, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Jiahao Xu, Tian Liang, Pinjia He, Zhaopeng Tu

cs.AI

Abstract

Questo studio affronta una lacuna critica nelle pratiche di ottimizzazione della sicurezza per i Modelli Linguistici di Grande Dimensione (LLM), identificando e risolvendo un bias di posizione di rifiuto all'interno dei dati di ottimizzazione della sicurezza, che compromette la capacità dei modelli di rifiutare in modo appropriato la generazione di contenuti non sicuri. Introduciamo un approccio innovativo, l'Addestramento Decoupled Refusal (DeRTa), progettato per consentire ai LLM di rifiutare il rispetto di prompt dannosi in qualsiasi posizione della risposta, migliorando significativamente le loro capacità di sicurezza. DeRTa incorpora due componenti innovative: (1) la Massima Verosimiglianza (MLE) con Prefisso di Risposta Dannosa, che addestra i modelli a riconoscere ed evitare contenuti non sicuri aggiungendo un segmento di risposta dannosa all'inizio di una risposta sicura, e (2) l'Ottimizzazione Rafforzata della Transizione (RTO), che fornisce ai modelli la capacità di passare da un potenziale danno a un rifiuto sicuro in modo coerente lungo l'intera sequenza di risposta dannosa. La nostra valutazione empirica, condotta utilizzando le famiglie di modelli LLaMA3 e Mistral in sei scenari di attacco, dimostra che il nostro metodo non solo migliora la sicurezza del modello senza comprometterne le prestazioni, ma supera anche modelli ben noti come GPT-4 nella difesa contro gli attacchi. In particolare, il nostro approccio difende con successo metodi di attacco avanzati recenti (ad esempio, CodeAttack) che hanno violato GPT-4 e LLaMA3-70B-Instruct. Il nostro codice e i nostri dati sono disponibili all'indirizzo https://github.com/RobustNLP/DeRTa.

English

This study addresses a critical gap in safety tuning practices for Large Language Models (LLMs) by identifying and tackling a refusal position bias within safety tuning data, which compromises the models' ability to appropriately refuse generating unsafe content. We introduce a novel approach, Decoupled Refusal Training (DeRTa), designed to empower LLMs to refuse compliance to harmful prompts at any response position, significantly enhancing their safety capabilities. DeRTa incorporates two novel components: (1) Maximum Likelihood Estimation (MLE) with Harmful Response Prefix, which trains models to recognize and avoid unsafe content by appending a segment of harmful response to the beginning of a safe response, and (2) Reinforced Transition Optimization (RTO), which equips models with the ability to transition from potential harm to safety refusal consistently throughout the harmful response sequence. Our empirical evaluation, conducted using LLaMA3 and Mistral model families across six attack scenarios, demonstrates that our method not only improves model safety without compromising performance but also surpasses well-known models such as GPT-4 in defending against attacks. Importantly, our approach successfully defends recent advanced attack methods (e.g., CodeAttack) that have jailbroken GPT-4 and LLaMA3-70B-Instruct. Our code and data can be found at https://github.com/RobustNLP/DeRTa.