Jailbroken: Come Fallisce l'Addestramento alla Sicurezza degli LLM?

Jailbroken: How Does LLM Safety Training Fail?

July 5, 2023

Autori: Alexander Wei, Nika Haghtalab, Jacob Steinhardt

cs.AI

Abstract

I grandi modelli linguistici addestrati per la sicurezza e l'innocuità rimangono suscettibili a un uso improprio di tipo avversario, come dimostrato dalla diffusione di attacchi di "jailbreak" sulle prime versioni di ChatGPT che inducono comportamenti indesiderati. Andando oltre il semplice riconoscimento del problema, indaghiamo perché tali attacchi hanno successo e come possono essere creati. Formuliamo due ipotesi sui modi di fallimento dell'addestramento alla sicurezza: obiettivi in conflitto e generalizzazione non allineata. Gli obiettivi in conflitto emergono quando le capacità di un modello e i suoi obiettivi di sicurezza sono in contrasto, mentre la generalizzazione non allineata si verifica quando l'addestramento alla sicurezza non riesce a generalizzare a un dominio per cui esistono capacità. Utilizziamo questi modi di fallimento per guidare la progettazione di jailbreak e poi valutiamo modelli all'avanguardia, tra cui GPT-4 di OpenAI e Claude v1.3 di Anthropic, contro attacchi sia esistenti che di nuova concezione. Troviamo che le vulnerabilità persistono nonostante gli sforzi estesi di red-teaming e addestramento alla sicurezza dietro questi modelli. In particolare, i nuovi attacchi che sfruttano i nostri modi di fallimento hanno successo su ogni prompt in una raccolta di richieste non sicure provenienti dai set di valutazione di red-teaming dei modelli e superano i jailbreak ad hoc esistenti. La nostra analisi sottolinea la necessità di una parità tra sicurezza e capacità – ovvero che i meccanismi di sicurezza dovrebbero essere sofisticati quanto il modello sottostante – e si oppone all'idea che il semplice aumento di scala possa risolvere questi modi di fallimento della sicurezza.

English

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.