Jailbroken: Hoe Faalt Veiligheidstraining voor LLM's?

Jailbroken: How Does LLM Safety Training Fail?

July 5, 2023

Auteurs: Alexander Wei, Nika Haghtalab, Jacob Steinhardt

cs.AI

Samenvatting

Grote taalmodellen die zijn getraind voor veiligheid en onschadelijkheid blijven vatbaar voor kwaadwillig misbruik, zoals blijkt uit de prevalentie van "jailbreak"-aanvallen op vroege releases van ChatGPT die ongewenst gedrag uitlokken. Verder dan alleen het erkennen van het probleem, onderzoeken we waarom dergelijke aanvallen slagen en hoe ze kunnen worden gecreëerd. We stellen twee faalmodi van veiligheidstraining voor: concurrerende doelstellingen en mismatched generalisatie. Concurrerende doelstellingen ontstaan wanneer de mogelijkheden van een model en de veiligheidsdoelen met elkaar in conflict zijn, terwijl mismatched generalisatie optreedt wanneer de veiligheidstraining niet generaliseert naar een domein waarvoor mogelijkheden bestaan. We gebruiken deze faalmodi om jailbreak-ontwerpen te begeleiden en evalueren vervolgens state-of-the-art modellen, waaronder OpenAI's GPT-4 en Anthropic's Claude v1.3, tegen zowel bestaande als nieuw ontworpen aanvallen. We constateren dat kwetsbaarheden blijven bestaan ondanks de uitgebreide red-teaming en veiligheidstraining inspanningen achter deze modellen. Opmerkelijk is dat nieuwe aanvallen die gebruikmaken van onze faalmodi slagen voor elke prompt in een verzameling onveilige verzoeken uit de red-teaming evaluatiesets van de modellen en bestaande ad hoc jailbreaks overtreffen. Onze analyse benadrukt de noodzaak van veiligheid-capaciteitspariteit -- dat veiligheidsmechanismen even geavanceerd moeten zijn als het onderliggende model -- en pleit tegen het idee dat schaalvergroting alleen deze veiligheidsfaalmodi kan oplossen.

English

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.