Jailbroken: Warum scheitert das Sicherheitstraining von LLMs?

Jailbroken: How Does LLM Safety Training Fail?

July 5, 2023

Autoren: Alexander Wei, Nika Haghtalab, Jacob Steinhardt

cs.AI

Zusammenfassung

Große Sprachmodelle, die auf Sicherheit und Schadlosigkeit trainiert wurden, bleiben anfällig für adversarischen Missbrauch, wie die Verbreitung von „Jailbreak“-Angriffen auf frühe Versionen von ChatGPT zeigt, die unerwünschtes Verhalten hervorrufen. Über die bloße Anerkennung des Problems hinaus untersuchen wir, warum solche Angriffe erfolgreich sind und wie sie erstellt werden können. Wir stellen zwei Fehlermodi des Sicherheitstrainings als Hypothesen auf: konkurrierende Ziele und unpassende Generalisierung. Konkurrierende Ziele entstehen, wenn die Fähigkeiten eines Modells und seine Sicherheitsziele in Konflikt geraten, während unpassende Generalisierung auftritt, wenn das Sicherheitstraining nicht auf einen Bereich verallgemeinert, für den Fähigkeiten vorhanden sind. Wir nutzen diese Fehlermodi, um Jailbreak-Designs zu leiten, und bewerten dann state-of-the-art Modelle, darunter OpenAI’s GPT-4 und Anthropic’s Claude v1.3, gegen bestehende und neu entwickelte Angriffe. Wir stellen fest, dass Schwachstellen trotz der umfangreichen Red-Teaming- und Sicherheitstrainingsbemühungen hinter diesen Modellen bestehen bleiben. Bemerkenswerterweise gelingen neue Angriffe, die unsere Fehlermodi nutzen, bei jedem Prompt in einer Sammlung unsicherer Anfragen aus den Red-Teaming-Evaluationssets der Modelle und übertreffen bestehende ad-hoc-Jailbreaks. Unsere Analyse unterstreicht die Notwendigkeit einer Sicherheits-Fähigkeits-Parität – dass Sicherheitsmechanismen ebenso ausgefeilt sein sollten wie das zugrunde liegende Modell – und argumentiert gegen die Vorstellung, dass Skalierung allein diese Sicherheitsfehlermodi beheben kann.

English

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.