Jailbroken: ¿Cómo falla el entrenamiento de seguridad en los LLM?

Jailbroken: How Does LLM Safety Training Fail?

July 5, 2023

Autores: Alexander Wei, Nika Haghtalab, Jacob Steinhardt

cs.AI

Resumen

Los grandes modelos de lenguaje entrenados para la seguridad y la inocuidad siguen siendo susceptibles al uso adversario, como lo demuestra la prevalencia de ataques de "jailbreak" en las primeras versiones de ChatGPT que provocan comportamientos no deseados. Más allá de reconocer el problema, investigamos por qué estos ataques tienen éxito y cómo pueden crearse. Planteamos dos modos de fallo en el entrenamiento de seguridad: objetivos en competencia y generalización desajustada. Los objetivos en competencia surgen cuando las capacidades del modelo y sus metas de seguridad entran en conflicto, mientras que la generalización desajustada ocurre cuando el entrenamiento de seguridad no logra generalizarse a un dominio para el cual existen capacidades. Utilizamos estos modos de fallo para guiar el diseño de jailbreaks y luego evaluamos modelos de última generación, incluidos GPT-4 de OpenAI y Claude v1.3 de Anthropic, frente a ataques existentes y recién diseñados. Descubrimos que las vulnerabilidades persisten a pesar de los extensos esfuerzos de red-teaming y entrenamiento de seguridad detrás de estos modelos. En particular, los nuevos ataques que utilizan nuestros modos de fallo tienen éxito en cada solicitud de una colección de peticiones inseguras de los conjuntos de evaluación de red-teaming de los modelos y superan a los jailbreaks ad hoc existentes. Nuestro análisis enfatiza la necesidad de paridad entre seguridad y capacidades —que los mecanismos de seguridad sean tan sofisticados como el modelo subyacente— y argumenta en contra de la idea de que el escalamiento por sí solo pueda resolver estos modos de fallo de seguridad.

English

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.