Jailbroken: Como o Treinamento de Segurança em LLM Falha?

Jailbroken: How Does LLM Safety Training Fail?

July 5, 2023

Autores: Alexander Wei, Nika Haghtalab, Jacob Steinhardt

cs.AI

Resumo

Grandes modelos de linguagem treinados para segurança e inofensividade continuam suscetíveis a uso adversário, como evidenciado pela prevalência de ataques de "jailbreak" em versões iniciais do ChatGPT que provocam comportamentos indesejados. Indo além do reconhecimento do problema, investigamos por que tais ataques têm sucesso e como podem ser criados. Nossa hipótese aponta dois modos de falha no treinamento de segurança: objetivos concorrentes e generalização desalinhada. Objetivos concorrentes surgem quando as capacidades do modelo e seus objetivos de segurança entram em conflito, enquanto a generalização desalinhada ocorre quando o treinamento de segurança falha em generalizar para um domínio no qual as capacidades existem. Utilizamos esses modos de falha para orientar o design de jailbreaks e, em seguida, avaliamos modelos de última geração, incluindo o GPT-4 da OpenAI e o Claude v1.3 da Anthropic, contra ataques existentes e recém-projetados. Constatamos que as vulnerabilidades persistem, apesar dos extensos esforços de red-teaming e treinamento de segurança aplicados a esses modelos. Notavelmente, novos ataques que utilizam nossos modos de falha têm sucesso em todos os prompts de uma coleção de solicitações inseguras dos conjuntos de avaliação de red-teaming dos modelos e superam jailbreaks ad hoc existentes. Nossa análise enfatiza a necessidade de paridade entre segurança e capacidade — ou seja, que os mecanismos de segurança devem ser tão sofisticados quanto o modelo subjacente — e argumenta contra a ideia de que o escalonamento por si só pode resolver esses modos de falha de segurança.

English

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.