Взломанные: Почему обучение безопасности языковых моделей терпит неудачу?

Jailbroken: How Does LLM Safety Training Fail?

July 5, 2023

Авторы: Alexander Wei, Nika Haghtalab, Jacob Steinhardt

cs.AI

Аннотация

Крупные языковые модели, обученные с учетом безопасности и безвредности, остаются уязвимыми для злонамеренного использования, что подтверждается распространенностью атак "взлома" на ранние версии ChatGPT, которые вызывают нежелательное поведение. Выходя за рамки простого признания проблемы, мы исследуем, почему такие атаки успешны и как они могут быть созданы. Мы выдвигаем гипотезу о двух типах сбоев в обучении безопасности: конфликтующие цели и несоответствующая обобщаемость. Конфликтующие цели возникают, когда возможности модели и цели безопасности противоречат друг другу, а несоответствующая обобщаемость проявляется, когда обучение безопасности не распространяется на область, для которой существуют возможности модели. Мы используем эти типы сбоев для разработки новых методов взлома и затем оцениваем современные модели, включая GPT-4 от OpenAI и Claude v1.3 от Anthropic, против как существующих, так и новых атак. Мы обнаруживаем, что уязвимости сохраняются, несмотря на масштабные усилия по "красному тестированию" и обучению безопасности, заложенные в эти модели. Примечательно, что новые атаки, основанные на наших гипотезах, успешны для каждого запроса в наборе небезопасных запросов из оценочных наборов моделей и превосходят существующие импровизированные методы взлома. Наш анализ подчеркивает необходимость паритета безопасности и возможностей — механизмы безопасности должны быть столь же сложными, как и сама модель — и опровергает идею, что простое масштабирование может устранить эти сбои в безопасности.

English

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.