Взлом для взлома

Jailbreaking to Jailbreak

February 9, 2025

Авторы: Jeremy Kritz, Vaughn Robinson, Robert Vacareanu, Bijan Varjavand, Michael Choi, Bobby Gogov, Scale Red Team, Summer Yue, Willow E. Primack, Zifan Wang

cs.AI

Аннотация

Обучение моделей крупных языковых моделей (LLM) на отказ от вредоносных выводов предотвращает их генерацию, однако эта защита остается уязвимой как для автоматизированных, так и для созданных человеком методов взлома. Мы представляем новый подход, в котором человек взламывает обученную на отказ LLM, чтобы сделать её способной взламывать себя или другие LLM. Мы называем такие взломанные LLM атакующими J_2, которые могут систематически оценивать целевые модели, используя различные стратегии "красной команды", и улучшать свою производительность за счет обучения в контексте на основе предыдущих неудач. Наши эксперименты показывают, что Sonnet 3.5 и Gemini 1.5 pro превосходят другие LLM в роли J_2, достигая 93,0% и 91,0% успешности атак (ASR) соответственно против GPT-4o (и аналогичных результатов для других мощных LLM) на Harmbench. Наша работа не только представляет масштабируемый подход к стратегическому тестированию, вдохновленный методами "красной команды", но и подчеркивает взлом-для-взлома как недооцененный сбой в системе защиты. В частности, LLM может обойти свои собственные защитные механизмы, используя взломанную версию себя, которая готова помочь в дальнейшем взломе. Чтобы предотвратить прямое злоупотребление J_2, одновременно продвигая исследования в области безопасности ИИ, мы публикуем нашу методологию, сохраняя детали конкретных подсказок в тайне.

English

Refusal training on Large Language Models (LLMs) prevents harmful outputs, yet this defense remains vulnerable to both automated and human-crafted jailbreaks. We present a novel LLM-as-red-teamer approach in which a human jailbreaks a refusal-trained LLM to make it willing to jailbreak itself or other LLMs. We refer to the jailbroken LLMs as J_2 attackers, which can systematically evaluate target models using various red teaming strategies and improve its performance via in-context learning from the previous failures. Our experiments demonstrate that Sonnet 3.5 and Gemini 1.5 pro outperform other LLMs as J_2, achieving 93.0% and 91.0% attack success rates (ASRs) respectively against GPT-4o (and similar results across other capable LLMs) on Harmbench. Our work not only introduces a scalable approach to strategic red teaming, drawing inspiration from human red teamers, but also highlights jailbreaking-to-jailbreak as an overlooked failure mode of the safeguard. Specifically, an LLM can bypass its own safeguards by employing a jailbroken version of itself that is willing to assist in further jailbreaking. To prevent any direct misuse with J_2, while advancing research in AI safety, we publicly share our methodology while keeping specific prompting details private.