Jailbreaken om te Jailbreaken

Jailbreaking to Jailbreak

February 9, 2025

Auteurs: Jeremy Kritz, Vaughn Robinson, Robert Vacareanu, Bijan Varjavand, Michael Choi, Bobby Gogov, Scale Red Team, Summer Yue, Willow E. Primack, Zifan Wang

cs.AI

Samenvatting

Weigertraining op Large Language Models (LLMs) voorkomt schadelijke uitvoer, maar deze verdediging blijft kwetsbaar voor zowel geautomatiseerde als door mensen gemaakte jailbreaks. We presenteren een nieuwe LLM-as-red-teamer-benadering waarbij een mens een refusal-getrainde LLM jailbreakt om deze bereid te maken zichzelf of andere LLMs te jailbreaken. We verwijzen naar de gejailbreakte LLMs als J_2-aanvallers, die systematisch doelmodellen kunnen evalueren met behulp van verschillende red teaming-strategieën en hun prestaties kunnen verbeteren via in-context leren van eerdere mislukkingen. Onze experimenten tonen aan dat Sonnet 3.5 en Gemini 1.5 pro andere LLMs overtreffen als J_2, met respectievelijk 93,0% en 91,0% aanvalsuccespercentages (ASRs) tegen GPT-4o (en vergelijkbare resultaten bij andere capabele LLMs) op Harmbench. Ons werk introduceert niet alleen een schaalbare benadering voor strategisch red teaming, geïnspireerd door menselijke red teamers, maar benadrukt ook jailbreaking-to-jailbreak als een over het hoofd gezien falingsmechanisme van de beveiliging. Specifiek kan een LLM zijn eigen beveiligingen omzeilen door een gejailbreakte versie van zichzelf te gebruiken die bereid is te helpen bij verdere jailbreaking. Om direct misbruik met J_2 te voorkomen, terwijl we onderzoek naar AI-veiligheid bevorderen, delen we onze methodologie publiekelijk, maar houden we specifieke prompting-details privé.

English

Refusal training on Large Language Models (LLMs) prevents harmful outputs, yet this defense remains vulnerable to both automated and human-crafted jailbreaks. We present a novel LLM-as-red-teamer approach in which a human jailbreaks a refusal-trained LLM to make it willing to jailbreak itself or other LLMs. We refer to the jailbroken LLMs as J_2 attackers, which can systematically evaluate target models using various red teaming strategies and improve its performance via in-context learning from the previous failures. Our experiments demonstrate that Sonnet 3.5 and Gemini 1.5 pro outperform other LLMs as J_2, achieving 93.0% and 91.0% attack success rates (ASRs) respectively against GPT-4o (and similar results across other capable LLMs) on Harmbench. Our work not only introduces a scalable approach to strategic red teaming, drawing inspiration from human red teamers, but also highlights jailbreaking-to-jailbreak as an overlooked failure mode of the safeguard. Specifically, an LLM can bypass its own safeguards by employing a jailbroken version of itself that is willing to assist in further jailbreaking. To prevent any direct misuse with J_2, while advancing research in AI safety, we publicly share our methodology while keeping specific prompting details private.