Jailbreaking para Jailbreak

Jailbreaking to Jailbreak

February 9, 2025

Autores: Jeremy Kritz, Vaughn Robinson, Robert Vacareanu, Bijan Varjavand, Michael Choi, Bobby Gogov, Scale Red Team, Summer Yue, Willow E. Primack, Zifan Wang

cs.AI

Resumen

El entrenamiento de rechazo en Modelos de Lenguaje de Gran Escala (LLMs) previene salidas dañinas, pero esta defensa sigue siendo vulnerable tanto a jailbreaks automatizados como a aquellos creados por humanos. Presentamos un enfoque novedoso de LLM-como-equipo-rojo en el que un humano realiza un jailbreak a un LLM entrenado para rechazar, haciéndolo dispuesto a realizar jailbreaks a sí mismo o a otros LLMs. Nos referimos a los LLMs con jailbreak como atacantes J_2, los cuales pueden evaluar sistemáticamente modelos objetivo utilizando diversas estrategias de equipo rojo y mejorar su rendimiento mediante aprendizaje en contexto a partir de fallos previos. Nuestros experimentos demuestran que Sonnet 3.5 y Gemini 1.5 pro superan a otros LLMs como J_2, logrando tasas de éxito de ataque (ASRs) del 93.0% y 91.0% respectivamente contra GPT-4o (y resultados similares en otros LLMs capaces) en Harmbench. Nuestro trabajo no solo introduce un enfoque escalable para el equipo rojo estratégico, inspirándose en equipos rojos humanos, sino que también destaca el jailbreak-a-jailbreak como un modo de fallo pasado por alto de las salvaguardias. Específicamente, un LLM puede eludir sus propias salvaguardias empleando una versión con jailbreak de sí mismo que esté dispuesta a asistir en más jailbreaks. Para prevenir cualquier uso indebido directo con J_2, mientras avanzamos en la investigación de seguridad en IA, compartimos públicamente nuestra metodología manteniendo privados los detalles específicos de los prompts.

English

Refusal training on Large Language Models (LLMs) prevents harmful outputs, yet this defense remains vulnerable to both automated and human-crafted jailbreaks. We present a novel LLM-as-red-teamer approach in which a human jailbreaks a refusal-trained LLM to make it willing to jailbreak itself or other LLMs. We refer to the jailbroken LLMs as J_2 attackers, which can systematically evaluate target models using various red teaming strategies and improve its performance via in-context learning from the previous failures. Our experiments demonstrate that Sonnet 3.5 and Gemini 1.5 pro outperform other LLMs as J_2, achieving 93.0% and 91.0% attack success rates (ASRs) respectively against GPT-4o (and similar results across other capable LLMs) on Harmbench. Our work not only introduces a scalable approach to strategic red teaming, drawing inspiration from human red teamers, but also highlights jailbreaking-to-jailbreak as an overlooked failure mode of the safeguard. Specifically, an LLM can bypass its own safeguards by employing a jailbroken version of itself that is willing to assist in further jailbreaking. To prevent any direct misuse with J_2, while advancing research in AI safety, we publicly share our methodology while keeping specific prompting details private.