Bolsa de Trucos para Subvertir las Barreras de Seguridad Basadas en Razonamiento

Bag of Tricks for Subverting Reasoning-based Safety Guardrails

October 13, 2025

Autores: Shuo Chen, Zhen Han, Haokun Chen, Bailan He, Shengyun Si, Jingpei Wu, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

Resumen

Las recientes barreras de seguridad basadas en razonamiento para Modelos de Razonamiento de Gran Escala (LRMs, por sus siglas en inglés), como la alineación deliberativa, han demostrado una fuerte defensa contra los ataques de jailbreak. Al aprovechar la capacidad de razonamiento de los LRMs, estas barreras ayudan a los modelos a evaluar la seguridad de las entradas del usuario antes de generar respuestas finales. La poderosa capacidad de razonamiento puede analizar la intención de la consulta de entrada y se negará a asistir una vez que detecte la intención dañina oculta por los métodos de jailbreak. Dichas barreras han mostrado un aumento significativo en la defensa, como las tasas de rechazo casi perfectas en la serie de código abierto gpt-oss. Desafortunadamente, encontramos que estas potentes barreras basadas en razonamiento pueden ser extremadamente vulnerables a manipulaciones sutiles de los mensajes de entrada y, una vez secuestradas, pueden llevar a resultados aún más perjudiciales. Específicamente, primero descubrimos un aspecto sorprendentemente frágil de estas barreras: simplemente agregar unos pocos tokens de plantilla al mensaje de entrada puede eludir con éxito las barreras aparentemente poderosas y generar respuestas explícitas y dañinas. Para explorar más a fondo, introducimos un conjunto de métodos de jailbreak que subvierten las barreras basadas en razonamiento. Nuestros ataques abarcan configuraciones de caja blanca, gris y negra, y van desde manipulaciones de plantilla sin esfuerzo hasta optimización completamente automatizada. Junto con el potencial de implementación escalable, estos métodos también logran tasas de éxito de ataque alarmantemente altas (por ejemplo, superando el 90% en 5 puntos de referencia diferentes en la serie gpt-oss, tanto en modelos locales como en servicios de API en línea). Las evaluaciones en varios LRMs de código abierto líderes confirman que estas vulnerabilidades son sistémicas, subrayando la necesidad urgente de técnicas de alineación más robustas para los LRMs de código abierto, con el fin de prevenir el uso malicioso. El código está disponible en https://chenxshuo.github.io/bag-of-tricks.

English

Recent reasoning-based safety guardrails for Large Reasoning Models (LRMs), such as deliberative alignment, have shown strong defense against jailbreak attacks. By leveraging LRMs' reasoning ability, these guardrails help the models to assess the safety of user inputs before generating final responses. The powerful reasoning ability can analyze the intention of the input query and will refuse to assist once it detects the harmful intent hidden by the jailbreak methods. Such guardrails have shown a significant boost in defense, such as the near-perfect refusal rates on the open-source gpt-oss series. Unfortunately, we find that these powerful reasoning-based guardrails can be extremely vulnerable to subtle manipulation of the input prompts, and once hijacked, can lead to even more harmful results. Specifically, we first uncover a surprisingly fragile aspect of these guardrails: simply adding a few template tokens to the input prompt can successfully bypass the seemingly powerful guardrails and lead to explicit and harmful responses. To explore further, we introduce a bag of jailbreak methods that subvert the reasoning-based guardrails. Our attacks span white-, gray-, and black-box settings and range from effortless template manipulations to fully automated optimization. Along with the potential for scalable implementation, these methods also achieve alarmingly high attack success rates (e.g., exceeding 90% across 5 different benchmarks on gpt-oss series on both local host models and online API services). Evaluations across various leading open-source LRMs confirm that these vulnerabilities are systemic, underscoring the urgent need for stronger alignment techniques for open-sourced LRMs to prevent malicious misuse. Code is open-sourced at https://chenxshuo.github.io/bag-of-tricks.