Conjunto de Técnicas para Contornar Barreiras de Segurança Baseadas em Raciocínio

Bag of Tricks for Subverting Reasoning-based Safety Guardrails

October 13, 2025

Autores: Shuo Chen, Zhen Han, Haokun Chen, Bailan He, Shengyun Si, Jingpei Wu, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

Resumo

As recentes salvaguardas de segurança baseadas em raciocínio para Modelos de Raciocínio de Grande Escala (LRMs, na sigla em inglês), como o alinhamento deliberativo, têm demonstrado uma forte defesa contra ataques de jailbreak. Ao aproveitar a capacidade de raciocínio dos LRMs, essas salvaguardas ajudam os modelos a avaliar a segurança das entradas dos usuários antes de gerar respostas finais. A poderosa capacidade de raciocínio pode analisar a intenção da consulta de entrada e se recusará a auxiliar assim que detectar a intenção maliciosa ocultada pelos métodos de jailbreak. Tais salvaguardas mostraram um aumento significativo na defesa, como as taxas de recusa quase perfeitas na série gpt-oss de código aberto. Infelizmente, descobrimos que essas poderosas salvaguardas baseadas em raciocínio podem ser extremamente vulneráveis a manipulações sutis dos prompts de entrada e, uma vez sequestradas, podem levar a resultados ainda mais prejudiciais. Especificamente, primeiro revelamos um aspecto surpreendentemente frágil dessas salvaguardas: simplesmente adicionar alguns tokens de modelo ao prompt de entrada pode contornar com sucesso as salvaguardas aparentemente poderosas e levar a respostas explícitas e prejudiciais. Para explorar mais a fundo, introduzimos um conjunto de métodos de jailbreak que subvertem as salvaguardas baseadas em raciocínio. Nossos ataques abrangem configurações de caixa branca, cinza e preta e variam desde manipulações de modelo sem esforço até otimizações totalmente automatizadas. Juntamente com o potencial de implementação escalável, esses métodos também alcançam taxas de sucesso de ataque alarmantemente altas (por exemplo, ultrapassando 90% em 5 benchmarks diferentes na série gpt-oss, tanto em modelos locais quanto em serviços de API online). Avaliações em vários LRMs de código aberto líderes confirmam que essas vulnerabilidades são sistêmicas, destacando a necessidade urgente de técnicas de alinhamento mais robustas para LRMs de código aberto, a fim de prevenir o uso malicioso. O código está disponível em https://chenxshuo.github.io/bag-of-tricks.

English

Recent reasoning-based safety guardrails for Large Reasoning Models (LRMs), such as deliberative alignment, have shown strong defense against jailbreak attacks. By leveraging LRMs' reasoning ability, these guardrails help the models to assess the safety of user inputs before generating final responses. The powerful reasoning ability can analyze the intention of the input query and will refuse to assist once it detects the harmful intent hidden by the jailbreak methods. Such guardrails have shown a significant boost in defense, such as the near-perfect refusal rates on the open-source gpt-oss series. Unfortunately, we find that these powerful reasoning-based guardrails can be extremely vulnerable to subtle manipulation of the input prompts, and once hijacked, can lead to even more harmful results. Specifically, we first uncover a surprisingly fragile aspect of these guardrails: simply adding a few template tokens to the input prompt can successfully bypass the seemingly powerful guardrails and lead to explicit and harmful responses. To explore further, we introduce a bag of jailbreak methods that subvert the reasoning-based guardrails. Our attacks span white-, gray-, and black-box settings and range from effortless template manipulations to fully automated optimization. Along with the potential for scalable implementation, these methods also achieve alarmingly high attack success rates (e.g., exceeding 90% across 5 different benchmarks on gpt-oss series on both local host models and online API services). Evaluations across various leading open-source LRMs confirm that these vulnerabilities are systemic, underscoring the urgent need for stronger alignment techniques for open-sourced LRMs to prevent malicious misuse. Code is open-sourced at https://chenxshuo.github.io/bag-of-tricks.