Trucs om redeneringsgebaseerde veiligheidsbeveiligingen te omzeilen

Bag of Tricks for Subverting Reasoning-based Safety Guardrails

October 13, 2025

Auteurs: Shuo Chen, Zhen Han, Haokun Chen, Bailan He, Shengyun Si, Jingpei Wu, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

Samenvatting

Recente veiligheidsmaatregelen op basis van redenering voor Large Reasoning Models (LRMs), zoals deliberatieve afstemming, hebben een sterke verdediging tegen jailbreak-aanvallen getoond. Door gebruik te maken van het redeneervermogen van LRMs helpen deze maatregelen de modellen om de veiligheid van gebruikersinvoer te beoordelen voordat ze definitieve reacties genereren. Het krachtige redeneervermogen kan de intentie van de invoervraag analyseren en zal weigeren om te assisteren zodra het de schadelijke intentie detecteert die verborgen is door jailbreak-methoden. Dergelijke maatregelen hebben een aanzienlijke verbetering in de verdediging laten zien, zoals de bijna perfecte weigeringspercentages bij de open-source gpt-oss-serie. Helaas ontdekken we dat deze krachtige, op redenering gebaseerde maatregelen extreem kwetsbaar kunnen zijn voor subtiele manipulatie van de invoerprompts, en eenmaal gekaapt, kunnen leiden tot nog schadelijkere resultaten. Specifiek onthullen we eerst een verrassend kwetsbaar aspect van deze maatregelen: het simpelweg toevoegen van een paar sjabloontokens aan de invoerprompt kan de schijnbaar krachtige maatregelen succesvol omzeilen en leiden tot expliciete en schadelijke reacties. Om verder te onderzoeken, introduceren we een reeks jailbreak-methoden die de op redenering gebaseerde maatregelen ondermijnen. Onze aanvallen beslaan white-, gray- en black-box-instellingen en variëren van moeiteloze sjabloonmanipulaties tot volledig geautomatiseerde optimalisatie. Naast het potentieel voor schaalbare implementatie, behalen deze methoden ook alarmerend hoge aanvalssuccespercentages (bijvoorbeeld meer dan 90% over 5 verschillende benchmarks op de gpt-oss-serie, zowel bij lokale hostmodellen als online API-services). Evaluaties over verschillende toonaangevende open-source LRMs bevestigen dat deze kwetsbaarheden systemisch zijn, wat de dringende behoefte aan sterkere afstemmingstechnieken voor open-source LRMs onderstreept om kwaadwillig misbruik te voorkomen. De code is open-source beschikbaar op https://chenxshuo.github.io/bag-of-tricks.

English

Recent reasoning-based safety guardrails for Large Reasoning Models (LRMs), such as deliberative alignment, have shown strong defense against jailbreak attacks. By leveraging LRMs' reasoning ability, these guardrails help the models to assess the safety of user inputs before generating final responses. The powerful reasoning ability can analyze the intention of the input query and will refuse to assist once it detects the harmful intent hidden by the jailbreak methods. Such guardrails have shown a significant boost in defense, such as the near-perfect refusal rates on the open-source gpt-oss series. Unfortunately, we find that these powerful reasoning-based guardrails can be extremely vulnerable to subtle manipulation of the input prompts, and once hijacked, can lead to even more harmful results. Specifically, we first uncover a surprisingly fragile aspect of these guardrails: simply adding a few template tokens to the input prompt can successfully bypass the seemingly powerful guardrails and lead to explicit and harmful responses. To explore further, we introduce a bag of jailbreak methods that subvert the reasoning-based guardrails. Our attacks span white-, gray-, and black-box settings and range from effortless template manipulations to fully automated optimization. Along with the potential for scalable implementation, these methods also achieve alarmingly high attack success rates (e.g., exceeding 90% across 5 different benchmarks on gpt-oss series on both local host models and online API services). Evaluations across various leading open-source LRMs confirm that these vulnerabilities are systemic, underscoring the urgent need for stronger alignment techniques for open-sourced LRMs to prevent malicious misuse. Code is open-sourced at https://chenxshuo.github.io/bag-of-tricks.