Boîte à outils pour contourner les garde-fous de sécurité basés sur le raisonnement

Bag of Tricks for Subverting Reasoning-based Safety Guardrails

October 13, 2025

papers.authors: Shuo Chen, Zhen Han, Haokun Chen, Bailan He, Shengyun Si, Jingpei Wu, Philip Torr, Volker Tresp, Jindong Gu

cs.AI

papers.abstract

Les récentes mesures de sécurité basées sur le raisonnement pour les Grands Modèles de Raisonnement (LRMs), telles que l'alignement délibératif, ont démontré une forte défense contre les attaques de contournement (jailbreak). En exploitant la capacité de raisonnement des LRMs, ces garde-fous aident les modèles à évaluer la sécurité des entrées utilisateur avant de générer des réponses finales. Cette puissante capacité de raisonnement permet d'analyser l'intention de la requête et de refuser d'assister dès qu'une intention nuisible, masquée par les méthodes de jailbreak, est détectée. Ces garde-fous ont montré une amélioration significative de la défense, comme des taux de refus quasi parfaits sur la série open-source gpt-oss. Malheureusement, nous constatons que ces puissants garde-fous basés sur le raisonnement peuvent être extrêmement vulnérables à des manipulations subtiles des invites d'entrée, et une fois détournés, peuvent conduire à des résultats encore plus nuisibles. Plus précisément, nous découvrons d'abord un aspect étonnamment fragile de ces garde-fous : l'ajout de quelques tokens de modèle à l'invite d'entrée peut contourner avec succès ces garde-fous apparemment puissants et entraîner des réponses explicites et nuisibles. Pour approfondir, nous introduisons un ensemble de méthodes de jailbreak qui subvertissent les garde-fous basés sur le raisonnement. Nos attaques couvrent des contextes en boîte blanche, grise et noire, allant de manipulations de modèles sans effort à une optimisation entièrement automatisée. Avec un potentiel de mise en œuvre scalable, ces méthodes atteignent également des taux de réussite d'attaque alarmants (par exemple, dépassant 90 % sur 5 benchmarks différents de la série gpt-oss, tant sur les modèles locaux que sur les services API en ligne). Les évaluations sur divers LRMs open-source leaders confirment que ces vulnérabilités sont systémiques, soulignant le besoin urgent de techniques d'alignement plus robustes pour les LRMs open-source afin de prévenir les utilisations malveillantes. Le code est open-source à l'adresse https://chenxshuo.github.io/bag-of-tricks.

English

Recent reasoning-based safety guardrails for Large Reasoning Models (LRMs), such as deliberative alignment, have shown strong defense against jailbreak attacks. By leveraging LRMs' reasoning ability, these guardrails help the models to assess the safety of user inputs before generating final responses. The powerful reasoning ability can analyze the intention of the input query and will refuse to assist once it detects the harmful intent hidden by the jailbreak methods. Such guardrails have shown a significant boost in defense, such as the near-perfect refusal rates on the open-source gpt-oss series. Unfortunately, we find that these powerful reasoning-based guardrails can be extremely vulnerable to subtle manipulation of the input prompts, and once hijacked, can lead to even more harmful results. Specifically, we first uncover a surprisingly fragile aspect of these guardrails: simply adding a few template tokens to the input prompt can successfully bypass the seemingly powerful guardrails and lead to explicit and harmful responses. To explore further, we introduce a bag of jailbreak methods that subvert the reasoning-based guardrails. Our attacks span white-, gray-, and black-box settings and range from effortless template manipulations to fully automated optimization. Along with the potential for scalable implementation, these methods also achieve alarmingly high attack success rates (e.g., exceeding 90% across 5 different benchmarks on gpt-oss series on both local host models and online API services). Evaluations across various leading open-source LRMs confirm that these vulnerabilities are systemic, underscoring the urgent need for stronger alignment techniques for open-sourced LRMs to prevent malicious misuse. Code is open-sourced at https://chenxshuo.github.io/bag-of-tricks.