推論ベースの安全ガードレールを回避するための手法集

要旨

近年、大規模推論モデル（LRMs）に対する推論ベースの安全ガードレール、例えば熟慮的アライメントなどは、ジャイルブレイク攻撃に対する強力な防御を示してきた。これらのガードレールは、LRMsの推論能力を活用し、ユーザー入力の安全性を評価してから最終的な応答を生成することを支援する。強力な推論能力は、入力クエリの意図を分析し、ジャイルブレイク手法によって隠された有害な意図を検出すると、支援を拒否する。このようなガードレールは、オープンソースのgpt-ossシリーズでのほぼ完璧な拒否率など、防御力の大幅な向上を示している。しかし、これらの強力な推論ベースのガードレールは、入力プロンプトの微妙な操作に対して極めて脆弱であり、一旦ハイジャックされると、さらに有害な結果を引き起こす可能性があることがわかった。具体的には、まず、これらのガードレールの驚くほど脆弱な側面を明らかにする：入力プロンプトにわずかなテンプレートトークンを追加するだけで、一見強力なガードレールをバイパスし、明示的で有害な応答を引き起こすことができる。さらに探求するために、推論ベースのガードレールを覆すジャイルブレイク手法のバッグを導入する。我々の攻撃は、ホワイトボックス、グレーボックス、ブラックボックスの設定にまたがり、手軽なテンプレート操作から完全に自動化された最適化まで多岐にわたる。スケーラブルな実装の可能性とともに、これらの手法は、ローカルホストモデルとオンラインAPIサービスの両方でgpt-ossシリーズの5つの異なるベンチマークで90％を超える驚異的に高い攻撃成功率を達成している。主要なオープンソースLRMsにわたる評価は、これらの脆弱性が体系的であることを確認し、悪意のある誤用を防ぐためのオープンソースLRMsに対するより強力なアライメント技術の緊急の必要性を強調している。コードはhttps://chenxshuo.github.io/bag-of-tricksで公開されている。

English

Recent reasoning-based safety guardrails for Large Reasoning Models (LRMs), such as deliberative alignment, have shown strong defense against jailbreak attacks. By leveraging LRMs' reasoning ability, these guardrails help the models to assess the safety of user inputs before generating final responses. The powerful reasoning ability can analyze the intention of the input query and will refuse to assist once it detects the harmful intent hidden by the jailbreak methods. Such guardrails have shown a significant boost in defense, such as the near-perfect refusal rates on the open-source gpt-oss series. Unfortunately, we find that these powerful reasoning-based guardrails can be extremely vulnerable to subtle manipulation of the input prompts, and once hijacked, can lead to even more harmful results. Specifically, we first uncover a surprisingly fragile aspect of these guardrails: simply adding a few template tokens to the input prompt can successfully bypass the seemingly powerful guardrails and lead to explicit and harmful responses. To explore further, we introduce a bag of jailbreak methods that subvert the reasoning-based guardrails. Our attacks span white-, gray-, and black-box settings and range from effortless template manipulations to fully automated optimization. Along with the potential for scalable implementation, these methods also achieve alarmingly high attack success rates (e.g., exceeding 90% across 5 different benchmarks on gpt-oss series on both local host models and online API services). Evaluations across various leading open-source LRMs confirm that these vulnerabilities are systemic, underscoring the urgent need for stronger alignment techniques for open-sourced LRMs to prevent malicious misuse. Code is open-sourced at https://chenxshuo.github.io/bag-of-tricks.

推論ベースの安全ガードレールを回避するための手法集

Bag of Tricks for Subverting Reasoning-based Safety Guardrails

要旨

Support