JailDAM: ビジョン言語モデル向け適応型メモリを用いたジャイルブレイク検出

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

著者: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）は視覚言語タスクにおいて優れた性能を発揮する一方で、特にジェイルブレイク攻撃を通じて有害なコンテンツを生成する重大なリスクも抱えています。ジェイルブレイク攻撃とは、モデルの安全機構を意図的に回避し、不適切または危険なコンテンツを生成させる操作を指します。このような攻撃を検出することは、MLLMsの責任ある展開を確保する上で極めて重要です。既存のジェイルブレイク検出手法は、主に3つの課題に直面しています。(1) 多くの手法がモデルの隠れ状態や勾配に依存しており、モデルの内部構造にアクセス可能なホワイトボックスモデルに限定されること、(2) 不確実性に基づく分析による高い計算コストがかかり、リアルタイム検出が制限されること、(3) 完全にラベル付けされた有害データセットを必要とすることですが、現実世界ではそのようなデータセットが不足していることです。これらの課題を解決するため、我々はJAILDAMと呼ばれるテスト時適応型フレームワークを提案します。本手法は、ポリシー駆動型の安全でない知識表現に基づくメモリベースのアプローチを活用し、有害なデータへの明示的な曝露を不要とします。テスト時に安全でない知識を動的に更新することで、本フレームワークは未見のジェイルブレイク戦略への汎化性能を向上させつつ、効率性を維持します。複数のVLMジェイルブレイクベンチマークでの実験により、JAILDAMが有害コンテンツ検出において最先端の性能を発揮し、精度と速度の両方を向上させることが実証されました。

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.