JailDAM: Jailbreak-Erkennung mit adaptivem Speicher für Vision-Sprache-Modelle

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Autoren: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) zeichnen sich in Vision-Sprache-Aufgaben aus, bergen jedoch auch erhebliche Risiken, schädliche Inhalte zu generieren, insbesondere durch Jailbreak-Angriffe. Jailbreak-Angriffe beziehen sich auf gezielte Manipulationen, die Sicherheitsmechanismen in Modellen umgehen und zur Erzeugung unangemessener oder unsicherer Inhalte führen. Die Erkennung solcher Angriffe ist entscheidend, um den verantwortungsvollen Einsatz von MLLMs zu gewährleisten. Bestehende Methoden zur Jailbreak-Erkennung stehen vor drei Hauptherausforderungen: (1) Viele basieren auf verborgenen Modellzuständen oder Gradienten, was ihre Anwendbarkeit auf White-Box-Modelle beschränkt, bei denen die internen Abläufe des Modells zugänglich sind; (2) Sie beinhalten einen hohen Rechenaufwand durch unsicherheitsbasierte Analysen, was die Echtzeiterkennung einschränkt, und (3) Sie erfordern vollständig annotierte schädliche Datensätze, die in realen Anwendungen oft knapp sind. Um diese Probleme zu lösen, führen wir ein testzeitadaptives Framework namens JAILDAM ein. Unsere Methode nutzt einen speicherbasierten Ansatz, der durch politikgesteuerte unsichere Wissensrepräsentationen geleitet wird, wodurch die Notwendigkeit einer expliziten Exposition gegenüber schädlichen Daten entfällt. Durch die dynamische Aktualisierung unsicheren Wissens während der Testzeit verbessert unser Framework die Generalisierung auf unbekannte Jailbreak-Strategien bei gleichzeitiger Aufrechterhaltung der Effizienz. Experimente auf mehreren VLM-Jailbreak-Benchmarks zeigen, dass JAILDAM Spitzenleistungen in der Erkennung schädlicher Inhalte erzielt und sowohl die Genauigkeit als auch die Geschwindigkeit verbessert.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.