JailDAM: Jailbreak-detectie met adaptief geheugen voor vision-language modellen

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Auteurs: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLMs) blinken uit in visie-taaltaken, maar brengen ook aanzienlijke risico's met zich mee van het genereren van schadelijke inhoud, met name via jailbreak-aanvallen. Jailbreak-aanvallen verwijzen naar opzettelijke manipulaties die de veiligheidsmechanismen in modellen omzeilen, wat leidt tot het genereren van ongepaste of onveilige inhoud. Het detecteren van dergelijke aanvallen is cruciaal om een verantwoorde inzet van MLLMs te waarborgen. Bestaande methoden voor jailbreak-detectie worden geconfronteerd met drie primaire uitdagingen: (1) Veel methoden vertrouwen op verborgen toestanden of gradiënten van het model, wat hun toepasbaarheid beperkt tot white-box modellen, waarbij de interne werking van het model toegankelijk is; (2) Ze gaan gepaard met een hoge rekenkundige overhead door onzekerheidsgebaseerde analyse, wat real-time detectie beperkt, en (3) Ze vereisen volledig gelabelde datasets met schadelijke inhoud, die in praktijksituaties vaak schaars zijn. Om deze problemen aan te pakken, introduceren we een test-time adaptief raamwerk genaamd JAILDAM. Onze methode maakt gebruik van een geheugengebaseerde aanpak die wordt geleid door beleidsgestuurde onveilige kennisrepresentaties, waardoor expliciete blootstelling aan schadelijke data overbodig wordt. Door dynamisch onveilige kennis bij te werken tijdens test-time, verbetert ons raamwerk de generalisatie naar onbekende jailbreak-strategieën terwijl de efficiëntie behouden blijft. Experimenten op meerdere VLM-jailbreak-benchmarks tonen aan dat JAILDAM state-of-the-art prestaties levert in de detectie van schadelijke inhoud, waarbij zowel de nauwkeurigheid als de snelheid worden verbeterd.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.