JailDAM : Détection de Jailbreak avec Mémoire Adaptative pour les Modèles Vision-Langage

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Auteurs: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) excellent dans les tâches de vision et de langage, mais ils présentent également des risques importants de générer du contenu nuisible, en particulier via des attaques de type "jailbreak". Les attaques de jailbreak désignent des manipulations intentionnelles qui contournent les mécanismes de sécurité des modèles, conduisant à la génération de contenu inapproprié ou dangereux. Détecter de telles attaques est crucial pour assurer un déploiement responsable des MLLMs. Les méthodes existantes de détection de jailbreak rencontrent trois défis majeurs : (1) Beaucoup reposent sur les états cachés ou les gradients du modèle, limitant leur applicabilité aux modèles en boîte blanche, où les mécanismes internes du modèle sont accessibles ; (2) Elles impliquent une surcharge computationnelle élevée due à des analyses basées sur l'incertitude, ce qui limite la détection en temps réel, et (3) Elles nécessitent des jeux de données nuisibles entièrement annotés, souvent rares dans des contextes réels. Pour résoudre ces problèmes, nous introduisons un cadre adaptatif en temps de test appelé JAILDAM. Notre méthode utilise une approche basée sur la mémoire guidée par des représentations de connaissances dangereuses pilotées par des politiques, éliminant le besoin d'une exposition explicite à des données nuisibles. En mettant à jour dynamiquement les connaissances dangereuses pendant le test, notre cadre améliore la généralisation à des stratégies de jailbreak inédites tout en maintenant l'efficacité. Les expériences sur plusieurs benchmarks de jailbreak pour les modèles de vision et de langage (VLM) démontrent que JAILDAM offre des performances de pointe dans la détection de contenu nuisible, améliorant à la fois la précision et la vitesse.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.