JailDAM: Detección de Jailbreak con Memoria Adaptativa para Modelos de Visión-Lenguaje

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Autores: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Resumen

Los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) destacan en tareas de visión y lenguaje, pero también presentan riesgos significativos de generar contenido dañino, particularmente a través de ataques de jailbreak. Los ataques de jailbreak se refieren a manipulaciones intencionales que eluden los mecanismos de seguridad en los modelos, lo que lleva a la generación de contenido inapropiado o inseguro. Detectar tales ataques es crucial para garantizar el despliegue responsable de los MLLMs. Los métodos existentes de detección de jailbreak enfrentan tres desafíos principales: (1) Muchos dependen de los estados ocultos o gradientes del modelo, lo que limita su aplicabilidad a modelos de caja blanca, donde el funcionamiento interno del modelo es accesible; (2) Implican un alto costo computacional debido al análisis basado en incertidumbre, lo que limita la detección en tiempo real, y (3) Requieren conjuntos de datos dañinos completamente etiquetados, que a menudo son escasos en entornos del mundo real. Para abordar estos problemas, presentamos un marco adaptable en tiempo de prueba llamado JAILDAM. Nuestro método utiliza un enfoque basado en memoria guiado por representaciones de conocimiento inseguro impulsadas por políticas, eliminando la necesidad de exposición explícita a datos dañinos. Al actualizar dinámicamente el conocimiento inseguro durante el tiempo de prueba, nuestro marco mejora la generalización a estrategias de jailbreak no vistas, manteniendo la eficiencia. Los experimentos en múltiples benchmarks de jailbreak para modelos de lenguaje visual (VLM) demuestran que JAILDAM ofrece un rendimiento de vanguardia en la detección de contenido dañino, mejorando tanto la precisión como la velocidad.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.