JailDAM: Detecção de Jailbreak com Memória Adaptativa para Modelos de Visão-Linguagem

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Autores: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) se destacam em tarefas de visão e linguagem, mas também apresentam riscos significativos de gerar conteúdo prejudicial, especialmente por meio de ataques de jailbreak. Ataques de jailbreak referem-se a manipulações intencionais que contornam os mecanismos de segurança dos modelos, levando à geração de conteúdo inadequado ou inseguro. Detectar esses ataques é crucial para garantir a implantação responsável de MLLMs. Os métodos existentes de detecção de jailbreak enfrentam três desafios principais: (1) Muitos dependem de estados ocultos ou gradientes do modelo, limitando sua aplicabilidade a modelos de caixa branca, onde o funcionamento interno do modelo é acessível; (2) Envolvem alto custo computacional devido à análise baseada em incerteza, o que limita a detecção em tempo real, e (3) Requerem conjuntos de dados prejudiciais totalmente rotulados, que muitas vezes são escassos em cenários do mundo real. Para abordar esses problemas, introduzimos um framework adaptativo em tempo de teste chamado JAILDAM. Nosso método utiliza uma abordagem baseada em memória guiada por representações de conhecimento inseguro orientadas por políticas, eliminando a necessidade de exposição explícita a dados prejudiciais. Ao atualizar dinamicamente o conhecimento inseguro durante o tempo de teste, nosso framework melhora a generalização para estratégias de jailbreak não vistas, mantendo a eficiência. Experimentos em vários benchmarks de jailbreak de VLM demonstram que o JAILDAM oferece desempenho de ponta na detecção de conteúdo prejudicial, melhorando tanto a precisão quanto a velocidade.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.