JailDAM: Обнаружение взлома с адаптивной памятью для визуально-языковых моделей

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Авторы: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Аннотация

Мультимодальные крупные языковые модели (MLLMs) демонстрируют выдающиеся результаты в задачах, связанных с обработкой визуальной и текстовой информации, но также представляют значительные риски генерации вредоносного контента, особенно в результате атак типа "jailbreak". Атаки "jailbreak" представляют собой преднамеренные манипуляции, которые обходят механизмы безопасности моделей, приводя к созданию нежелательного или опасного контента. Обнаружение таких атак критически важно для обеспечения ответственного использования MLLMs. Существующие методы обнаружения "jailbreak" сталкиваются с тремя основными проблемами: (1) многие из них полагаются на скрытые состояния или градиенты модели, что ограничивает их применимость к "белым" моделям, где внутренние механизмы модели доступны; (2) они связаны с высокими вычислительными затратами из-за анализа, основанного на неопределенности, что ограничивает возможность обнаружения в реальном времени; (3) они требуют полностью размеченных наборов данных с вредоносным контентом, которые часто недоступны в реальных условиях. Для решения этих проблем мы представляем адаптивную на этапе тестирования структуру под названием JAILDAM. Наш метод использует подход, основанный на памяти и управляемый политикой представления небезопасных знаний, что устраняет необходимость явного воздействия на вредоносные данные. Благодаря динамическому обновлению небезопасных знаний на этапе тестирования, наша структура улучшает обобщение на неизвестные стратегии "jailbreak", сохраняя при этом эффективность. Эксперименты на нескольких бенчмарках для атак "jailbreak" на визуально-языковые модели (VLM) демонстрируют, что JAILDAM обеспечивает передовые показатели в обнаружении вредоносного контента, улучшая как точность, так и скорость.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.