VLSBench: Раскрытие визуальных утечек в мультимодальной безопасности

VLSBench: Unveiling Visual Leakage in Multimodal Safety

November 29, 2024

Авторы: Xuhao Hu, Dongrui Liu, Hao Li, Xuanjing Huang, Jing Shao

cs.AI

Аннотация

Проблемы безопасности мультимодальных моделей крупного размера (MLLM) постепенно стали важной проблемой в различных областях применения. Удивительно, что предыдущие работы указывают на контринтуитивное явление, что использование текстового забывания для выравнивания MLLM достигает сравнимых показателей безопасности с MLLM, обученными с парами изображение-текст. Для объяснения такого контринтуитивного явления мы обнаружили проблему утечки визуальной информации о безопасности (VSIL) в существующих мультимодальных бенчмарках безопасности, то есть потенциально рискованный и чувствительный контент на изображении был раскрыт в текстовом запросе. Таким образом, MLLM могут легко отклонять эти чувствительные текстово-изображенческие запросы в соответствии с текстовыми запросами. Однако пары изображение-текст без VSIL распространены в реальных сценариях и игнорируются существующими мультимодальными бенчмарками безопасности. Для этого мы создали мультимодальный визуальный бенчмарк без утечки безопасности (VLSBench), предотвращающий утечку визуальной безопасности от изображения к текстовому запросу с 2,4 тыс. парами изображение-текст. Экспериментальные результаты показывают, что VLSBench представляет собой значительное испытание как для открытых, так и для закрытых MLLM, включая LLaVA, Qwen2-VL, Llama3.2-Vision и GPT-4o. Это исследование демонстрирует, что текстовое выравнивание достаточно для мультимодальных сценариев безопасности с VSIL, в то время как мультимодальное выравнивание является более перспективным решением для мультимодальных сценариев без VSIL. Пожалуйста, ознакомьтесь с нашим кодом и данными по ссылке: http://hxhcreate.github.io/VLSBench

English

Safety concerns of Multimodal large language models (MLLMs) have gradually become an important problem in various applications. Surprisingly, previous works indicate a counter-intuitive phenomenon that using textual unlearning to align MLLMs achieves comparable safety performances with MLLMs trained with image-text pairs. To explain such a counter-intuitive phenomenon, we discover a visual safety information leakage (VSIL) problem in existing multimodal safety benchmarks, i.e., the potentially risky and sensitive content in the image has been revealed in the textual query. In this way, MLLMs can easily refuse these sensitive text-image queries according to textual queries. However, image-text pairs without VSIL are common in real-world scenarios and are overlooked by existing multimodal safety benchmarks. To this end, we construct multimodal visual leakless safety benchmark (VLSBench) preventing visual safety leakage from image to textual query with 2.4k image-text pairs. Experimental results indicate that VLSBench poses a significant challenge to both open-source and close-source MLLMs, including LLaVA, Qwen2-VL, Llama3.2-Vision, and GPT-4o. This study demonstrates that textual alignment is enough for multimodal safety scenarios with VSIL, while multimodal alignment is a more promising solution for multimodal safety scenarios without VSIL. Please see our code and data at: http://hxhcreate.github.io/VLSBench