VLMGuard: Defendiendo Modelos de Lenguaje de Gran Vocabulario contra Estímulos Maliciosos a través de Datos No Etiquetados

VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data

October 1, 2024

Autores: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes

cs.AI

Resumen

Los modelos visión-lenguaje (VLMs) son esenciales para la comprensión contextual tanto de la información visual como textual. Sin embargo, su vulnerabilidad a entradas manipuladas de forma adversarial presenta riesgos significativos, lo que conlleva a resultados comprometidos y plantea preocupaciones sobre la fiabilidad en las aplicaciones integradas de VLM. Detectar estos estímulos maliciosos es crucial para mantener la confianza en las generaciones de VLM. Un desafío importante en el desarrollo de un clasificador de estímulos de protección es la falta de una gran cantidad de datos etiquetados como benignos y maliciosos. Para abordar el problema, presentamos VLMGuard, un nuevo marco de aprendizaje que aprovecha los estímulos de usuario no etiquetados en la naturaleza para la detección de estímulos maliciosos. Estos estímulos no etiquetados, que surgen naturalmente cuando los VLMs se despliegan en el mundo abierto, contienen información tanto benigna como maliciosa. Para aprovechar los datos no etiquetados, presentamos una puntuación automatizada de estimación de malicia para distinguir entre muestras benignas y maliciosas dentro de esta mezcla no etiquetada, lo que permite el entrenamiento de un clasificador binario de estímulos. Es importante destacar que nuestro marco no requiere anotaciones humanas adicionales, ofreciendo una gran flexibilidad y practicidad para aplicaciones del mundo real. Experimentos extensos muestran que VLMGuard logra resultados de detección superiores, superando significativamente a los métodos de vanguardia. Descargo de responsabilidad: Este documento puede contener ejemplos ofensivos; se recomienda discreción al lector.

English

Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.