VLMGuard: Defendendo VLMs contra Prompts Maliciosos por meio de Dados Não Rotulados

VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data

October 1, 2024

Autores: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes

cs.AI

Resumo

Os modelos de visão e linguagem (VLMs) são essenciais para a compreensão contextual de informações visuais e textuais. No entanto, sua vulnerabilidade a entradas manipuladas de forma adversarial apresenta riscos significativos, resultando em saídas comprometidas e levantando preocupações sobre a confiabilidade nas aplicações integradas de VLM. Detectar esses estímulos maliciosos é, portanto, crucial para manter a confiança nas gerações de VLM. Um grande desafio no desenvolvimento de um classificador de estímulos de proteção é a falta de uma grande quantidade de dados rotulados como benignos e maliciosos. Para abordar o problema, apresentamos o VLMGuard, um novo framework de aprendizado que aproveita os estímulos de usuários não rotulados no ambiente selvagem para detecção de estímulos maliciosos. Esses estímulos não rotulados, que surgem naturalmente quando os VLMs são implantados no mundo aberto, consistem em informações benignas e maliciosas. Para aproveitar os dados não rotulados, apresentamos uma pontuação automatizada de estimativa de malícia para distinguir entre amostras benignas e maliciosas dentro dessa mistura não rotulada, permitindo assim o treinamento de um classificador binário de estímulos. Notavelmente, nosso framework não requer anotações humanas adicionais, oferecendo forte flexibilidade e praticidade para aplicações do mundo real. Experimentos extensos mostram que o VLMGuard alcança resultados de detecção superiores, superando significativamente os métodos de ponta. Aviso Legal: Este artigo pode conter exemplos ofensivos; a discrição do leitor é aconselhada.

English

Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.