VLMGuard: Difesa delle VLM contro le Richieste Dannose tramite Dati non Etichettati

VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data

October 1, 2024

Autori: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes

cs.AI

Abstract

I modelli visione-linguaggio (VLM) sono essenziali per la comprensione contestuale delle informazioni visive e testuali. Tuttavia, la loro vulnerabilità agli input manipolati in modo avversario presenta rischi significativi, che portano a risultati compromessi e sollevano preoccupazioni sulla affidabilità nelle applicazioni integrate VLM. Rilevare questi input dannosi è quindi cruciale per mantenere la fiducia nelle generazioni VLM. Una sfida importante nello sviluppo di un classificatore di prompt di protezione è la mancanza di una grande quantità di dati etichettati benigni e dannosi. Per affrontare il problema, presentiamo VLMGuard, un nuovo framework di apprendimento che sfrutta i prompt degli utenti non etichettati nel mondo reale per la rilevazione di prompt dannosi. Questi prompt non etichettati, che sorgono naturalmente quando i VLM sono implementati nel mondo aperto, contengono informazioni sia benigni che dannose. Per sfruttare i dati non etichettati, presentiamo un punteggio di stima automatica della malizia per distinguere tra campioni benigni e dannosi all'interno di questa miscela non etichettata, consentendo così l'addestramento di un classificatore binario di prompt. In particolare, il nostro framework non richiede annotazioni umane aggiuntive, offrendo una forte flessibilità e praticità per le applicazioni reali. Un ampio esperimento mostra che VLMGuard raggiunge risultati di rilevamento superiori, superando significativamente i metodi all'avanguardia. Nota: Questo articolo potrebbe contenere esempi offensivi; si consiglia discrezione al lettore.

English

Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.