VLMGuard: Verdediging van VLM's tegen kwaadaardige prompts via ongelabelde gegevens

VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data

October 1, 2024

Auteurs: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes

cs.AI

Samenvatting

Visie-taalmodellen (VLM's) zijn essentieel voor contextueel begrip van zowel visuele als tekstuele informatie. Hun kwetsbaarheid voor kwaadaardig gemanipuleerde invoer brengt echter aanzienlijke risico's met zich mee, leidend tot gecompromitteerde resultaten en zorgen over de betrouwbaarheid van VLM-geïntegreerde toepassingen. Het detecteren van deze kwaadaardige prompts is dus cruciaal voor het behouden van vertrouwen in VLM-generaties. Een belangrijke uitdaging bij het ontwikkelen van een beschermende prompt-classifier is het gebrek aan een grote hoeveelheid gelabelde onschuldige en kwaadaardige gegevens. Om dit probleem aan te pakken, introduceren we VLMGuard, een nieuw leerframework dat gebruikmaakt van de ongelabelde gebruikersprompts in het wild voor de detectie van kwaadaardige prompts. Deze ongelabelde prompts, die natuurlijk ontstaan wanneer VLM's in de open wereld worden ingezet, bestaan uit zowel onschuldige als kwaadaardige informatie. Om de ongelabelde gegevens te benutten, presenteren we een geautomatiseerde kwaadaardigheidsschattingsscore om onderscheid te maken tussen onschuldige en kwaadaardige voorbeelden binnen deze ongelabelde mix, waardoor het trainen van een binaire prompt-classifier mogelijk wordt. Opmerkelijk genoeg vereist ons framework geen extra menselijke annotaties, wat sterke flexibiliteit en praktisch nut biedt voor real-world toepassingen. Uitgebreid experiment toont aan dat VLMGuard superieure detectieresultaten behaalt en aanzienlijk beter presteert dan state-of-the-art methoden. Disclaimer: Dit artikel kan aanstootgevende voorbeelden bevatten; lezersdiscretie is geadviseerd.

English

Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.