VLMGuard: Verteidigung von VLMs gegen bösartige Eingaben mittels unbeschrifteter Daten

VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data

October 1, 2024

Autoren: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) sind entscheidend für das kontextuelle Verständnis von visuellen und textuellen Informationen. Allerdings birgt ihre Anfälligkeit für adversarial manipulierte Eingaben erhebliche Risiken, die zu beeinträchtigten Ergebnissen führen und Bedenken hinsichtlich der Zuverlässigkeit von VLM-integrierten Anwendungen aufwerfen. Die Erkennung dieser bösartigen Eingaben ist daher entscheidend, um das Vertrauen in die VLM-Generierungen aufrechtzuerhalten. Eine große Herausforderung bei der Entwicklung eines Schutzpromptklassifizierers besteht in dem Mangel an einer großen Menge an gekennzeichneten gutartigen und bösartigen Daten. Um dieses Problem anzugehen, stellen wir VLMGuard vor, ein neuartiges Lernframework, das die nicht gekennzeichneten Benutzerprompts in freier Wildbahn zur bösartigen Prompterkennung nutzt. Diese nicht gekennzeichneten Prompts, die natürlich auftreten, wenn VLMs in der realen Welt eingesetzt werden, bestehen aus sowohl gutartigen als auch bösartigen Informationen. Um die nicht gekennzeichneten Daten zu nutzen, präsentieren wir einen automatisierten Schätzwert für die Bösartigkeit zur Unterscheidung zwischen gutartigen und bösartigen Proben innerhalb dieser nicht gekennzeichneten Mischung, wodurch das Training eines binären Promptklassifizierers ermöglicht wird. Bemerkenswert ist, dass unser Framework keine zusätzlichen menschlichen Annotationen erfordert und eine hohe Flexibilität und Praktikabilität für Anwendungen in der realen Welt bietet. Umfangreiche Experimente zeigen, dass VLMGuard überlegene Erkennungsergebnisse erzielt und deutlich besser abschneidet als aktuelle Methoden. Haftungsausschluss: Dieses Papier kann anstößige Beispiele enthalten; Leserinnen und Leser werden um Diskretion gebeten.

English

Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.