VLMGuard: Защита VLM от вредоносных подсказок с использованием неразмеченных данных

VLMGuard: Defending VLMs against Malicious Prompts via Unlabeled Data

October 1, 2024

Авторы: Xuefeng Du, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor Carvalho, Emily Lawton, Yixuan Li, Jack W. Stokes

cs.AI

Аннотация

Модели видео-языка (VLM) необходимы для контекстного понимания как визуальной, так и текстовой информации. Однако их уязвимость к злонамеренно измененным входным данным представляет значительные риски, приводя к скомпрометированным результатам и вызывая опасения относительно надежности в приложениях, интегрированных с VLM. Обнаружение этих вредоносных подсказок является критически важным для поддержания доверия к генерациям VLM. Одним из основных вызовов при разработке классификатора защитных подсказок является отсутствие большого количества размеченных доброкачественных и вредоносных данных. Для решения этой проблемы мы представляем VLMGuard, новую обучающую структуру, которая использует неразмеченные пользовательские подсказки в дикой природе для обнаружения вредоносных подсказок. Эти неразмеченные подсказки, которые естественным образом возникают при развертывании VLM в открытом мире, содержат как доброкачественную, так и вредоносную информацию. Для использования неразмеченных данных мы представляем автоматический показатель оценки вредоносности для различения между доброкачественными и вредоносными образцами в этой неразмеченной смеси, что позволяет обучать бинарный классификатор подсказок. Следует отметить, что наша структура не требует дополнительных аннотаций людей, обеспечивая высокую гибкость и практичность для прикладных задач в реальном мире. Обширный эксперимент показывает, что VLMGuard достигает превосходных результатов обнаружения, значительно превосходя современные методы. Отказ от ответственности: в данной статье могут присутствовать оскорбительные примеры; рекомендуется осторожность читателям.

English

Vision-language models (VLMs) are essential for contextual understanding of both visual and textual information. However, their vulnerability to adversarially manipulated inputs presents significant risks, leading to compromised outputs and raising concerns about the reliability in VLM-integrated applications. Detecting these malicious prompts is thus crucial for maintaining trust in VLM generations. A major challenge in developing a safeguarding prompt classifier is the lack of a large amount of labeled benign and malicious data. To address the issue, we introduce VLMGuard, a novel learning framework that leverages the unlabeled user prompts in the wild for malicious prompt detection. These unlabeled prompts, which naturally arise when VLMs are deployed in the open world, consist of both benign and malicious information. To harness the unlabeled data, we present an automated maliciousness estimation score for distinguishing between benign and malicious samples within this unlabeled mixture, thereby enabling the training of a binary prompt classifier on top. Notably, our framework does not require extra human annotations, offering strong flexibility and practicality for real-world applications. Extensive experiment shows VLMGuard achieves superior detection results, significantly outperforming state-of-the-art methods. Disclaimer: This paper may contain offensive examples; reader discretion is advised.