Насколько легко обмануть ваши мультимодальные LLM? Эмпирический анализ обманчивых запросов

How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts

February 20, 2024

Авторы: Yusu Qian, Haotian Zhang, Yinfei Yang, Zhe Gan

cs.AI

Аннотация

Заметные достижения в области мультимодальных больших языковых моделей (MLLMs) не сделали их неуязвимыми для проблем, особенно в контексте обработки обманчивой информации в запросах, что приводит к генерации галлюцинированных ответов в таких условиях. Для количественной оценки этой уязвимости мы представляем MAD-Bench — тщательно разработанный бенчмарк, содержащий 850 тестовых примеров, разделенных на 6 категорий, таких как несуществующие объекты, количество объектов, пространственные отношения и визуальные путаницы. Мы проводим всесторонний анализ популярных MLLMs, включая GPT-4V, Gemini-Pro, а также открытые модели, такие как LLaVA-1.5 и CogVLM. Эмпирически мы наблюдаем значительные различия в производительности между GPT-4V и другими моделями; при этом ранее устойчивые модели, настроенные на инструкции, такие как LRV-Instruction и LLaVA-RLHF, неэффективны на этом новом бенчмарке. В то время как GPT-4V достигает точности 75,02% на MAD-Bench, точность любой другой модели в наших экспериментах варьируется от 5% до 35%. Мы также предлагаем решение, которое добавляет дополнительный абзац к обманчивым запросам, чтобы побудить модели задуматься перед ответом на вопрос. Удивительно, но этот простой метод может даже удвоить точность; однако абсолютные значения все еще слишком низки, чтобы быть удовлетворительными. Мы надеемся, что MAD-Bench станет ценным бенчмарком для стимулирования дальнейших исследований, направленных на повышение устойчивости моделей к обманчивым запросам.

English

The remarkable advancements in Multimodal Large Language Models (MLLMs) have not rendered them immune to challenges, particularly in the context of handling deceptive information in prompts, thus producing hallucinated responses under such conditions. To quantitatively assess this vulnerability, we present MAD-Bench, a carefully curated benchmark that contains 850 test samples divided into 6 categories, such as non-existent objects, count of objects, spatial relationship, and visual confusion. We provide a comprehensive analysis of popular MLLMs, ranging from GPT-4V, Gemini-Pro, to open-sourced models, such as LLaVA-1.5 and CogVLM. Empirically, we observe significant performance gaps between GPT-4V and other models; and previous robust instruction-tuned models, such as LRV-Instruction and LLaVA-RLHF, are not effective on this new benchmark. While GPT-4V achieves 75.02% accuracy on MAD-Bench, the accuracy of any other model in our experiments ranges from 5% to 35%. We further propose a remedy that adds an additional paragraph to the deceptive prompts to encourage models to think twice before answering the question. Surprisingly, this simple method can even double the accuracy; however, the absolute numbers are still too low to be satisfactory. We hope MAD-Bench can serve as a valuable benchmark to stimulate further research to enhance models' resilience against deceptive prompts.