Hoe eenvoudig is het om uw multimodale LLM's te misleiden? Een empirische analyse van misleidende prompts

How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts

February 20, 2024

Auteurs: Yusu Qian, Haotian Zhang, Yinfei Yang, Zhe Gan

cs.AI

Samenvatting

De opmerkelijke vooruitgang in Multimodale Grote Taalmodellen (MLLMs) heeft hen niet immuun gemaakt voor uitdagingen, met name in de context van het omgaan met misleidende informatie in prompts, wat resulteert in hallucinerende antwoorden onder dergelijke omstandigheden. Om deze kwetsbaarheid kwantitatief te beoordelen, presenteren we MAD-Bench, een zorgvuldig samengestelde benchmark die 850 testvoorbeelden bevat, verdeeld in 6 categorieën, zoals niet-bestaande objecten, aantal objecten, ruimtelijke relaties en visuele verwarring. We bieden een uitgebreide analyse van populaire MLLMs, variërend van GPT-4V, Gemini-Pro, tot open-source modellen zoals LLaVA-1.5 en CogVLM. Empirisch observeren we aanzienlijke prestatieverschillen tussen GPT-4V en andere modellen; en eerder robuuste instructie-getrainde modellen, zoals LRV-Instruction en LLaVA-RLHF, zijn niet effectief op deze nieuwe benchmark. Terwijl GPT-4V een nauwkeurigheid van 75,02% behaalt op MAD-Bench, varieert de nauwkeurigheid van elk ander model in onze experimenten van 5% tot 35%. We stellen verder een oplossing voor die een extra paragraaf toevoegt aan de misleidende prompts om modellen aan te moedigen twee keer na te denken voordat ze de vraag beantwoorden. Verrassend genoeg kan deze eenvoudige methode de nauwkeurigheid zelfs verdubbelen; echter, de absolute aantallen zijn nog steeds te laag om bevredigend te zijn. We hopen dat MAD-Bench kan dienen als een waardevolle benchmark om verder onderzoek te stimuleren om de veerkracht van modellen tegen misleidende prompts te verbeteren.

English

The remarkable advancements in Multimodal Large Language Models (MLLMs) have not rendered them immune to challenges, particularly in the context of handling deceptive information in prompts, thus producing hallucinated responses under such conditions. To quantitatively assess this vulnerability, we present MAD-Bench, a carefully curated benchmark that contains 850 test samples divided into 6 categories, such as non-existent objects, count of objects, spatial relationship, and visual confusion. We provide a comprehensive analysis of popular MLLMs, ranging from GPT-4V, Gemini-Pro, to open-sourced models, such as LLaVA-1.5 and CogVLM. Empirically, we observe significant performance gaps between GPT-4V and other models; and previous robust instruction-tuned models, such as LRV-Instruction and LLaVA-RLHF, are not effective on this new benchmark. While GPT-4V achieves 75.02% accuracy on MAD-Bench, the accuracy of any other model in our experiments ranges from 5% to 35%. We further propose a remedy that adds an additional paragraph to the deceptive prompts to encourage models to think twice before answering the question. Surprisingly, this simple method can even double the accuracy; however, the absolute numbers are still too low to be satisfactory. We hope MAD-Bench can serve as a valuable benchmark to stimulate further research to enhance models' resilience against deceptive prompts.