Quanto è facile ingannare i tuoi LLM multimodali? Un'analisi empirica sui prompt ingannevoli

How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts

February 20, 2024

Autori: Yusu Qian, Haotian Zhang, Yinfei Yang, Zhe Gan

cs.AI

Abstract

I notevoli progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs) non li hanno resi immuni alle sfide, in particolare nel contesto della gestione di informazioni ingannevoli nei prompt, producendo così risposte allucinate in tali condizioni. Per valutare quantitativamente questa vulnerabilità, presentiamo MAD-Bench, un benchmark accuratamente curato che contiene 850 campioni di test suddivisi in 6 categorie, come oggetti inesistenti, conteggio di oggetti, relazioni spaziali e confusione visiva. Forniamo un'analisi completa dei modelli MLLM più popolari, che vanno da GPT-4V, Gemini-Pro, a modelli open-source come LLaVA-1.5 e CogVLM. Empiricamente, osserviamo significativi divari di prestazioni tra GPT-4V e gli altri modelli; e i precedenti modelli robusti ottimizzati con istruzioni, come LRV-Instruction e LLaVA-RLHF, non sono efficaci su questo nuovo benchmark. Mentre GPT-4V raggiunge un'accuratezza del 75,02% su MAD-Bench, l'accuratezza di qualsiasi altro modello nei nostri esperimenti varia dal 5% al 35%. Proponiamo inoltre un rimedio che aggiunge un paragrafo aggiuntivo ai prompt ingannevoli per incoraggiare i modelli a riflettere due volte prima di rispondere alla domanda. Sorprendentemente, questo semplice metodo può persino raddoppiare l'accuratezza; tuttavia, i numeri assoluti sono ancora troppo bassi per essere soddisfacenti. Speriamo che MAD-Bench possa servire come un benchmark prezioso per stimolare ulteriori ricerche per migliorare la resilienza dei modelli contro i prompt ingannevoli.

English

The remarkable advancements in Multimodal Large Language Models (MLLMs) have not rendered them immune to challenges, particularly in the context of handling deceptive information in prompts, thus producing hallucinated responses under such conditions. To quantitatively assess this vulnerability, we present MAD-Bench, a carefully curated benchmark that contains 850 test samples divided into 6 categories, such as non-existent objects, count of objects, spatial relationship, and visual confusion. We provide a comprehensive analysis of popular MLLMs, ranging from GPT-4V, Gemini-Pro, to open-sourced models, such as LLaVA-1.5 and CogVLM. Empirically, we observe significant performance gaps between GPT-4V and other models; and previous robust instruction-tuned models, such as LRV-Instruction and LLaVA-RLHF, are not effective on this new benchmark. While GPT-4V achieves 75.02% accuracy on MAD-Bench, the accuracy of any other model in our experiments ranges from 5% to 35%. We further propose a remedy that adds an additional paragraph to the deceptive prompts to encourage models to think twice before answering the question. Surprisingly, this simple method can even double the accuracy; however, the absolute numbers are still too low to be satisfactory. We hope MAD-Bench can serve as a valuable benchmark to stimulate further research to enhance models' resilience against deceptive prompts.