Quão Fácil é Enganar Seus LLMs Multimodais? Uma Análise Empírica sobre Prompts Enganosos

How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts

February 20, 2024

Autores: Yusu Qian, Haotian Zhang, Yinfei Yang, Zhe Gan

cs.AI

Resumo

Os notáveis avanços nos Modelos de Linguagem Multimodais de Grande Escala (MLLMs) não os tornaram imunes a desafios, especialmente no contexto de lidar com informações enganosas em prompts, produzindo assim respostas alucinadas sob tais condições. Para avaliar quantitativamente essa vulnerabilidade, apresentamos o MAD-Bench, um benchmark cuidadosamente elaborado que contém 850 amostras de teste divididas em 6 categorias, como objetos inexistentes, contagem de objetos, relação espacial e confusão visual. Fornecemos uma análise abrangente de MLLMs populares, desde GPT-4V e Gemini-Pro até modelos de código aberto, como LLaVA-1.5 e CogVLM. Empiricamente, observamos lacunas significativas de desempenho entre o GPT-4V e outros modelos; e modelos robustos ajustados por instrução anteriores, como LRV-Instruction e LLaVA-RLHF, não são eficazes neste novo benchmark. Enquanto o GPT-4V alcança 75,02% de precisão no MAD-Bench, a precisão de qualquer outro modelo em nossos experimentos varia de 5% a 35%. Propomos ainda um remédio que adiciona um parágrafo adicional aos prompts enganosos para encorajar os modelos a pensarem duas vezes antes de responder à pergunta. Surpreendentemente, esse método simples pode até dobrar a precisão; no entanto, os números absolutos ainda são muito baixos para serem satisfatórios. Esperamos que o MAD-Bench possa servir como um benchmark valioso para estimular mais pesquisas visando aumentar a resiliência dos modelos contra prompts enganosos.

English

The remarkable advancements in Multimodal Large Language Models (MLLMs) have not rendered them immune to challenges, particularly in the context of handling deceptive information in prompts, thus producing hallucinated responses under such conditions. To quantitatively assess this vulnerability, we present MAD-Bench, a carefully curated benchmark that contains 850 test samples divided into 6 categories, such as non-existent objects, count of objects, spatial relationship, and visual confusion. We provide a comprehensive analysis of popular MLLMs, ranging from GPT-4V, Gemini-Pro, to open-sourced models, such as LLaVA-1.5 and CogVLM. Empirically, we observe significant performance gaps between GPT-4V and other models; and previous robust instruction-tuned models, such as LRV-Instruction and LLaVA-RLHF, are not effective on this new benchmark. While GPT-4V achieves 75.02% accuracy on MAD-Bench, the accuracy of any other model in our experiments ranges from 5% to 35%. We further propose a remedy that adds an additional paragraph to the deceptive prompts to encourage models to think twice before answering the question. Surprisingly, this simple method can even double the accuracy; however, the absolute numbers are still too low to be satisfactory. We hope MAD-Bench can serve as a valuable benchmark to stimulate further research to enhance models' resilience against deceptive prompts.