HallusionBench: Vedi ciò che pensi? O pensi ciò che vedi? Un benchmark di ragionamento contestuale su immagini che mette alla prova GPT-4V(ision), LLaVA-1.5 e altri modelli multimodali.

HallusionBench: You See What You Think? Or You Think What You See? An Image-Context Reasoning Benchmark Challenging for GPT-4V(ision), LLaVA-1.5, and Other Multi-modality Models

October 23, 2023

Autori: Fuxiao Liu, Tianrui Guan, Zongxia Li, Lichang Chen, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou

cs.AI

Abstract

I grandi modelli linguistici (LLM), dopo essere stati allineati con modelli visivi e integrati in modelli visione-linguaggio (VLM), possono portare a notevoli miglioramenti nelle attività di ragionamento sulle immagini. Questo è stato dimostrato dai recenti modelli rilasciati come GPT-4V(ison) e LLaVA-1.5. Tuttavia, il forte prior linguistico presente in questi VLM all'avanguardia può essere un'arma a doppio taglio: potrebbero ignorare il contesto dell'immagine e basarsi esclusivamente sul prior linguistico (anche se contraddittorio) per il ragionamento. Al contrario, i moduli visivi nei VLM sono più deboli rispetto agli LLM e possono portare a rappresentazioni visive fuorvianti, che vengono poi tradotte in errori sicuri dagli LLM. Per studiare questi due tipi di errori nei VLM, ovvero l'allucinazione linguistica e l'illusione visiva, abbiamo creato HallusionBench, un benchmark di ragionamento contestuale sulle immagini che risulta ancora impegnativo persino per GPT-4V e LLaVA-1.5. Forniamo un'analisi dettagliata degli esempi in HallusionBench, che offre nuove intuizioni sulle illusioni o allucinazioni dei VLM e su come migliorarli in futuro. Il benchmark e il codice saranno rilasciati su https://github.com/tianyi-lab/HallusionBench.

English

Large language models (LLMs), after being aligned with vision models and integrated into vision-language models (VLMs), can bring impressive improvement in image reasoning tasks. This was shown by the recently released GPT-4V(ison), LLaVA-1.5, etc. However, the strong language prior in these SOTA LVLMs can be a double-edged sword: they may ignore the image context and solely rely on the (even contradictory) language prior for reasoning. In contrast, the vision modules in VLMs are weaker than LLMs and may result in misleading visual representations, which are then translated to confident mistakes by LLMs. To study these two types of VLM mistakes, i.e., language hallucination and visual illusion, we curated HallusionBench, an image-context reasoning benchmark that is still challenging to even GPT-4V and LLaVA-1.5. We provide a detailed analysis of examples in HallusionBench, which sheds novel insights on the illusion or hallucination of VLMs and how to improve them in the future. The benchmark and codebase will be released at https://github.com/tianyi-lab/HallusionBench.