HallusionBench: Siehst du, was du denkst? Oder denkst du, was du siehst? Ein Bild-Kontext-Verständnis-Benchmark, der GPT-4V(ision), LLaVA-1.5 und andere multimodale Modelle herausfordert.

HallusionBench: You See What You Think? Or You Think What You See? An Image-Context Reasoning Benchmark Challenging for GPT-4V(ision), LLaVA-1.5, and Other Multi-modality Models

October 23, 2023

Autoren: Fuxiao Liu, Tianrui Guan, Zongxia Li, Lichang Chen, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), nachdem sie mit Vision-Modellen abgestimmt und in Vision-Sprach-Modelle (VLMs) integriert wurden, können beeindruckende Verbesserungen bei Bildverständnisaufgaben bewirken. Dies wurde durch die kürzlich veröffentlichten Modelle GPT-4V(ison) und LLaVA-1.5 gezeigt. Allerdings kann der starke Sprachprior in diesen State-of-the-Art LVLMs ein zweischneidiges Schwert sein: Sie könnten den Bildkontext ignorieren und sich ausschließlich auf den (möglicherweise widersprüchlichen) Sprachprior für die Schlussfolgerung verlassen. Im Gegensatz dazu sind die Vision-Module in VLMs schwächer als LLMs und können zu irreführenden visuellen Darstellungen führen, die dann von den LLMs in selbstbewusste Fehler übersetzt werden. Um diese beiden Arten von VLM-Fehlern, nämlich Sprachhalluzination und visuelle Illusion, zu untersuchen, haben wir HallusionBench entwickelt, einen Benchmark für Bildkontextverständnis, der selbst für GPT-4V und LLaVA-1.5 noch herausfordernd ist. Wir bieten eine detaillierte Analyse der Beispiele in HallusionBench, die neue Einblicke in die Illusionen oder Halluzinationen von VLMs liefert und wie sie in Zukunft verbessert werden können. Der Benchmark und die Codebasis werden unter https://github.com/tianyi-lab/HallusionBench veröffentlicht.

English

Large language models (LLMs), after being aligned with vision models and integrated into vision-language models (VLMs), can bring impressive improvement in image reasoning tasks. This was shown by the recently released GPT-4V(ison), LLaVA-1.5, etc. However, the strong language prior in these SOTA LVLMs can be a double-edged sword: they may ignore the image context and solely rely on the (even contradictory) language prior for reasoning. In contrast, the vision modules in VLMs are weaker than LLMs and may result in misleading visual representations, which are then translated to confident mistakes by LLMs. To study these two types of VLM mistakes, i.e., language hallucination and visual illusion, we curated HallusionBench, an image-context reasoning benchmark that is still challenging to even GPT-4V and LLaVA-1.5. We provide a detailed analysis of examples in HallusionBench, which sheds novel insights on the illusion or hallucination of VLMs and how to improve them in the future. The benchmark and codebase will be released at https://github.com/tianyi-lab/HallusionBench.