HallusionBench: あなたは考えるままに見ているのか？それとも見えるままに考えているのか？ GPT-4V(ision)、LLaVA-1.5、その他のマルチモーダルモデルにとって挑戦的な画像-文脈推論ベンチマーク
HallusionBench: You See What You Think? Or You Think What You See? An Image-Context Reasoning Benchmark Challenging for GPT-4V(ision), LLaVA-1.5, and Other Multi-modality Models
October 23, 2023
著者: Fuxiao Liu, Tianrui Guan, Zongxia Li, Lichang Chen, Yaser Yacoob, Dinesh Manocha, Tianyi Zhou
cs.AI
要旨
大規模言語モデル（LLMs）は、視覚モデルと整合させて視覚言語モデル（VLMs）に統合された後、画像推論タスクにおいて印象的な改善をもたらすことができます。これは、最近リリースされたGPT-4V(ison)やLLaVA-1.5などによって示されました。しかし、これらの最先端のLVLMsにおける強力な言語事前知識は諸刃の剣となり得ます：画像の文脈を無視し、言語事前知識（たとえ矛盾していても）のみに依存して推論を行う可能性があります。一方で、VLMsの視覚モジュールはLLMsよりも弱く、誤った視覚表現を生成する可能性があり、それがLLMsによって自信を持った誤りに変換されることがあります。これらの2種類のVLMの誤り、すなわち言語幻覚と視覚錯覚を研究するために、私たちはHallusionBenchを策定しました。これは、GPT-4VやLLaVA-1.5にとってもまだ挑戦的な画像文脈推論ベンチマークです。HallusionBenchの例を詳細に分析し、VLMsの錯覚や幻覚について新たな洞察を提供し、将来の改善方法を示します。ベンチマークとコードベースはhttps://github.com/tianyi-lab/HallusionBenchで公開されます。
English
Large language models (LLMs), after being aligned with vision models and
integrated into vision-language models (VLMs), can bring impressive improvement
in image reasoning tasks. This was shown by the recently released GPT-4V(ison),
LLaVA-1.5, etc. However, the strong language prior in these SOTA LVLMs can be a
double-edged sword: they may ignore the image context and solely rely on the
(even contradictory) language prior for reasoning. In contrast, the vision
modules in VLMs are weaker than LLMs and may result in misleading visual
representations, which are then translated to confident mistakes by LLMs. To
study these two types of VLM mistakes, i.e., language hallucination and visual
illusion, we curated HallusionBench, an image-context reasoning benchmark that
is still challenging to even GPT-4V and LLaVA-1.5. We provide a detailed
analysis of examples in HallusionBench, which sheds novel insights on the
illusion or hallucination of VLMs and how to improve them in the future. The
benchmark and codebase will be released at
https://github.com/tianyi-lab/HallusionBench.