AUTOHALLUSION: ビジョン・ランゲージモデルのための幻覚ベンチマークの自動生成

AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

June 16, 2024

著者: Xiyang Wu, Tianrui Guan, Dianqi Li, Shuaiyi Huang, Xiaoyu Liu, Xijun Wang, Ruiqi Xian, Abhinav Shrivastava, Furong Huang, Jordan Lee Boyd-Graber, Tianyi Zhou, Dinesh Manocha

cs.AI

要旨

大規模視覚言語モデル（LVLM）は幻覚を起こす：画像内の特定の文脈手がかりが、言語モジュールの過信や異常または仮想的な対象に関する誤った推論を引き起こす可能性がある。LVLMの幻覚を調査するためのいくつかのベンチマークが開発されているが、それらは主に手作りされたコーナーケースに依存しており、その失敗パターンは一般化しにくく、それらに基づくファインチューニングはその妥当性を損なう可能性がある。これらを踏まえ、我々は最初の自動ベンチマーク生成アプローチであるAUTOHALLUSIONを開発した。これは、多様な幻覚例を作成するためにいくつかの主要な戦略を活用するものである。AUTOHALLUSIONは、LVLMの言語モジュールを文脈手がかりに対してプローブし、それらを使用して画像を合成する。具体的には、(1) 文脈手がかりに対して異常なオブジェクトを追加する、(2) 共起する2つのオブジェクトのうち1つを保持し、もう1つを除外する、または(3) 文脈手がかりに密接に関連するオブジェクトを削除する。その後、言語モジュールの事前知識と矛盾するグラウンドトゥルース回答を持つ画像ベースの質問を生成する。モデルは、文脈バイアスや注意散漫を克服して正しい回答に到達する必要があり、誤ったまたは一貫しない回答は幻覚を示す。AUTOHALLUSIONは、最小限のコストで新しいベンチマークを作成することを可能にし、手作りベンチマークの脆弱性を克服する。また、一般的な失敗パターンとその理由を明らかにし、幻覚を検出、回避、または制御するための重要な洞察を提供する。GPT-4V(ision)、Gemini Pro Vision、Claude 3、LLaVA-1.5などのトップクラスのLVLMに対する包括的な評価では、AUTOHALLUSIONの合成データセットと実世界データセットにおいて、幻覚誘導の成功率がそれぞれ97.7%と98.7%を示し、幻覚との長い戦いへの道を開いた。

English

Large vision-language models (LVLMs) hallucinate: certain context cues in an image may trigger the language module's overconfident and incorrect reasoning on abnormal or hypothetical objects. Though a few benchmarks have been developed to investigate LVLM hallucinations, they mainly rely on hand-crafted corner cases whose fail patterns may hardly generalize, and finetuning on them could undermine their validity. These motivate us to develop the first automatic benchmark generation approach, AUTOHALLUSION, that harnesses a few principal strategies to create diverse hallucination examples. It probes the language modules in LVLMs for context cues and uses them to synthesize images by: (1) adding objects abnormal to the context cues; (2) for two co-occurring objects, keeping one and excluding the other; or (3) removing objects closely tied to the context cues. It then generates image-based questions whose ground-truth answers contradict the language module's prior. A model has to overcome contextual biases and distractions to reach correct answers, while incorrect or inconsistent answers indicate hallucinations. AUTOHALLUSION enables us to create new benchmarks at the minimum cost and thus overcomes the fragility of hand-crafted benchmarks. It also reveals common failure patterns and reasons, providing key insights to detect, avoid, or control hallucinations. Comprehensive evaluations of top-tier LVLMs, e.g., GPT-4V(ision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, show a 97.7% and 98.7% success rate of hallucination induction on synthetic and real-world datasets of AUTOHALLUSION, paving the way for a long battle against hallucinations.