DASH: VLMの体系的ハルシネーションの検出と評価

DASH: Detection and Assessment of Systematic Hallucinations of VLMs

March 30, 2025

著者: Maximilian Augustin, Yannic Neuhaus, Matthias Hein

cs.AI

要旨

視覚言語モデル（VLM）は、画像内に特定の物体が存在すると誤って示す「物体幻覚」を起こしやすい傾向があります。既存のベンチマークでは、比較的小規模なラベル付きデータセットを使用して幻覚を定量化しています。しかし、このアプローチには以下の課題があります：i) VLMが広く使用されるオープンワールド設定で発生する幻覚を評価するには不十分であり、ii) VLMの系統的なエラーを検出するには不適切です。本研究では、オープンワールド設定における実世界の画像に対してVLMの系統的な幻覚を特定するための自動化された大規模パイプライン「DASH（Detection and Assessment of Systematic Hallucinations）」を提案します。DASHの重要なコンポーネントとして、画像ベースの検索を行う「DASH-OPT」を開発しました。ここでは、「自然画像多様体」上で最適化を行い、VLMを誤らせる画像を生成します。DASHの出力は、VLMが物体幻覚を起こす実世界の画像と意味的に類似した画像のクラスタで構成されます。DASHをPaliGemmaと2つのLLaVA-NeXTモデルに適用し、380の物体クラスにわたって合計19,000以上のクラスタと950,000枚の画像を発見しました。特定された系統的な幻覚が他のVLMに転移するかどうかを調査し、DASHで得られたモデル固有の画像を用いてPaliGemmaをファインチューニングすることで、物体幻覚を軽減できることを示しました。コードとデータはhttps://YanNeu.github.io/DASHで公開されています。

English

Vision-language models (VLMs) are prone to object hallucinations, where they erroneously indicate the presenceof certain objects in an image. Existing benchmarks quantify hallucinations using relatively small, labeled datasets. However, this approach is i) insufficient to assess hallucinations that arise in open-world settings, where VLMs are widely used, and ii) inadequate for detecting systematic errors in VLMs. We propose DASH (Detection and Assessment of Systematic Hallucinations), an automatic, large-scale pipeline designed to identify systematic hallucinations of VLMs on real-world images in an open-world setting. A key component is DASH-OPT for image-based retrieval, where we optimize over the ''natural image manifold'' to generate images that mislead the VLM. The output of DASH consists of clusters of real and semantically similar images for which the VLM hallucinates an object. We apply DASH to PaliGemma and two LLaVA-NeXT models across 380 object classes and, in total, find more than 19k clusters with 950k images. We study the transfer of the identified systematic hallucinations to other VLMs and show that fine-tuning PaliGemma with the model-specific images obtained with DASH mitigates object hallucinations. Code and data are available at https://YanNeu.github.io/DASH.