AUTOHALLUSION : Génération automatique de benchmarks d'hallucinations pour les modèles vision-langage

AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

June 16, 2024

Auteurs: Xiyang Wu, Tianrui Guan, Dianqi Li, Shuaiyi Huang, Xiaoyu Liu, Xijun Wang, Ruiqi Xian, Abhinav Shrivastava, Furong Huang, Jordan Lee Boyd-Graber, Tianyi Zhou, Dinesh Manocha

cs.AI

Résumé

Les grands modèles vision-langage (LVLMs) hallucinent : certains indices contextuels dans une image peuvent déclencher un raisonnement excessivement confiant et incorrect du module linguistique sur des objets anormaux ou hypothétiques. Bien que quelques benchmarks aient été développés pour étudier les hallucinations des LVLMs, ils reposent principalement sur des cas limites conçus manuellement, dont les schémas d'échec peuvent difficilement se généraliser, et un ajustement fin sur ceux-ci pourrait compromettre leur validité. Cela nous motive à développer la première approche de génération automatique de benchmarks, AUTOHALLUSION, qui exploite quelques stratégies principales pour créer des exemples diversifiés d'hallucinations. Elle sonde les modules linguistiques des LVLMs pour détecter les indices contextuels et les utilise pour synthétiser des images en : (1) ajoutant des objets anormaux par rapport aux indices contextuels ; (2) pour deux objets co-occurrents, en conservant un et en excluant l'autre ; ou (3) en supprimant des objets étroitement liés aux indices contextuels. Elle génère ensuite des questions basées sur les images dont les réponses de référence contredisent les préconceptions du module linguistique. Un modèle doit surmonter les biais contextuels et les distractions pour fournir des réponses correctes, tandis que des réponses incorrectes ou incohérentes indiquent des hallucinations. AUTOHALLUSION nous permet de créer de nouveaux benchmarks à moindre coût et surmonte ainsi la fragilité des benchmarks conçus manuellement. Elle révèle également des schémas et des raisons d'échec courants, fournissant des insights clés pour détecter, éviter ou contrôler les hallucinations. Des évaluations complètes des LVLMs de premier plan, tels que GPT-4V(ision), Gemini Pro Vision, Claude 3 et LLaVA-1.5, montrent un taux de réussite de 97,7 % et 98,7 % dans l'induction d'hallucinations sur les ensembles de données synthétiques et réels d'AUTOHALLUSION, ouvrant la voie à une lutte de longue haleine contre les hallucinations.

English

Large vision-language models (LVLMs) hallucinate: certain context cues in an image may trigger the language module's overconfident and incorrect reasoning on abnormal or hypothetical objects. Though a few benchmarks have been developed to investigate LVLM hallucinations, they mainly rely on hand-crafted corner cases whose fail patterns may hardly generalize, and finetuning on them could undermine their validity. These motivate us to develop the first automatic benchmark generation approach, AUTOHALLUSION, that harnesses a few principal strategies to create diverse hallucination examples. It probes the language modules in LVLMs for context cues and uses them to synthesize images by: (1) adding objects abnormal to the context cues; (2) for two co-occurring objects, keeping one and excluding the other; or (3) removing objects closely tied to the context cues. It then generates image-based questions whose ground-truth answers contradict the language module's prior. A model has to overcome contextual biases and distractions to reach correct answers, while incorrect or inconsistent answers indicate hallucinations. AUTOHALLUSION enables us to create new benchmarks at the minimum cost and thus overcomes the fragility of hand-crafted benchmarks. It also reveals common failure patterns and reasons, providing key insights to detect, avoid, or control hallucinations. Comprehensive evaluations of top-tier LVLMs, e.g., GPT-4V(ision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, show a 97.7% and 98.7% success rate of hallucination induction on synthetic and real-world datasets of AUTOHALLUSION, paving the way for a long battle against hallucinations.