AUTOHALLUSION: Automatische Generierung von Halluzinations-Benchmarks für Vision-Sprach-Modelle

AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

June 16, 2024

Autoren: Xiyang Wu, Tianrui Guan, Dianqi Li, Shuaiyi Huang, Xiaoyu Liu, Xijun Wang, Ruiqi Xian, Abhinav Shrivastava, Furong Huang, Jordan Lee Boyd-Graber, Tianyi Zhou, Dinesh Manocha

cs.AI

Zusammenfassung

Große Vision-Sprach-Modelle (LVLMs) halluzinieren: Bestimmte Kontexthinweise in einem Bild können das Sprachmodul dazu veranlassen, übermütig und fehlerhaft auf abnormale oder hypothetische Objekte zu schließen. Obwohl einige Benchmarks entwickelt wurden, um LVLM-Halluzinationen zu untersuchen, basieren sie hauptsächlich auf handgefertigten Grenzfällen, deren Fehlermuster kaum verallgemeinerbar sind, und das Feintuning an ihnen könnte ihre Gültigkeit untergraben. Dies motiviert uns, den ersten automatischen Benchmark-Generierungsansatz, AUTOHALLUSION, zu entwickeln, der einige Hauptstrategien nutzt, um vielfältige Halluzinationsbeispiele zu erstellen. Er sondiert die Sprachmodule in LVLMs nach Kontexthinweisen und verwendet sie, um Bilder zu synthetisieren, indem er: (1) Objekte hinzufügt, die abnorm zu den Kontexthinweisen sind; (2) bei zwei gleichzeitig auftretenden Objekten eines behält und das andere ausschließt; oder (3) Objekte entfernt, die eng mit den Kontexthinweisen verbunden sind. Anschließend generiert er bildbasierte Fragen, deren richtige Antworten im Widerspruch zu den Vorannahmen des Sprachmoduls stehen. Ein Modell muss kontextuelle Voreingenommenheiten und Ablenkungen überwinden, um zu korrekten Antworten zu gelangen, während falsche oder inkonsistente Antworten auf Halluzinationen hinweisen. AUTOHALLUSION ermöglicht es uns, neue Benchmarks mit minimalem Aufwand zu erstellen und überwindet somit die Fragilität handgefertigter Benchmarks. Es zeigt auch häufige Fehlermuster und Gründe auf und liefert wichtige Erkenntnisse, um Halluzinationen zu erkennen, zu vermeiden oder zu kontrollieren. Umfassende Bewertungen von Spitzentechnologie-LVLMs, z. B. GPT-4V(ision), Gemini Pro Vision, Claude 3 und LLaVA-1.5, zeigen eine Erfolgsrate von 97,7% und 98,7% bei der Induktion von Halluzinationen auf synthetischen und realen Datensätzen von AUTOHALLUSION und ebnet so den Weg für einen langen Kampf gegen Halluzinationen.

English

Large vision-language models (LVLMs) hallucinate: certain context cues in an image may trigger the language module's overconfident and incorrect reasoning on abnormal or hypothetical objects. Though a few benchmarks have been developed to investigate LVLM hallucinations, they mainly rely on hand-crafted corner cases whose fail patterns may hardly generalize, and finetuning on them could undermine their validity. These motivate us to develop the first automatic benchmark generation approach, AUTOHALLUSION, that harnesses a few principal strategies to create diverse hallucination examples. It probes the language modules in LVLMs for context cues and uses them to synthesize images by: (1) adding objects abnormal to the context cues; (2) for two co-occurring objects, keeping one and excluding the other; or (3) removing objects closely tied to the context cues. It then generates image-based questions whose ground-truth answers contradict the language module's prior. A model has to overcome contextual biases and distractions to reach correct answers, while incorrect or inconsistent answers indicate hallucinations. AUTOHALLUSION enables us to create new benchmarks at the minimum cost and thus overcomes the fragility of hand-crafted benchmarks. It also reveals common failure patterns and reasons, providing key insights to detect, avoid, or control hallucinations. Comprehensive evaluations of top-tier LVLMs, e.g., GPT-4V(ision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, show a 97.7% and 98.7% success rate of hallucination induction on synthetic and real-world datasets of AUTOHALLUSION, paving the way for a long battle against hallucinations.