AUTOHALLUSION: Generación Automática de Puntos de Referencia para Alucinaciones en Modelos de Visión-Lenguaje

AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

June 16, 2024

Autores: Xiyang Wu, Tianrui Guan, Dianqi Li, Shuaiyi Huang, Xiaoyu Liu, Xijun Wang, Ruiqi Xian, Abhinav Shrivastava, Furong Huang, Jordan Lee Boyd-Graber, Tianyi Zhou, Dinesh Manocha

cs.AI

Resumen

Los grandes modelos de visión-lenguaje (LVLMs, por sus siglas en inglés) alucinan: ciertos indicios contextuales en una imagen pueden desencadenar un razonamiento excesivamente confiado e incorrecto en el módulo de lenguaje sobre objetos anormales o hipotéticos. Aunque se han desarrollado algunos puntos de referencia para investigar las alucinaciones en los LVLMs, estos se basan principalmente en casos límite diseñados manualmente, cuyos patrones de fallo pueden ser difíciles de generalizar, y el ajuste fino sobre ellos podría socavar su validez. Esto nos motiva a desarrollar el primer enfoque de generación automática de puntos de referencia, AUTOHALLUSION, que aprovecha algunas estrategias principales para crear ejemplos diversos de alucinaciones. Este método explora los módulos de lenguaje en los LVLMs en busca de indicios contextuales y los utiliza para sintetizar imágenes mediante: (1) agregar objetos anormales a los indicios contextuales; (2) para dos objetos que suelen co-ocurrir, mantener uno y excluir al otro; o (3) eliminar objetos estrechamente vinculados a los indicios contextuales. Luego, genera preguntas basadas en imágenes cuyas respuestas verdaderas contradicen el conocimiento previo del módulo de lenguaje. Un modelo debe superar los sesgos contextuales y las distracciones para llegar a respuestas correctas, mientras que respuestas incorrectas o inconsistentes indican alucinaciones. AUTOHALLUSION nos permite crear nuevos puntos de referencia con el mínimo costo, superando así la fragilidad de los puntos de referencia diseñados manualmente. También revela patrones y razones comunes de fallo, proporcionando ideas clave para detectar, evitar o controlar las alucinaciones. Evaluaciones exhaustivas de LVLMs de primer nivel, como GPT-4V(isión), Gemini Pro Vision, Claude 3 y LLaVA-1.5, muestran una tasa de éxito del 97.7% y 98.7% en la inducción de alucinaciones en conjuntos de datos sintéticos y del mundo real de AUTOHALLUSION, allanando el camino para una larga batalla contra las alucinaciones.

English

Large vision-language models (LVLMs) hallucinate: certain context cues in an image may trigger the language module's overconfident and incorrect reasoning on abnormal or hypothetical objects. Though a few benchmarks have been developed to investigate LVLM hallucinations, they mainly rely on hand-crafted corner cases whose fail patterns may hardly generalize, and finetuning on them could undermine their validity. These motivate us to develop the first automatic benchmark generation approach, AUTOHALLUSION, that harnesses a few principal strategies to create diverse hallucination examples. It probes the language modules in LVLMs for context cues and uses them to synthesize images by: (1) adding objects abnormal to the context cues; (2) for two co-occurring objects, keeping one and excluding the other; or (3) removing objects closely tied to the context cues. It then generates image-based questions whose ground-truth answers contradict the language module's prior. A model has to overcome contextual biases and distractions to reach correct answers, while incorrect or inconsistent answers indicate hallucinations. AUTOHALLUSION enables us to create new benchmarks at the minimum cost and thus overcomes the fragility of hand-crafted benchmarks. It also reveals common failure patterns and reasons, providing key insights to detect, avoid, or control hallucinations. Comprehensive evaluations of top-tier LVLMs, e.g., GPT-4V(ision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, show a 97.7% and 98.7% success rate of hallucination induction on synthetic and real-world datasets of AUTOHALLUSION, paving the way for a long battle against hallucinations.