АВТОГАЛЛЮЦИНАЦИЯ: Автоматическое создание бенчмарков галлюцинаций для моделей видео-языкового восприятия

AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

June 16, 2024

Авторы: Xiyang Wu, Tianrui Guan, Dianqi Li, Shuaiyi Huang, Xiaoyu Liu, Xijun Wang, Ruiqi Xian, Abhinav Shrivastava, Furong Huang, Jordan Lee Boyd-Graber, Tianyi Zhou, Dinesh Manocha

cs.AI

Аннотация

Большие модели видео-языка (LVLM) галлюцинируют: определенные контекстные подсказки на изображении могут вызывать чрезмерно уверенное и неверное рассуждение языкового модуля о ненормальных или гипотетических объектах. Хотя было разработано несколько эталонов для изучения галлюцинаций в LVLM, они в основном опираются на созданные вручную крайние случаи, чьи сбои могут едва ли обобщаться, и их донастройка может подорвать их достоверность. Это побудило нас разработать первый автоматический подход к созданию эталонов, AUTOHALLUSION, который использует несколько основных стратегий для создания разнообразных примеров галлюцинаций. Он исследует языковые модули в LVLM для обнаружения контекстных подсказок и использует их для синтеза изображений путем: (1) добавления объектов, несоответствующих контекстным подсказкам; (2) для двух совпадающих объектов сохраняет один и исключает другой; или (3) удаляет объекты, тесно связанные с контекстными подсказками. Затем он генерирует вопросы на основе изображений, ответы на которые противоречат предыдущим выводам языкового модуля. Модель должна преодолеть контекстные предвзятости и отвлечения, чтобы добраться до правильных ответов, в то время как неверные или несогласованные ответы указывают на галлюцинации. AUTOHALLUSION позволяет нам создавать новые эталоны при минимальных затратах и тем самым преодолевать хрупкость созданных вручную эталонов. Он также раскрывает общие сценарии и причины сбоев, предоставляя ключевые идеи для обнаружения, предотвращения или управления галлюцинациями. Комплексные оценки лучших моделей LVLM, например, GPT-4V(ision), Gemini Pro Vision, Claude 3 и LLaVA-1.5, показывают успех в 97,7% и 98,7% индукции галлюцинаций на синтетических и реальных наборах данных AUTOHALLUSION, что открывает путь к долгой борьбе с галлюцинациями.

English

Large vision-language models (LVLMs) hallucinate: certain context cues in an image may trigger the language module's overconfident and incorrect reasoning on abnormal or hypothetical objects. Though a few benchmarks have been developed to investigate LVLM hallucinations, they mainly rely on hand-crafted corner cases whose fail patterns may hardly generalize, and finetuning on them could undermine their validity. These motivate us to develop the first automatic benchmark generation approach, AUTOHALLUSION, that harnesses a few principal strategies to create diverse hallucination examples. It probes the language modules in LVLMs for context cues and uses them to synthesize images by: (1) adding objects abnormal to the context cues; (2) for two co-occurring objects, keeping one and excluding the other; or (3) removing objects closely tied to the context cues. It then generates image-based questions whose ground-truth answers contradict the language module's prior. A model has to overcome contextual biases and distractions to reach correct answers, while incorrect or inconsistent answers indicate hallucinations. AUTOHALLUSION enables us to create new benchmarks at the minimum cost and thus overcomes the fragility of hand-crafted benchmarks. It also reveals common failure patterns and reasons, providing key insights to detect, avoid, or control hallucinations. Comprehensive evaluations of top-tier LVLMs, e.g., GPT-4V(ision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, show a 97.7% and 98.7% success rate of hallucination induction on synthetic and real-world datasets of AUTOHALLUSION, paving the way for a long battle against hallucinations.