ELV-Halluc: Evaluación de Alucinaciones de Agregación Semántica en la Comprensión de Videos Largos

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Long Video Understanding

August 29, 2025

Autores: Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu

cs.AI

Resumen

Los modelos de lenguaje multimodal de video (Video-MLLMs) han logrado avances notables en la comprensión de videos. Sin embargo, siguen siendo vulnerables a la generación de contenido alucinatorio que es inconsistente o no relacionado con las entradas de video. Los benchmarks anteriores sobre alucinaciones en video se centran principalmente en videos cortos. Atribuyen las alucinaciones a factores como fuertes prioridades del lenguaje, fotogramas faltantes o sesgos visión-lenguaje introducidos por el codificador visual. Si bien estas causas explican la mayoría de las alucinaciones en videos cortos, aún simplifican en exceso el origen de las alucinaciones. En ocasiones, los modelos generan salidas incorrectas pero con semántica correcta a nivel de fotograma. Nos referimos a este tipo de alucinación como Alucinación por Agregación Semántica (SAH, por sus siglas en inglés), que surge durante el proceso de agregar semántica a nivel de fotograma en grupos semánticos a nivel de evento. Dado que la SAH se vuelve particularmente crítica en videos largos debido a la mayor complejidad semántica en múltiples eventos, es esencial separar e investigar exhaustivamente las causas de este tipo de alucinación. Para abordar estos problemas, presentamos ELV-Halluc, el primer benchmark dedicado a la alucinación en videos largos, que permite una investigación sistemática de la SAH. Nuestros experimentos confirman la existencia de la SAH y muestran que aumenta con la complejidad semántica. Además, encontramos que los modelos son más propensos a la SAH en semánticas que cambian rápidamente. Asimismo, discutimos enfoques potenciales para mitigar la SAH. Demostramos que la estrategia de codificación posicional contribuye a aliviar la SAH y adoptamos además la estrategia DPO para mejorar la capacidad del modelo para distinguir semánticas dentro y entre eventos. Para respaldar esto, hemos creado un conjunto de datos de 8K pares de datos adversarios y logramos mejoras tanto en ELV-Halluc como en Video-MME, incluyendo una reducción sustancial del 27.7% en la tasa de SAH.

English

Video multimodal large language models (Video-MLLMs) have achieved remarkable progress in video understanding. However, they remain vulnerable to hallucination-producing content inconsistent with or unrelated to video inputs. Previous video hallucination benchmarks primarily focus on short-videos. They attribute hallucinations to factors such as strong language priors, missing frames, or vision-language biases introduced by the visual encoder. While these causes indeed account for most hallucinations in short videos, they still oversimplify the cause of hallucinations. Sometimes, models generate incorrect outputs but with correct frame-level semantics. We refer to this type of hallucination as Semantic Aggregation Hallucination (SAH), which arises during the process of aggregating frame-level semantics into event-level semantic groups. Given that SAH becomes particularly critical in long videos due to increased semantic complexity across multiple events, it is essential to separate and thoroughly investigate the causes of this type of hallucination. To address the above issues, we introduce ELV-Halluc, the first benchmark dedicated to long-video hallucination, enabling a systematic investigation of SAH. Our experiments confirm the existence of SAH and show that it increases with semantic complexity. Additionally, we find that models are more prone to SAH on rapidly changing semantics. Moreover, we discuss potential approaches to mitigate SAH. We demonstrate that positional encoding strategy contributes to alleviating SAH, and further adopt DPO strategy to enhance the model's ability to distinguish semantics within and across events. To support this, we curate a dataset of 8K adversarial data pairs and achieve improvements on both ELV-Halluc and Video-MME, including a substantial 27.7% reduction in SAH ratio.