ELV-Halluc: Avaliação de Alucinações de Agregação Semântica na Compreensão de Vídeos Longos

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Long Video Understanding

August 29, 2025

Autores: Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu

cs.AI

Resumo

Modelos de linguagem multimodal de vídeo (Video-MLLMs) alcançaram progressos notáveis na compreensão de vídeos. No entanto, eles permanecem vulneráveis à geração de conteúdo alucinatório, inconsistente ou não relacionado às entradas de vídeo. Benchmarks anteriores de alucinação em vídeo focam principalmente em vídeos curtos, atribuindo as alucinações a fatores como fortes prioridades de linguagem, quadros ausentes ou vieses visão-linguagem introduzidos pelo codificador visual. Embora essas causas de fato expliquem a maioria das alucinações em vídeos curtos, elas ainda simplificam demais a origem das alucinações. Às vezes, os modelos geram saídas incorretas, mas com semântica correta em nível de quadro. Referimo-nos a esse tipo de alucinação como Alucinação de Agregação Semântica (SAH), que surge durante o processo de agregação de semântica em nível de quadro em grupos semânticos em nível de evento. Dado que a SAH se torna particularmente crítica em vídeos longos devido ao aumento da complexidade semântica em múltiplos eventos, é essencial separar e investigar minuciosamente as causas desse tipo de alucinação. Para abordar essas questões, introduzimos o ELV-Halluc, o primeiro benchmark dedicado à alucinação em vídeos longos, permitindo uma investigação sistemática da SAH. Nossos experimentos confirmam a existência da SAH e mostram que ela aumenta com a complexidade semântica. Além disso, descobrimos que os modelos são mais propensos à SAH em semânticas que mudam rapidamente. Adicionalmente, discutimos abordagens potenciais para mitigar a SAH. Demonstramos que a estratégia de codificação posicional contribui para aliviar a SAH e adotamos ainda a estratégia DPO para aprimorar a capacidade do modelo de distinguir semânticas dentro e entre eventos. Para apoiar isso, criamos um conjunto de dados de 8K pares de dados adversariais e alcançamos melhorias tanto no ELV-Halluc quanto no Video-MME, incluindo uma redução substancial de 27,7% na taxa de SAH.

English

Video multimodal large language models (Video-MLLMs) have achieved remarkable progress in video understanding. However, they remain vulnerable to hallucination-producing content inconsistent with or unrelated to video inputs. Previous video hallucination benchmarks primarily focus on short-videos. They attribute hallucinations to factors such as strong language priors, missing frames, or vision-language biases introduced by the visual encoder. While these causes indeed account for most hallucinations in short videos, they still oversimplify the cause of hallucinations. Sometimes, models generate incorrect outputs but with correct frame-level semantics. We refer to this type of hallucination as Semantic Aggregation Hallucination (SAH), which arises during the process of aggregating frame-level semantics into event-level semantic groups. Given that SAH becomes particularly critical in long videos due to increased semantic complexity across multiple events, it is essential to separate and thoroughly investigate the causes of this type of hallucination. To address the above issues, we introduce ELV-Halluc, the first benchmark dedicated to long-video hallucination, enabling a systematic investigation of SAH. Our experiments confirm the existence of SAH and show that it increases with semantic complexity. Additionally, we find that models are more prone to SAH on rapidly changing semantics. Moreover, we discuss potential approaches to mitigate SAH. We demonstrate that positional encoding strategy contributes to alleviating SAH, and further adopt DPO strategy to enhance the model's ability to distinguish semantics within and across events. To support this, we curate a dataset of 8K adversarial data pairs and achieve improvements on both ELV-Halluc and Video-MME, including a substantial 27.7% reduction in SAH ratio.