ELV-Halluc: Benchmarking delle Allucinazioni Semantiche Aggregative nella Comprensione di Video Lunghi

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Long Video Understanding

August 29, 2025

Autori: Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu

cs.AI

Abstract

I modelli linguistici multimodali per video (Video-MLLMs) hanno compiuto progressi significativi nella comprensione dei video. Tuttavia, rimangono vulnerabili alla generazione di contenuti allucinati, inconsistenti o non correlati agli input video. I precedenti benchmark sulle allucinazioni nei video si concentrano principalmente su video brevi, attribuendo le allucinazioni a fattori come forti priorità linguistiche, frame mancanti o bias visuo-linguistici introdotti dall'encoder visivo. Sebbene queste cause spieghino la maggior parte delle allucinazioni nei video brevi, semplificano eccessivamente l'origine del fenomeno. A volte, i modelli generano output errati ma con una semantica a livello di frame corretta. Definiamo questo tipo di allucinazione come Allucinazione da Aggregazione Semantica (SAH), che emerge durante il processo di aggregazione della semantica a livello di frame in gruppi semantici a livello di evento. Dato che la SAH diventa particolarmente critica nei video lunghi a causa della maggiore complessità semantica tra più eventi, è essenziale separare e investigare approfonditamente le cause di questo tipo di allucinazione. Per affrontare queste problematiche, introduciamo ELV-Halluc, il primo benchmark dedicato alle allucinazioni nei video lunghi, che consente un'indagine sistematica della SAH. I nostri esperimenti confermano l'esistenza della SAH e dimostrano che essa aumenta con la complessità semantica. Inoltre, osserviamo che i modelli sono più inclini alla SAH in presenza di cambiamenti semantici rapidi. Discutiamo anche potenziali approcci per mitigare la SAH. Dimostriamo che la strategia di codifica posizionale contribuisce a ridurre la SAH e adottiamo ulteriormente la strategia DPO per migliorare la capacità del modello di distinguere la semantica all'interno e tra gli eventi. A supporto di ciò, curiamo un dataset di 8K coppie di dati avversariali e otteniamo miglioramenti sia su ELV-Halluc che su Video-MME, inclusa una sostanziale riduzione del 27,7% nel rapporto SAH.

English

Video multimodal large language models (Video-MLLMs) have achieved remarkable progress in video understanding. However, they remain vulnerable to hallucination-producing content inconsistent with or unrelated to video inputs. Previous video hallucination benchmarks primarily focus on short-videos. They attribute hallucinations to factors such as strong language priors, missing frames, or vision-language biases introduced by the visual encoder. While these causes indeed account for most hallucinations in short videos, they still oversimplify the cause of hallucinations. Sometimes, models generate incorrect outputs but with correct frame-level semantics. We refer to this type of hallucination as Semantic Aggregation Hallucination (SAH), which arises during the process of aggregating frame-level semantics into event-level semantic groups. Given that SAH becomes particularly critical in long videos due to increased semantic complexity across multiple events, it is essential to separate and thoroughly investigate the causes of this type of hallucination. To address the above issues, we introduce ELV-Halluc, the first benchmark dedicated to long-video hallucination, enabling a systematic investigation of SAH. Our experiments confirm the existence of SAH and show that it increases with semantic complexity. Additionally, we find that models are more prone to SAH on rapidly changing semantics. Moreover, we discuss potential approaches to mitigate SAH. We demonstrate that positional encoding strategy contributes to alleviating SAH, and further adopt DPO strategy to enhance the model's ability to distinguish semantics within and across events. To support this, we curate a dataset of 8K adversarial data pairs and achieve improvements on both ELV-Halluc and Video-MME, including a substantial 27.7% reduction in SAH ratio.