ELV-Halluc: Benchmarking semantischer Aggregationshalluzinationen im Verständnis langer Videos

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Long Video Understanding

August 29, 2025

papers.authors: Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu

cs.AI

papers.abstract

Video Multimodal Large Language Models (Video-MLLMs) haben bemerkenswerte Fortschritte im Bereich des Videoverständnisses erzielt. Dennoch bleiben sie anfällig für Halluzinationen, die Inhalte erzeugen, die inkonsistent mit oder unabhängig von den Videoeingaben sind. Bisherige Benchmarks für Video-Halluzinationen konzentrieren sich hauptsächlich auf Kurzvideos. Sie führen Halluzinationen auf Faktoren wie starke Sprachprioritäten, fehlende Frames oder durch den visuellen Encoder eingeführte Vision-Sprache-Bias zurück. Obwohl diese Ursachen tatsächlich die meisten Halluzinationen in Kurzvideos erklären, vereinfachen sie die Ursachen von Halluzinationen dennoch zu stark. Manchmal generieren Modelle falsche Ausgaben, jedoch mit korrekter Frame-Level-Semantik. Wir bezeichnen diese Art von Halluzination als Semantic Aggregation Hallucination (SAH), die während des Prozesses der Aggregation von Frame-Level-Semantik in Event-Level-Semantikgruppen entsteht. Da SAH in langen Videos aufgrund der erhöhten semantischen Komplexität über mehrere Ereignisse hinweg besonders kritisch wird, ist es entscheidend, die Ursachen dieser Art von Halluzination zu trennen und gründlich zu untersuchen. Um die oben genannten Probleme anzugehen, führen wir ELV-Halluc ein, den ersten Benchmark, der sich speziell mit Halluzinationen in langen Videos befasst und eine systematische Untersuchung von SAH ermöglicht. Unsere Experimente bestätigen die Existenz von SAH und zeigen, dass sie mit zunehmender semantischer Komplexität ansteigt. Zudem stellen wir fest, dass Modelle bei sich schnell ändernder Semantik anfälliger für SAH sind. Darüber hinaus diskutieren wir potenzielle Ansätze zur Minderung von SAH. Wir zeigen, dass die Strategie der Positionskodierung zur Linderung von SAH beiträgt und setzen zusätzlich die DPO-Strategie ein, um die Fähigkeit des Modells zur Unterscheidung von Semantik innerhalb und zwischen Ereignissen zu verbessern. Um dies zu unterstützen, erstellen wir einen Datensatz mit 8K adversariellen Datenpaaren und erzielen Verbesserungen sowohl bei ELV-Halluc als auch bei Video-MME, einschließlich einer erheblichen Reduzierung der SAH-Rate um 27,7 %.

English

Video multimodal large language models (Video-MLLMs) have achieved remarkable progress in video understanding. However, they remain vulnerable to hallucination-producing content inconsistent with or unrelated to video inputs. Previous video hallucination benchmarks primarily focus on short-videos. They attribute hallucinations to factors such as strong language priors, missing frames, or vision-language biases introduced by the visual encoder. While these causes indeed account for most hallucinations in short videos, they still oversimplify the cause of hallucinations. Sometimes, models generate incorrect outputs but with correct frame-level semantics. We refer to this type of hallucination as Semantic Aggregation Hallucination (SAH), which arises during the process of aggregating frame-level semantics into event-level semantic groups. Given that SAH becomes particularly critical in long videos due to increased semantic complexity across multiple events, it is essential to separate and thoroughly investigate the causes of this type of hallucination. To address the above issues, we introduce ELV-Halluc, the first benchmark dedicated to long-video hallucination, enabling a systematic investigation of SAH. Our experiments confirm the existence of SAH and show that it increases with semantic complexity. Additionally, we find that models are more prone to SAH on rapidly changing semantics. Moreover, we discuss potential approaches to mitigate SAH. We demonstrate that positional encoding strategy contributes to alleviating SAH, and further adopt DPO strategy to enhance the model's ability to distinguish semantics within and across events. To support this, we curate a dataset of 8K adversarial data pairs and achieve improvements on both ELV-Halluc and Video-MME, including a substantial 27.7% reduction in SAH ratio.