ELV-Halluc: Оценка семантических агрегационных галлюцинаций в понимании длинных видео

ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Long Video Understanding

August 29, 2025

Авторы: Hao Lu, Jiahao Wang, Yaolun Zhang, Ruohui Wang, Xuanyu Zheng, Yepeng Tang, Dahua Lin, Lewei Lu

cs.AI

Аннотация

Мультимодальные языковые модели для видео (Video-MLLMs) достигли значительного прогресса в понимании видеоконтента. Однако они остаются уязвимыми к генерации галлюцинаций — контента, не согласующегося с видеовходом или не связанного с ним. Предыдущие бенчмарки для оценки галлюцинаций в видео в основном сосредоточены на коротких роликах. Они связывают галлюцинации с такими факторами, как сильные языковые априори, пропущенные кадры или смещения между визуальным и языковым представлениями, вносимые визуальным кодировщиком. Хотя эти причины действительно объясняют большинство галлюцинаций в коротких видео, они упрощают их природу. Иногда модели генерируют некорректные выходные данные, но с правильной семантикой на уровне кадров. Мы называем этот тип галлюцинаций Семантической Агрегационной Галлюцинацией (Semantic Aggregation Hallucination, SAH), которая возникает в процессе агрегации семантики на уровне кадров в семантические группы на уровне событий. Учитывая, что SAH становится особенно критичной в длинных видео из-за увеличения семантической сложности в рамках множества событий, важно отделить и тщательно изучить причины этого типа галлюцинаций. Для решения указанных проблем мы представляем ELV-Halluc — первый бенчмарк, посвящённый галлюцинациям в длинных видео, который позволяет систематически исследовать SAH. Наши эксперименты подтверждают существование SAH и показывают, что её частота возрастает с увеличением семантической сложности. Кроме того, мы обнаруживаем, что модели более склонны к SAH при быстром изменении семантики. Мы также обсуждаем потенциальные подходы для смягчения SAH. Мы демонстрируем, что стратегия позиционного кодирования способствует уменьшению SAH, и дополнительно применяем стратегию DPO для улучшения способности модели различать семантику внутри и между событиями. Для поддержки этого мы создали набор данных из 8K адверсариальных пар и достигли улучшений как на ELV-Halluc, так и на Video-MME, включая значительное снижение доли SAH на 27,7%.

English

Video multimodal large language models (Video-MLLMs) have achieved remarkable progress in video understanding. However, they remain vulnerable to hallucination-producing content inconsistent with or unrelated to video inputs. Previous video hallucination benchmarks primarily focus on short-videos. They attribute hallucinations to factors such as strong language priors, missing frames, or vision-language biases introduced by the visual encoder. While these causes indeed account for most hallucinations in short videos, they still oversimplify the cause of hallucinations. Sometimes, models generate incorrect outputs but with correct frame-level semantics. We refer to this type of hallucination as Semantic Aggregation Hallucination (SAH), which arises during the process of aggregating frame-level semantics into event-level semantic groups. Given that SAH becomes particularly critical in long videos due to increased semantic complexity across multiple events, it is essential to separate and thoroughly investigate the causes of this type of hallucination. To address the above issues, we introduce ELV-Halluc, the first benchmark dedicated to long-video hallucination, enabling a systematic investigation of SAH. Our experiments confirm the existence of SAH and show that it increases with semantic complexity. Additionally, we find that models are more prone to SAH on rapidly changing semantics. Moreover, we discuss potential approaches to mitigate SAH. We demonstrate that positional encoding strategy contributes to alleviating SAH, and further adopt DPO strategy to enhance the model's ability to distinguish semantics within and across events. To support this, we curate a dataset of 8K adversarial data pairs and achieve improvements on both ELV-Halluc and Video-MME, including a substantial 27.7% reduction in SAH ratio.