VADER: К пониманию причинно-следственных связей в видеоаномалиях с помощью реляционно-ориентированных больших языковых моделей

VADER: Towards Causal Video Anomaly Understanding with Relation-Aware Large Language Models

November 10, 2025

Авторы: Ying Cheng, Yu-Ho Lin, Min-Hung Chen, Fu-En Yang, Shang-Hong Lai

cs.AI

Аннотация

Понимание видеособытий (Video Anomaly Understanding, VAU) ставит целью обеспечение детальной интерпретации и семантического осмысления аномальных событий в видеопотоке, преодолевая ограничения традиционных методов, которые фокусируются исключительно на обнаружении и локализации аномалий. Однако существующие подходы часто игнорируют глубинные причинно-следственные связи и взаимодействия между объектами, которые критически важны для понимания аномального поведения. В данной статье мы предлагаем VADER — управляемую большими языковыми моделями (LLM) систему для понимания видеособытий, которая интегрирует признаки отношений между объектами в ключевых кадрах с визуальными маркерами для углубленного анализа аномалий. В частности, VADER сначала применяет модуль оценки аномальности (Anomaly Scorer) для присвоения аномальных оценок каждому кадру, после чего стратегия контекстно-зависимого семплирования (Context-AwarE Sampling, CAES) захватывает причинный контекст каждого аномального события. Экстрактор признаков отношений (Relation Feature Extractor) и контрастный кодировщик отношений (COntrastive Relation Encoder, CORE) совместно моделируют динамические взаимодействия объектов, формируя компактные реляционные представления для последующих логических выводов. Эти визуальные и реляционные маркеры интегрируются с LLM для генерации детальных, причинно обоснованных описаний и поддержки надежного ответа на вопросы, связанные с аномалиями. Эксперименты на нескольких реальных бенчмарках VAU демонстрируют, что VADER достигает высоких результатов в задачах описания, объяснения и причинно-следственного анализа аномалий, продвигая границы объяснимого анализа видеособытий.

English

Video anomaly understanding (VAU) aims to provide detailed interpretation and semantic comprehension of anomalous events within videos, addressing limitations of traditional methods that focus solely on detecting and localizing anomalies. However, existing approaches often neglect the deeper causal relationships and interactions between objects, which are critical for understanding anomalous behaviors. In this paper, we propose VADER, an LLM-driven framework for Video Anomaly unDErstanding, which integrates keyframe object Relation features with visual cues to enhance anomaly comprehension from video. Specifically, VADER first applies an Anomaly Scorer to assign per-frame anomaly scores, followed by a Context-AwarE Sampling (CAES) strategy to capture the causal context of each anomalous event. A Relation Feature Extractor and a COntrastive Relation Encoder (CORE) jointly model dynamic object interactions, producing compact relational representations for downstream reasoning. These visual and relational cues are integrated with LLMs to generate detailed, causally grounded descriptions and support robust anomaly-related question answering. Experiments on multiple real-world VAU benchmarks demonstrate that VADER achieves strong results across anomaly description, explanation, and causal reasoning tasks, advancing the frontier of explainable video anomaly analysis.