VADER: Op weg naar causaal inzicht in video-anomalieën met relation-bewuste grote taalmodellen

VADER: Towards Causal Video Anomaly Understanding with Relation-Aware Large Language Models

November 10, 2025

Auteurs: Ying Cheng, Yu-Ho Lin, Min-Hung Chen, Fu-En Yang, Shang-Hong Lai

cs.AI

Samenvatting

Video-anomaliebegrip (VAU) beoogt een gedetailleerde interpretatie en semantisch begrip van afwijkende gebeurtenissen in video's te bieden, en gaat daarmee de beperkingen van traditionele methoden te boven die zich uitsluitend richten op het detecteren en lokaliseren van anomalieën. Bestaande benaderingen negeren echter vaak de diepere causale relaties en interacties tussen objecten, die cruciaal zijn voor het begrijpen van afwijkend gedrag. In dit artikel presenteren we VADER, een LLM-gedreven framework voor Video Anomaly unDErstanding, dat relationele objectkenmerken van keyframes integreert met visuele aanwijzingen om het anomaliebegrip vanuit video's te verbeteren. Concreet past VADER eerst een Anomalie Scorer toe om per frame een anomaliescore toe te kennen, gevolgd door een Context-AwarE Sampling (CAES)-strategie om de causale context van elke afwijkende gebeurtenis vast te leggen. Een Relation Feature Extractor en een COntrastive Relation Encoder (CORE) modelleren gezamenlijk de dynamische objectinteracties, en produceren compacte relationele representaties voor downstream redeneertaken. Deze visuele en relationele aanwijzingen worden geïntegreerd met LLM's om gedetailleerde, causaal onderbouwde beschrijvingen te genereren en robuuste antwoorden op anomaliegerelateerde vragen te ondersteunen. Experimenten op meerdere real-world VAU-benchmarks tonen aan dat VADER sterke resultaten behaalt voor taken zoals anomaliebeschrijving, -verklaring en causaal redeneren, waardoor de grenzen van verklaarbare video-anomalieanalyse worden verlegd.

English

Video anomaly understanding (VAU) aims to provide detailed interpretation and semantic comprehension of anomalous events within videos, addressing limitations of traditional methods that focus solely on detecting and localizing anomalies. However, existing approaches often neglect the deeper causal relationships and interactions between objects, which are critical for understanding anomalous behaviors. In this paper, we propose VADER, an LLM-driven framework for Video Anomaly unDErstanding, which integrates keyframe object Relation features with visual cues to enhance anomaly comprehension from video. Specifically, VADER first applies an Anomaly Scorer to assign per-frame anomaly scores, followed by a Context-AwarE Sampling (CAES) strategy to capture the causal context of each anomalous event. A Relation Feature Extractor and a COntrastive Relation Encoder (CORE) jointly model dynamic object interactions, producing compact relational representations for downstream reasoning. These visual and relational cues are integrated with LLMs to generate detailed, causally grounded descriptions and support robust anomaly-related question answering. Experiments on multiple real-world VAU benchmarks demonstrate that VADER achieves strong results across anomaly description, explanation, and causal reasoning tasks, advancing the frontier of explainable video anomaly analysis.