VADER: Hacia una Comprensión Causal de Anomalías en Video con Modelos de Lenguaje a Gran Escalo con Conciencia Relacional

VADER: Towards Causal Video Anomaly Understanding with Relation-Aware Large Language Models

November 10, 2025

Autores: Ying Cheng, Yu-Ho Lin, Min-Hung Chen, Fu-En Yang, Shang-Hong Lai

cs.AI

Resumen

La comprensión de anomalías en video (VAU) tiene como objetivo proporcionar una interpretación detallada y una comprensión semántica de eventos anómalos en videos, superando las limitaciones de los métodos tradicionales que se centran únicamente en detectar y localizar anomalías. Sin embargo, los enfoques existentes a menudo descuidan las relaciones causales más profundas y las interacciones entre objetos, aspectos críticos para comprender comportamientos anómalos. En este artículo, proponemos VADER, un marco impulsado por LLM para la comprensión de anomalías en video, que integra características de relación de objetos en fotogramas clave con pistas visuales para mejorar la comprensión de anomalías a partir de video. Específicamente, VADER aplica primero un Puntuador de Anomalías para asignar puntuaciones de anomalía por fotograma, seguido de una estrategia de Muestreo Consciente del Contexto (CAES) para capturar el contexto causal de cada evento anómalo. Un Extractor de Características de Relación y un Codificador de Relaciones Contrastivo (CORE) modelan conjuntamente las interacciones dinámicas entre objetos, produciendo representaciones relacionales compactas para el razonamiento subsiguiente. Estas pistas visuales y relacionales se integran con LLMs para generar descripciones detalladas y fundamentadas causalmente, y para respaldar un robusto sistema de respuesta a preguntas relacionadas con anomalías. Los experimentos en múltiples benchmarks de VAU del mundo real demuestran que VADER logra resultados sólidos en tareas de descripción, explicación y razonamiento causal de anomalías, avanzando la frontera del análisis explicable de anomalías en video.

English

Video anomaly understanding (VAU) aims to provide detailed interpretation and semantic comprehension of anomalous events within videos, addressing limitations of traditional methods that focus solely on detecting and localizing anomalies. However, existing approaches often neglect the deeper causal relationships and interactions between objects, which are critical for understanding anomalous behaviors. In this paper, we propose VADER, an LLM-driven framework for Video Anomaly unDErstanding, which integrates keyframe object Relation features with visual cues to enhance anomaly comprehension from video. Specifically, VADER first applies an Anomaly Scorer to assign per-frame anomaly scores, followed by a Context-AwarE Sampling (CAES) strategy to capture the causal context of each anomalous event. A Relation Feature Extractor and a COntrastive Relation Encoder (CORE) jointly model dynamic object interactions, producing compact relational representations for downstream reasoning. These visual and relational cues are integrated with LLMs to generate detailed, causally grounded descriptions and support robust anomaly-related question answering. Experiments on multiple real-world VAU benchmarks demonstrate that VADER achieves strong results across anomaly description, explanation, and causal reasoning tasks, advancing the frontier of explainable video anomaly analysis.