VADER: Rumo à Compreensão Causal de Anomalias em Vídeo com Modelos de Linguagem de Grande Porte com Consciência Relacional

VADER: Towards Causal Video Anomaly Understanding with Relation-Aware Large Language Models

November 10, 2025

Autores: Ying Cheng, Yu-Ho Lin, Min-Hung Chen, Fu-En Yang, Shang-Hong Lai

cs.AI

Resumo

A compreensão de anomalias em vídeo (VAU) visa fornecer uma interpretação detalhada e compreensão semântica de eventos anômalos em vídeos, superando as limitações dos métodos tradicionais que se concentram apenas na detecção e localização de anomalias. No entanto, as abordagens existentes frequentemente negligenciam as relações causais mais profundas e as interações entre objetos, que são críticas para a compreensão de comportamentos anômalos. Neste artigo, propomos o VADER, uma estrutura orientada por LLM para a compreensão de anomalias em vídeo, que integra características de relação entre objetos em *keyframes* com pistas visuais para aprimorar a compreensão de anomalias a partir do vídeo. Especificamente, o VADER aplica primeiro um Avaliador de Anomalias para atribuir pontuações de anomalia por quadro, seguido por uma estratégia de Amostragem Consciente do Contexto (CAES) para capturar o contexto causal de cada evento anômalo. Um Extrator de Características de Relação e um Codificador de Relações por Contraste (CORE) modelam conjuntamente as interações dinâmicas entre objetos, produzindo representações relacionais compactas para o raciocínio subsequente. Essas pistas visuais e relacionais são integradas com LLMs para gerar descrições detalhadas e fundamentadas causalmente, e suportar uma resposta robusta a perguntas relacionadas a anomalias. Experimentos em múltiplos benchmarks de VAU do mundo real demonstram que o VADER alcança resultados sólidos em tarefas de descrição, explicação e raciocínio causal sobre anomalias, avançando a fronteira da análise explicável de anomalias em vídeo.

English

Video anomaly understanding (VAU) aims to provide detailed interpretation and semantic comprehension of anomalous events within videos, addressing limitations of traditional methods that focus solely on detecting and localizing anomalies. However, existing approaches often neglect the deeper causal relationships and interactions between objects, which are critical for understanding anomalous behaviors. In this paper, we propose VADER, an LLM-driven framework for Video Anomaly unDErstanding, which integrates keyframe object Relation features with visual cues to enhance anomaly comprehension from video. Specifically, VADER first applies an Anomaly Scorer to assign per-frame anomaly scores, followed by a Context-AwarE Sampling (CAES) strategy to capture the causal context of each anomalous event. A Relation Feature Extractor and a COntrastive Relation Encoder (CORE) jointly model dynamic object interactions, producing compact relational representations for downstream reasoning. These visual and relational cues are integrated with LLMs to generate detailed, causally grounded descriptions and support robust anomaly-related question answering. Experiments on multiple real-world VAU benchmarks demonstrate that VADER achieves strong results across anomaly description, explanation, and causal reasoning tasks, advancing the frontier of explainable video anomaly analysis.