Fusão Multimodal Ponderada por Incerteza de Imagem-Evento para Detecção de Anomalias em Vídeo

Uncertainty-Weighted Image-Event Multimodal Fusion for Video Anomaly Detection

May 5, 2025

Autores: Sungheon Jeong, Jihong Park, Mohsen Imani

cs.AI

Resumo

A maioria dos detectores de anomalias em vídeo existentes depende exclusivamente de quadros RGB, que carecem da resolução temporal necessária para capturar pistas de movimento abruptas ou transitórias, indicadores-chave de eventos anômalos. Para superar essa limitação, propomos o Image-Event Fusion for Video Anomaly Detection (IEF-VAD), um framework que sintetiza representações de eventos diretamente a partir de vídeos RGB e as funde com características de imagem por meio de um processo fundamentado e consciente da incerteza. O sistema (i) modela o ruído de sensor de cauda pesada com uma verossimilhança de Student-t, derivando pesos de variância inversa em nível de valor por meio de uma aproximação de Laplace; (ii) aplica atualizações quadro a quadro no estilo Kalman para equilibrar as modalidades ao longo do tempo; e (iii) refina iterativamente o estado latente fundido para eliminar ruído residual entre modalidades. Sem qualquer sensor de eventos dedicado ou rótulos em nível de quadro, o IEF-VAD estabelece um novo estado da arte em vários benchmarks de detecção de anomalias do mundo real. Esses resultados destacam a utilidade de representações sintéticas de eventos para enfatizar pistas de movimento que frequentemente são sub-representadas em quadros RGB, permitindo uma compreensão de vídeo precisa e robusta em diversas aplicações sem a necessidade de sensores de eventos dedicados. Códigos e modelos estão disponíveis em https://github.com/EavnJeong/IEF-VAD.

English

Most existing video anomaly detectors rely solely on RGB frames, which lack the temporal resolution needed to capture abrupt or transient motion cues, key indicators of anomalous events. To address this limitation, we propose Image-Event Fusion for Video Anomaly Detection (IEF-VAD), a framework that synthesizes event representations directly from RGB videos and fuses them with image features through a principled, uncertainty-aware process. The system (i) models heavy-tailed sensor noise with a Student`s-t likelihood, deriving value-level inverse-variance weights via a Laplace approximation; (ii) applies Kalman-style frame-wise updates to balance modalities over time; and (iii) iteratively refines the fused latent state to erase residual cross-modal noise. Without any dedicated event sensor or frame-level labels, IEF-VAD sets a new state of the art across multiple real-world anomaly detection benchmarks. These findings highlight the utility of synthetic event representations in emphasizing motion cues that are often underrepresented in RGB frames, enabling accurate and robust video understanding across diverse applications without requiring dedicated event sensors. Code and models are available at https://github.com/EavnJeong/IEF-VAD.