Fusione multimodale immagine-evento ponderata dall'incertezza per il rilevamento di anomalie nei video

Uncertainty-Weighted Image-Event Multimodal Fusion for Video Anomaly Detection

May 5, 2025

Autori: Sungheon Jeong, Jihong Park, Mohsen Imani

cs.AI

Abstract

La maggior parte dei rilevatori di anomalie video esistenti si basano esclusivamente su frame RGB, che mancano della risoluzione temporale necessaria per catturare segnali di movimento bruschi o transitori, indicatori chiave di eventi anomali. Per affrontare questa limitazione, proponiamo Image-Event Fusion for Video Anomaly Detection (IEF-VAD), un framework che sintetizza rappresentazioni di eventi direttamente da video RGB e le fonde con caratteristiche delle immagini attraverso un processo rigoroso e consapevole dell'incertezza. Il sistema (i) modella il rumore del sensore a coda pesante con una verosimiglianza di Student, derivando pesi inversi della varianza a livello di valore tramite un'approssimazione di Laplace; (ii) applica aggiornamenti frame-wise in stile Kalman per bilanciare le modalità nel tempo; e (iii) perfeziona iterativamente lo stato latente fuso per eliminare il rumore residuo cross-modale. Senza alcun sensore di eventi dedicato o etichette a livello di frame, IEF-VAD stabilisce un nuovo stato dell'arte su più benchmark di rilevamento anomalie del mondo reale. Questi risultati evidenziano l'utilità delle rappresentazioni sintetiche di eventi nell'evidenziare segnali di movimento che sono spesso sottorappresentati nei frame RGB, consentendo una comprensione video accurata e robusta in diverse applicazioni senza richiedere sensori di eventi dedicati. Codice e modelli sono disponibili su https://github.com/EavnJeong/IEF-VAD.

English

Most existing video anomaly detectors rely solely on RGB frames, which lack the temporal resolution needed to capture abrupt or transient motion cues, key indicators of anomalous events. To address this limitation, we propose Image-Event Fusion for Video Anomaly Detection (IEF-VAD), a framework that synthesizes event representations directly from RGB videos and fuses them with image features through a principled, uncertainty-aware process. The system (i) models heavy-tailed sensor noise with a Student`s-t likelihood, deriving value-level inverse-variance weights via a Laplace approximation; (ii) applies Kalman-style frame-wise updates to balance modalities over time; and (iii) iteratively refines the fused latent state to erase residual cross-modal noise. Without any dedicated event sensor or frame-level labels, IEF-VAD sets a new state of the art across multiple real-world anomaly detection benchmarks. These findings highlight the utility of synthetic event representations in emphasizing motion cues that are often underrepresented in RGB frames, enabling accurate and robust video understanding across diverse applications without requiring dedicated event sensors. Code and models are available at https://github.com/EavnJeong/IEF-VAD.