Fusion multimodale image-événement pondérée par l'incertitude pour la détection d'anomalies vidéo

Uncertainty-Weighted Image-Event Multimodal Fusion for Video Anomaly Detection

May 5, 2025

Auteurs: Sungheon Jeong, Jihong Park, Mohsen Imani

cs.AI

Résumé

La plupart des détecteurs d'anomalies vidéo existants reposent uniquement sur des images RVB, qui manquent de résolution temporelle nécessaire pour capturer des indices de mouvement brusques ou transitoires, des indicateurs clés d'événements anormaux. Pour pallier cette limitation, nous proposons Image-Event Fusion for Video Anomaly Detection (IEF-VAD), un cadre qui synthétise des représentations d'événements directement à partir de vidéos RVB et les fusionne avec des caractéristiques d'images via un processus rigoureux et conscient de l'incertitude. Le système (i) modélise le bruit de capteur à queue lourde avec une vraisemblance de Student, dérivant des poids d'inverse-variance au niveau des valeurs via une approximation de Laplace ; (ii) applique des mises à jour image par image de type Kalman pour équilibrer les modalités dans le temps ; et (iii) affine itérativement l'état latent fusionné pour éliminer le bruit résiduel inter-modal. Sans aucun capteur d'événements dédié ni étiquettes au niveau des images, IEF-VAD établit un nouvel état de l'art sur plusieurs benchmarks de détection d'anomalies du monde réel. Ces résultats mettent en lumière l'utilité des représentations d'événements synthétiques pour mettre en avant des indices de mouvement souvent sous-représentés dans les images RVB, permettant une compréhension vidéo précise et robuste dans diverses applications sans nécessiter de capteurs d'événements dédiés. Le code et les modèles sont disponibles à l'adresse https://github.com/EavnJeong/IEF-VAD.

English

Most existing video anomaly detectors rely solely on RGB frames, which lack the temporal resolution needed to capture abrupt or transient motion cues, key indicators of anomalous events. To address this limitation, we propose Image-Event Fusion for Video Anomaly Detection (IEF-VAD), a framework that synthesizes event representations directly from RGB videos and fuses them with image features through a principled, uncertainty-aware process. The system (i) models heavy-tailed sensor noise with a Student`s-t likelihood, deriving value-level inverse-variance weights via a Laplace approximation; (ii) applies Kalman-style frame-wise updates to balance modalities over time; and (iii) iteratively refines the fused latent state to erase residual cross-modal noise. Without any dedicated event sensor or frame-level labels, IEF-VAD sets a new state of the art across multiple real-world anomaly detection benchmarks. These findings highlight the utility of synthetic event representations in emphasizing motion cues that are often underrepresented in RGB frames, enabling accurate and robust video understanding across diverse applications without requiring dedicated event sensors. Code and models are available at https://github.com/EavnJeong/IEF-VAD.