Unsicherheitsgewichtete Bild-Ereignis-Multimodale Fusion zur Videoanomalieerkennung

Uncertainty-Weighted Image-Event Multimodal Fusion for Video Anomaly Detection

May 5, 2025

Autoren: Sungheon Jeong, Jihong Park, Mohsen Imani

cs.AI

Zusammenfassung

Die meisten bestehenden Video-Anomalie-Detektoren verlassen sich ausschließlich auf RGB-Bilder, denen die zeitliche Auflösung fehlt, um abrupte oder vorübergehende Bewegungsmerkmale zu erfassen, die als Schlüsselindikatoren für anomale Ereignisse gelten. Um diese Einschränkung zu überwinden, schlagen wir Image-Event Fusion for Video Anomaly Detection (IEF-VAD) vor, ein Framework, das Ereignisdarstellungen direkt aus RGB-Videos synthetisiert und sie über einen prinzipiellen, unsicherheitsbewussten Prozess mit Bildmerkmalen fusioniert. Das System (i) modelliert stark verteilte Sensorenrauschen mit einer Student-t-Wahrscheinlichkeit und leitet wertbasierte inverse Varianzgewichte über eine Laplace-Approximation ab; (ii) wendet Kalman-artige, bildweise Aktualisierungen an, um die Modalitäten über die Zeit auszugleichen; und (iii) verfeinert iterativ den fusionierten latenten Zustand, um verbleibendes modulübergreifendes Rauschen zu entfernen. Ohne spezielle Ereignissensoren oder bildweise Annotationen setzt IEF-VAD neue Maßstäbe in mehreren realen Anomalie-Detektions-Benchmarks. Diese Ergebnisse unterstreichen den Nutzen synthetischer Ereignisdarstellungen, um Bewegungsmerkmale hervorzuheben, die in RGB-Bildern oft unterrepräsentiert sind, und ermöglichen so eine präzise und robuste Videoanalyse in diversen Anwendungen, ohne spezielle Ereignissensoren zu benötigen. Code und Modelle sind verfügbar unter https://github.com/EavnJeong/IEF-VAD.

English

Most existing video anomaly detectors rely solely on RGB frames, which lack the temporal resolution needed to capture abrupt or transient motion cues, key indicators of anomalous events. To address this limitation, we propose Image-Event Fusion for Video Anomaly Detection (IEF-VAD), a framework that synthesizes event representations directly from RGB videos and fuses them with image features through a principled, uncertainty-aware process. The system (i) models heavy-tailed sensor noise with a Student`s-t likelihood, deriving value-level inverse-variance weights via a Laplace approximation; (ii) applies Kalman-style frame-wise updates to balance modalities over time; and (iii) iteratively refines the fused latent state to erase residual cross-modal noise. Without any dedicated event sensor or frame-level labels, IEF-VAD sets a new state of the art across multiple real-world anomaly detection benchmarks. These findings highlight the utility of synthetic event representations in emphasizing motion cues that are often underrepresented in RGB frames, enabling accurate and robust video understanding across diverse applications without requiring dedicated event sensors. Code and models are available at https://github.com/EavnJeong/IEF-VAD.