Onzekerheidsgewogen beeld-gebeurtenis multimodale fusie voor video-anomaliedetectie

Uncertainty-Weighted Image-Event Multimodal Fusion for Video Anomaly Detection

May 5, 2025

Auteurs: Sungheon Jeong, Jihong Park, Mohsen Imani

cs.AI

Samenvatting

De meeste bestaande video-anomaliedetectoren vertrouwen uitsluitend op RGB-frames, die niet over de temporele resolutie beschikken die nodig is om abrupte of kortdurende bewegingssignalen vast te leggen, belangrijke indicatoren van afwijkende gebeurtenissen. Om deze beperking aan te pakken, stellen we Image-Event Fusion for Video Anomaly Detection (IEF-VAD) voor, een raamwerk dat gebeurtenisrepresentaties direct uit RGB-video's synthetiseert en ze fuseert met beeldkenmerken via een principieel, onzekerheidsbewust proces. Het systeem (i) modelleert zware staart-sensornoise met een Student's-t waarschijnlijkheid, waarbij waardeniveau inverse-variantiegewichten worden afgeleid via een Laplace-benadering; (ii) past Kalman-stijl framegewijze updates toe om modaliteiten in de tijd in balans te brengen; en (iii) verfijnt iteratief de gefuseerde latente toestand om resterende kruismodale ruis te verwijderen. Zonder enige toegewijde gebeurtenissensor of framegewijze labels, stelt IEF-VAD een nieuwe standaard op meerdere real-world benchmarks voor anomaliedetectie. Deze bevindingen benadrukken het nut van synthetische gebeurtenisrepresentaties bij het benadrukken van bewegingssignalen die vaak ondervertegenwoordigd zijn in RGB-frames, waardoor nauwkeurig en robuust videobegrip mogelijk wordt in diverse toepassingen zonder toegewijde gebeurtenissensoren te vereisen. Code en modellen zijn beschikbaar op https://github.com/EavnJeong/IEF-VAD.

English

Most existing video anomaly detectors rely solely on RGB frames, which lack the temporal resolution needed to capture abrupt or transient motion cues, key indicators of anomalous events. To address this limitation, we propose Image-Event Fusion for Video Anomaly Detection (IEF-VAD), a framework that synthesizes event representations directly from RGB videos and fuses them with image features through a principled, uncertainty-aware process. The system (i) models heavy-tailed sensor noise with a Student`s-t likelihood, deriving value-level inverse-variance weights via a Laplace approximation; (ii) applies Kalman-style frame-wise updates to balance modalities over time; and (iii) iteratively refines the fused latent state to erase residual cross-modal noise. Without any dedicated event sensor or frame-level labels, IEF-VAD sets a new state of the art across multiple real-world anomaly detection benchmarks. These findings highlight the utility of synthetic event representations in emphasizing motion cues that are often underrepresented in RGB frames, enabling accurate and robust video understanding across diverse applications without requiring dedicated event sensors. Code and models are available at https://github.com/EavnJeong/IEF-VAD.