Мультимодальное слияние изображений и событий с учетом неопределенности для обнаружения аномалий в видео

Uncertainty-Weighted Image-Event Multimodal Fusion for Video Anomaly Detection

May 5, 2025

Авторы: Sungheon Jeong, Jihong Park, Mohsen Imani

cs.AI

Аннотация

Большинство существующих детекторов аномалий в видео полагаются исключительно на RGB-кадры, которые не обладают достаточным временным разрешением для захвата резких или кратковременных движений, являющихся ключевыми индикаторами аномальных событий. Чтобы устранить это ограничение, мы предлагаем метод Image-Event Fusion for Video Anomaly Detection (IEF-VAD) — фреймворк, который синтезирует представления событий непосредственно из RGB-видео и объединяет их с признаками изображений через принципиальный, учитывающий неопределенности процесс. Система (i) моделирует шум сенсоров с тяжелыми хвостами с использованием функции правдоподобия Стьюдента, получая веса обратной дисперсии на уровне значений с помощью аппроксимации Лапласа; (ii) применяет калмановские пошаговые обновления для балансировки модальностей во времени; и (iii) итеративно уточняет объединенное латентное состояние для устранения остаточного кросс-модального шума. Без использования специализированных сенсоров событий или меток на уровне кадров IEF-VAD устанавливает новый уровень точности на нескольких реальных бенчмарках для обнаружения аномалий. Эти результаты подчеркивают полезность синтетических представлений событий для выделения движений, которые часто недостаточно представлены в RGB-кадрах, что позволяет достичь точного и устойчивого понимания видео в различных приложениях без необходимости использования специализированных сенсоров событий. Код и модели доступны по адресу https://github.com/EavnJeong/IEF-VAD.

English

Most existing video anomaly detectors rely solely on RGB frames, which lack the temporal resolution needed to capture abrupt or transient motion cues, key indicators of anomalous events. To address this limitation, we propose Image-Event Fusion for Video Anomaly Detection (IEF-VAD), a framework that synthesizes event representations directly from RGB videos and fuses them with image features through a principled, uncertainty-aware process. The system (i) models heavy-tailed sensor noise with a Student`s-t likelihood, deriving value-level inverse-variance weights via a Laplace approximation; (ii) applies Kalman-style frame-wise updates to balance modalities over time; and (iii) iteratively refines the fused latent state to erase residual cross-modal noise. Without any dedicated event sensor or frame-level labels, IEF-VAD sets a new state of the art across multiple real-world anomaly detection benchmarks. These findings highlight the utility of synthetic event representations in emphasizing motion cues that are often underrepresented in RGB frames, enabling accurate and robust video understanding across diverse applications without requiring dedicated event sensors. Code and models are available at https://github.com/EavnJeong/IEF-VAD.