ReactVAU: 스트리밍 비디오 이상 이해를 위한 슬로우-패스트 분리 프레임워크

초록

본 논문에서는 실시간 스트리밍 비디오 이상 이해(VAU)를 위한 Slow-Fast 분리형 프레임워크인 ReactVAU를 제안한다. 기존 VAU 방법들은 전역 시간 샘플링을 이용한 오프라인 추론에 의존하여 인과성을 위배하고 실시간 감시 스트림에 배포하는 것을 불가능하게 한다. 반대로, 일반적인 스트리밍 비디오 모델은 인과적 접근을 충족하지만 메모리 압축 과정에서 희귀하고 일시적인 이상을 희석하며, 긴 정상 구간에 걸쳐 무거운 MLLM을 균일하게 호출하는 경우가 많다. ReactVAU는 세 가지 시너지 구성요소를 통해 이러한 격차를 해결한다: 연속적 이상 필터링을 위한 Spatial Grid Folding(SGF) 기반 경량 Fast Detection Module; 시간적 감쇠로부터 중요한 시각적 단서를 보호하는 Anomaly-Aware Persistent Memory(AAPM); 그리고 정상 스트림에서는 휴면 상태로 남아 있다가 의심스러운 이벤트에 의해서만 깨어나 의미론적 검증과 인과적 설명을 수행하는 무거운 Slow Reasoning Module. 다양한 벤치마크에 대한 광범위한 실험은 ReactVAU가 엄격한 스트리밍 제약 하에서 동작하면서도 이상 탐지와 인과 추론 모두에서 경쟁력 있는 성능을 달성하고, 무거운 MLLM 호출을 최소화함으로써 계산 효율성을 크게 향상시킴을 입증한다. 프로젝트 페이지는 https://huiyuiui.github.io/React_VAU/ 에서 확인할 수 있다.

English

In this paper, we propose ReactVAU, a Slow-Fast Decoupled Framework for real-time streaming Video Anomaly Understanding (VAU). Existing VAU methods rely on offline inference with global temporal sampling, which violates causality and prevents deployment in live surveillance streams. Conversely, general streaming video models satisfy causal access but dilute rare transient anomalies during memory compression and often invoke heavyweight MLLMs uniformly over long normal intervals. React VAU addresses this gap with three synergistic components: a lightweight Fast Detection Module based on Spatial Grid Folding (SGF) for continuous anomaly filtering; an Anomaly-Aware Persistent Memory (AAPM) that protects critical visual cues from temporal decay; and a heavyweight Slow Reasoning Module that remains dormant during normal streams and is awakened only by suspicious events for semantic verification and causal description. Extensive experiments on multiple benchmarks demonstrate that ReactVAU operates under strict streaming constraints while simultaneously achieving competitive performance in both anomaly detection and causal reasoning, alongside significantly enhanced computational efficiency by minimizing heavyweight MLLM invocations. Project page is available at https://huiyuiui.github.io/React_VAU/