ReactVAU：ストリーミング動画異常理解のためのSlow-Fast分離フレームワーク

要旨

本論文では、リアルタイムストリーミング動画異常理解（VAU）のためのSlow-Fast分離フレームワークであるReactVAUを提案する。既存のVAU手法は、グローバル時間サンプリングを用いたオフライン推論に依存しており、因果性に違反し、ライブ監視ストリームへの配備を妨げる。一方、一般的なストリーミング動画モデルは因果的アクセスを満たすが、メモリ圧縮中に稀な一過性異常を希釈し、長い正常区間にわたり重量級MLLMを一律に呼び出すことが多い。ReactVAUはこのギャップを3つの相乗的コンポーネントで解決する。すなわち、継続的な異常フィルタリングのためのSpatial Grid Folding（SGF）に基づく軽量な高速検出モジュール、重要な視覚的手がかりを時間的減衰から保護する異常認識型永続メモリ（AAPM）、および正常ストリーム中は休眠状態を保ち、疑わしいイベントによってのみ起動されて意味的検証と因果的記述を行う重量級の低速推論モジュールである。複数のベンチマークにおける広範な実験により、ReactVAUが厳格なストリーミング制約下で動作し、異常検出と因果推論の両方で競争力のある性能を同時に達成するとともに、重量級MLLMの呼び出しを最小化することで計算効率を大幅に向上させることを示す。プロジェクトページは https://huiyuiui.github.io/React_VAU/ で公開されている。

English

In this paper, we propose ReactVAU, a Slow-Fast Decoupled Framework for real-time streaming Video Anomaly Understanding (VAU). Existing VAU methods rely on offline inference with global temporal sampling, which violates causality and prevents deployment in live surveillance streams. Conversely, general streaming video models satisfy causal access but dilute rare transient anomalies during memory compression and often invoke heavyweight MLLMs uniformly over long normal intervals. React VAU addresses this gap with three synergistic components: a lightweight Fast Detection Module based on Spatial Grid Folding (SGF) for continuous anomaly filtering; an Anomaly-Aware Persistent Memory (AAPM) that protects critical visual cues from temporal decay; and a heavyweight Slow Reasoning Module that remains dormant during normal streams and is awakened only by suspicious events for semantic verification and causal description. Extensive experiments on multiple benchmarks demonstrate that ReactVAU operates under strict streaming constraints while simultaneously achieving competitive performance in both anomaly detection and causal reasoning, alongside significantly enhanced computational efficiency by minimizing heavyweight MLLM invocations. Project page is available at https://huiyuiui.github.io/React_VAU/