AnyAnomaly：LVLMを用いたゼロショットカスタマイズ可能なビデオ異常検知

AnyAnomaly: Zero-Shot Customizable Video Anomaly Detection with LVLM

March 6, 2025

著者: Sunghyun Ahn, Youngwan Jo, Kijung Lee, Sein Kwon, Inpyo Hong, Sanghyun Park

cs.AI

要旨

ビデオ異常検出（VAD）は、コンピュータビジョンにおけるビデオ分析と監視において重要な技術です。しかし、既存のVADモデルは学習された正常パターンに依存しており、多様な環境に適用することが困難です。その結果、ユーザーは新しい環境に対してモデルを再学習するか、別々のAIモデルを開発する必要があり、これには機械学習の専門知識、高性能ハードウェア、および大規模なデータ収集が必要となり、VADの実用性が制限されています。これらの課題に対処するため、本研究ではカスタマイズ可能なビデオ異常検出（C-VAD）技術とAnyAnomalyモデルを提案します。C-VADは、ユーザー定義のテキストを異常イベントとして考慮し、ビデオ内で指定されたイベントを含むフレームを検出します。私たちは、大規模な視覚言語モデルのファインチューニングを行わずに、コンテキストを考慮した視覚的質問応答を用いてAnyAnomalyを効果的に実装しました。提案モデルの有効性を検証するため、C-VADデータセットを構築し、AnyAnomalyの優位性を実証しました。さらに、私たちのアプローチはVADベンチマークデータセットにおいても競争力のある性能を示し、UBnormalデータセットで最先端の結果を達成し、すべてのデータセットにわたる汎化性能において他の手法を上回りました。私たちのコードはgithub.com/SkiddieAhn/Paper-AnyAnomalyで公開されています。

English

Video anomaly detection (VAD) is crucial for video analysis and surveillance in computer vision. However, existing VAD models rely on learned normal patterns, which makes them difficult to apply to diverse environments. Consequently, users should retrain models or develop separate AI models for new environments, which requires expertise in machine learning, high-performance hardware, and extensive data collection, limiting the practical usability of VAD. To address these challenges, this study proposes customizable video anomaly detection (C-VAD) technique and the AnyAnomaly model. C-VAD considers user-defined text as an abnormal event and detects frames containing a specified event in a video. We effectively implemented AnyAnomaly using a context-aware visual question answering without fine-tuning the large vision language model. To validate the effectiveness of the proposed model, we constructed C-VAD datasets and demonstrated the superiority of AnyAnomaly. Furthermore, our approach showed competitive performance on VAD benchmark datasets, achieving state-of-the-art results on the UBnormal dataset and outperforming other methods in generalization across all datasets. Our code is available online at github.com/SkiddieAhn/Paper-AnyAnomaly.