Flash-VStream: 長尺ビデオストリームのためのメモリベースリアルタイム理解

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

著者: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

要旨

大規模言語モデルとクロスモーダルアラインメントの進歩を活用し、既存のマルチモーダル動画理解手法はオフラインシナリオで顕著な性能を達成してきました。しかし、現実世界で最も一般的なメディア形式の一つであるオンライン動画ストリームは、ほとんど注目されてきませんでした。オフライン動画と比較して、オンライン動画ストリームの「動的」な性質は、既存モデルの直接的な適用に課題を投げかけ、極めて長期的な情報の保存や、連続的な視覚コンテンツと「非同期」のユーザー質問との相互作用といった新たな問題を引き起こします。そこで本論文では、人間の記憶メカニズムを模倣したビデオ言語モデルであるFlash-VStreamを提案します。本モデルは、極めて長い動画ストリームをリアルタイムで処理し、同時にユーザーのクエリに応答することが可能です。既存モデルと比較して、Flash-VStreamは推論遅延とVRAM消費を大幅に削減し、これはオンラインストリーミング動画の理解を実行する上で密接に関連しています。さらに、既存の動画理解ベンチマークが主にオフラインシナリオに集中していることを踏まえ、オンライン動画ストリーミング理解に特化した新しい質問応答ベンチマークであるVStream-QAを提案します。提案されたベンチマークでの既存の一般的な手法との比較は、このような困難な設定における本手法の優位性を示しています。本アプローチの汎用性を検証するため、既存の動画理解ベンチマークでも評価を行い、オフラインシナリオでも最先端の性能を達成しました。すべてのコード、モデル、データセットはhttps://invinciblewyq.github.io/vstream-page/で公開されています。

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/