Flash-VStream : Compréhension en temps réel basée sur la mémoire pour les flux vidéo longs

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

papers.authors: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

papers.abstract

Tirant parti des avancées des grands modèles de langage et de l'alignement intermodal, les méthodes existantes de compréhension vidéo multimodale ont obtenu des performances remarquables dans des scénarios hors ligne. Cependant, les flux vidéo en ligne, l'une des formes de médias les plus courantes dans le monde réel, ont rarement été étudiés. Par rapport aux vidéos hors ligne, la nature 'dynamique' des flux vidéo en ligne pose des défis pour l'application directe des modèles existants et introduit de nouveaux problèmes, tels que le stockage d'informations à très long terme et l'interaction entre le contenu visuel continu et les questions 'asynchrones' des utilisateurs. Par conséquent, dans cet article, nous présentons Flash-VStream, un modèle vidéo-langage qui simule le mécanisme de mémoire humaine. Notre modèle est capable de traiter des flux vidéo extrêmement longs en temps réel et de répondre simultanément aux requêtes des utilisateurs. Par rapport aux modèles existants, Flash-VStream permet des réductions significatives de la latence d'inférence et de la consommation de VRAM, ce qui est intimement lié à la compréhension des flux vidéo en ligne. De plus, étant donné que les benchmarks existants de compréhension vidéo se concentrent principalement sur des scénarios hors ligne, nous proposons VStream-QA, un nouveau benchmark de question-réponse spécifiquement conçu pour la compréhension des flux vidéo en ligne. Les comparaisons avec les méthodes populaires existantes sur le benchmark proposé démontrent la supériorité de notre méthode dans un tel contexte difficile. Pour vérifier la généralisabilité de notre approche, nous l'évaluons également sur des benchmarks existants de compréhension vidéo et obtenons des performances de pointe dans des scénarios hors ligne. Tous les codes, modèles et jeux de données sont disponibles à l'adresse https://invinciblewyq.github.io/vstream-page/.

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/