Flash-VStream: Comprensione in Tempo Reale Basata su Memoria per Flussi Video Lunghi

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

Autori: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

Abstract

Traendo vantaggio dai progressi nei modelli linguistici su larga scala e nell'allineamento cross-modale, i metodi esistenti per la comprensione video multi-modale hanno ottenuto prestazioni di rilievo nello scenario offline. Tuttavia, i flussi video online, una delle forme di media più comuni nel mondo reale, hanno ricevuto scarsa attenzione. Rispetto ai video offline, la natura "dinamica" dei flussi video online pone sfide per l'applicazione diretta dei modelli esistenti e introduce nuovi problemi, come la memorizzazione di informazioni a lunghissimo termine e l'interazione tra contenuti visivi continui e domande "asincrone" degli utenti. Pertanto, in questo articolo presentiamo Flash-VStream, un modello video-linguistico che simula il meccanismo di memoria umano. Il nostro modello è in grado di elaborare flussi video estremamente lunghi in tempo reale e rispondere simultaneamente alle query degli utenti. Rispetto ai modelli esistenti, Flash-VStream ottiene riduzioni significative nella latenza di inferenza e nel consumo di VRAM, aspetti strettamente correlati alla comprensione dei flussi video online. Inoltre, considerando che i benchmark esistenti per la comprensione video si concentrano prevalentemente sullo scenario offline, proponiamo VStream-QA, un nuovo benchmark di question answering specificamente progettato per la comprensione dei flussi video online. I confronti con i metodi esistenti più popolari sul benchmark proposto dimostrano la superiorità del nostro metodo in un contesto così impegnativo. Per verificare la generalizzabilità del nostro approccio, lo valutiamo ulteriormente sui benchmark esistenti per la comprensione video, ottenendo prestazioni all'avanguardia anche negli scenari offline. Tutti i codici, i modelli e i dataset sono disponibili all'indirizzo https://invinciblewyq.github.io/vstream-page/.

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/