Flash-VStream: Geheugengebaseerd Real-Time Begrip voor Lange Videostreams

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

Auteurs: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

Samenvatting

Profiterend van de vooruitgang in grote taalmodellen en cross-modale afstemming, hebben bestaande multimodale video-begripmethoden opvallende prestaties bereikt in offline scenario's. Echter, online videostreams, als een van de meest voorkomende mediavormen in de echte wereld, hebben zelden aandacht gekregen. In vergelijking met offline video's, stelt de 'dynamische' aard van online videostreams uitdagingen voor de directe toepassing van bestaande modellen en introduceert nieuwe problemen, zoals de opslag van extreem langetermijninformatie, interactie tussen continue visuele inhoud en 'asynchrone' gebruikersvragen. Daarom presenteren we in dit artikel Flash-VStream, een video-taalmodel dat het geheugenmechanisme van de mens simuleert. Ons model is in staat om extreem lange videostreams in realtime te verwerken en tegelijkertijd te reageren op gebruikersvragen. In vergelijking met bestaande modellen, bereikt Flash-VStream aanzienlijke verminderingen in inferentielatentie en VRAM-verbruik, wat nauw samenhangt met het uitvoeren van begrip van online streamingvideo. Bovendien, gezien het feit dat bestaande video-begripbenchmarks zich voornamelijk concentreren op offline scenario's, stellen we VStream-QA voor, een nieuwe vraag-antwoordbenchmark specifiek ontworpen voor online videostreamingbegrip. Vergelijkingen met populaire bestaande methoden op de voorgestelde benchmark demonstreren de superioriteit van onze methode voor zo'n uitdagende setting. Om de generaliseerbaarheid van onze aanpak te verifiëren, evalueren we deze verder op bestaande video-begripbenchmarks en behalen we state-of-the-art prestaties in offline scenario's. Alle code, modellen en datasets zijn beschikbaar op https://invinciblewyq.github.io/vstream-page/.

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/