Flash-VStream: Speicherbasiertes Echtzeitverständnis für lange Videostreams

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

Autoren: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

Zusammenfassung

Dank der Fortschritte bei großen Sprachmodellen und der Kreuzmodalen Ausrichtung haben bestehende multimodale Videoverständnis-Methoden eine herausragende Leistung in Offline-Szenarien erzielt. Online-Videostreams, als eine der häufigsten Medienformen in der realen Welt, wurden jedoch selten beachtet. Im Vergleich zu Offline-Videos stellt die "dynamische" Natur von Online-Videostreams Herausforderungen für die direkte Anwendung bestehender Modelle dar und führt zu neuen Problemen, wie der Speicherung von extrem langfristigen Informationen, der Interaktion zwischen kontinuierlichen visuellen Inhalten und "asynchronen" Benutzerfragen. Daher präsentieren wir in diesem Papier Flash-VStream, ein Video-Sprachmodell, das den Speichermechanismus des Menschen simuliert. Unser Modell kann extrem lange Videostreams in Echtzeit verarbeiten und gleichzeitig auf Benutzeranfragen antworten. Im Vergleich zu bestehenden Modellen erzielt Flash-VStream signifikante Reduzierungen bei der Inferenzlatenz und dem VRAM-Verbrauch, was eng mit dem Verständnis von Online-Streaming-Videos zusammenhängt. Darüber hinaus schlagen wir angesichts der Tatsache, dass bestehende Videoverständnis-Benchmarks hauptsächlich auf Offline-Szenarien ausgerichtet sind, VStream-QA vor, einen neuartigen Frage-Antwort-Benchmark, der speziell für das Verständnis von Online-Video-Streaming entwickelt wurde. Vergleiche mit beliebten bestehenden Methoden auf dem vorgeschlagenen Benchmark zeigen die Überlegenheit unserer Methode für solche anspruchsvollen Szenarien. Um die Verallgemeinerbarkeit unseres Ansatzes zu überprüfen, bewerten wir ihn weiterhin an bestehenden Videoverständnis-Benchmarks und erzielen ebenfalls eine Spitzenleistung in Offline-Szenarien. Der gesamte Code, Modelle und Datensätze sind unter https://invinciblewyq.github.io/vstream-page/ verfügbar.

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/