Flash-VStream: Compreensão em Tempo Real Baseada em Memória para Fluxos de Vídeo Longos

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

Autores: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

Resumo

Beneficiando-se dos avanços em grandes modelos de linguagem e alinhamento cruzado modal, os métodos existentes de compreensão de vídeo multimodal alcançaram um desempenho proeminente em cenários offline. No entanto, os fluxos de vídeo online, como uma das formas de mídia mais comuns no mundo real, raramente receberam atenção. Comparado aos vídeos offline, a natureza 'dinâmica' dos fluxos de vídeo online apresenta desafios para a aplicação direta de modelos existentes e introduz novos problemas, como o armazenamento de informações extremamente de longo prazo, interação entre conteúdo visual contínuo e perguntas de usuários 'assíncronas'. Portanto, neste artigo, apresentamos o Flash-VStream, um modelo de vídeo-linguagem que simula o mecanismo de memória humana. Nosso modelo é capaz de processar fluxos de vídeo extremamente longos em tempo real e responder a consultas de usuários simultaneamente. Em comparação com modelos existentes, o Flash-VStream alcança reduções significativas na latência de inferência e no consumo de VRAM, o que está intimamente relacionado à compreensão de vídeo em streaming online. Além disso, dado que os benchmarks existentes de compreensão de vídeo predominantemente se concentram em cenários offline, propomos o VStream-QA, um novo benchmark de perguntas e respostas especificamente projetado para a compreensão de vídeo em streaming online. Comparando com métodos existentes populares no benchmark proposto, demonstramos a superioridade de nosso método para esse ambiente desafiador. Para verificar a generalizabilidade de nossa abordagem, avaliamos ainda mais em benchmarks existentes de compreensão de vídeo e alcançamos um desempenho de ponta também em cenários offline. Todo o código, modelos e conjuntos de dados estão disponíveis em https://invinciblewyq.github.io/vstream-page/

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/