Flash-VStream: память на основе реального времени понимание для длинных видеопотоков

Flash-VStream: Memory-Based Real-Time Understanding for Long Video Streams

June 12, 2024

Авторы: Haoji Zhang, Yiqin Wang, Yansong Tang, Yong Liu, Jiashi Feng, Jifeng Dai, Xiaojie Jin

cs.AI

Аннотация

Благодаря прогрессу в области крупных языковых моделей и кросс-модальной согласованности, существующие методы мультимодального понимания видео достигли выдающихся результатов в офлайн-сценариях. Однако онлайн-потоки видео, являющиеся одной из наиболее распространенных форм медиаконтента в реальном мире, редко привлекали внимание. По сравнению с офлайн-видео, "динамичная" природа онлайн-потоков видео создает вызовы для прямого применения существующих моделей и вводит новые проблемы, такие как хранение крайне долгосрочной информации, взаимодействие между непрерывным визуальным контентом и "асинхронными" вопросами пользователей. Поэтому в данной статье мы представляем Flash-VStream, модель видео-языка, которая имитирует механизм памяти человека. Наша модель способна обрабатывать крайне длинные потоки видео в реальном времени и одновременно отвечать на запросы пользователей. По сравнению с существующими моделями, Flash-VStream достигает значительного снижения задержки вывода и потребления VRAM, что тесно связано с пониманием онлайн-потоков видео. Кроме того, учитывая, что существующие бенчмарки по пониманию видео в основном сосредоточены на офлайн-сценариях, мы предлагаем VStream-QA, новый бенчмарк вопросов и ответов, специально разработанный для понимания онлайн-потоков видео. Сравнения с популярными существующими методами на предложенном бенчмарке демонстрируют превосходство нашего метода в таком сложном контексте. Для проверки обобщаемости нашего подхода мы также оцениваем его на существующих бенчмарках по пониманию видео и достигаем передовых результатов в офлайн-сценариях. Весь код, модели и наборы данных доступны на https://invinciblewyq.github.io/vstream-page/

English

Benefiting from the advancements in large language models and cross-modal alignment, existing multi-modal video understanding methods have achieved prominent performance in offline scenario. However, online video streams, as one of the most common media forms in the real world, have seldom received attention. Compared to offline videos, the 'dynamic' nature of online video streams poses challenges for the direct application of existing models and introduces new problems, such as the storage of extremely long-term information, interaction between continuous visual content and 'asynchronous' user questions. Therefore, in this paper we present Flash-VStream, a video-language model that simulates the memory mechanism of human. Our model is able to process extremely long video streams in real-time and respond to user queries simultaneously. Compared to existing models, Flash-VStream achieves significant reductions in inference latency and VRAM consumption, which is intimately related to performing understanding of online streaming video. In addition, given that existing video understanding benchmarks predominantly concentrate on offline scenario, we propose VStream-QA, a novel question answering benchmark specifically designed for online video streaming understanding. Comparisons with popular existing methods on the proposed benchmark demonstrate the superiority of our method for such challenging setting. To verify the generalizability of our approach, we further evaluate it on existing video understanding benchmarks and achieves state-of-the-art performance in offline scenarios as well. All code, models, and datasets are available at the https://invinciblewyq.github.io/vstream-page/