StreamBridge: Превращение вашей автономной видео-модели большого языка в активного потокового помощника

StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistant

May 8, 2025

Авторы: Haibo Wang, Bo Feng, Zhengfeng Lai, Mingze Xu, Shiyu Li, Weifeng Ge, Afshin Dehghan, Meng Cao, Ping Huang

cs.AI

Аннотация

Мы представляем StreamBridge — простую, но эффективную структуру, которая плавно преобразует автономные Video-LLM в модели, способные работать в потоковом режиме. Она решает две фундаментальные проблемы адаптации существующих моделей к онлайн-сценариям: (1) ограниченная способность к многозадачному пониманию в реальном времени и (2) отсутствие механизмов проактивного реагирования. В частности, StreamBridge включает (1) буфер памяти в сочетании со стратегией сжатия с круговым затуханием, поддерживающий длительные многозадачные взаимодействия, и (2) разделённую, лёгкую модель активации, которая может быть легко интегрирована в существующие Video-LLM, обеспечивая непрерывные проактивные ответы. Для дальнейшей поддержки StreamBridge мы создали Stream-IT — масштабный набор данных, адаптированный для потокового понимания видео, включающий чередующиеся видео-текстовые последовательности и разнообразные форматы инструкций. Многочисленные эксперименты показывают, что StreamBridge значительно улучшает способности автономных Video-LLM к потоковому пониманию в различных задачах, превосходя даже проприетарные модели, такие как GPT-4o и Gemini 1.5 Pro. Одновременно с этим он демонстрирует конкурентоспособные или превосходящие результаты на стандартных тестах понимания видео.

English

We present StreamBridge, a simple yet effective framework that seamlessly transforms offline Video-LLMs into streaming-capable models. It addresses two fundamental challenges in adapting existing models into online scenarios: (1) limited capability for multi-turn real-time understanding, and (2) lack of proactive response mechanisms. Specifically, StreamBridge incorporates (1) a memory buffer combined with a round-decayed compression strategy, supporting long-context multi-turn interactions, and (2) a decoupled, lightweight activation model that can be effortlessly integrated into existing Video-LLMs, enabling continuous proactive responses. To further support StreamBridge, we construct Stream-IT, a large-scale dataset tailored for streaming video understanding, featuring interleaved video-text sequences and diverse instruction formats. Extensive experiments show that StreamBridge significantly improves the streaming understanding capabilities of offline Video-LLMs across various tasks, outperforming even proprietary models such as GPT-4o and Gemini 1.5 Pro. Simultaneously, it achieves competitive or superior performance on standard video understanding benchmarks.