Pensamento em Transmissão de Vídeo: VideoLLMs Podem Assistir e Pensar Simultaneamente
Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously
March 12, 2026
Autores: Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai
cs.AI
Resumo
Os Modelos de Linguagem de Grande Porte para Vídeo Online (VideoLLMs) desempenham um papel crucial no suporte a interações responsivas em tempo real. Os métodos existentes concentram-se na percepção de streaming, carecendo de um fluxo de raciocínio lógico sincronizado. No entanto, a aplicação direta de métodos de escalonamento em tempo de teste incorre em latência de resposta inaceitável. Para resolver este compromisso, propomos o Video Streaming Thinking (VST), um novo paradigma para compreensão de vídeo em streaming. Ele suporta um mecanismo de "pensar enquanto assiste", que ativa o raciocínio sobre clipes de vídeo recebidos durante o streaming. Este projeto melhora a compreensão oportuna e a cognição coerente, preservando a capacidade de resposta em tempo real ao amortizar a latência de raciocínio do LLM durante a reprodução do vídeo. Além disso, introduzimos um pipeline abrangente de pós-treinamento que integra o VST-SFT, que adapta estruturalmente o VideoLLM offline para o raciocínio causal em streaming, e o VST-RL, que fornece melhorias de ponta a ponta por meio da autoexploração em um ambiente de interação de vídeo multirrodada. Adicionalmente, concebemos um pipeline automatizado de síntese de dados de treinamento que utiliza grafos de conhecimento de vídeo para gerar pares de perguntas e respostas (QA) de streaming de alta qualidade, com uma Corrente de Pensamento (Chain-of-Thought) fundamentada em entidades e relações para reforçar o raciocínio baseado em múltiplas evidências e a atenção sustentada ao fluxo de vídeo. Avaliações extensivas mostram que o VST-7B tem um desempenho sólido em benchmarks online, por exemplo, 79,5% no StreamingBench e 59,3% no OVO-Bench. Paralelamente, o VST mantém-se competitivo em benchmarks offline de longa duração ou de raciocínio. Em comparação com o Video-R1, o VST responde 15,7 vezes mais rápido e alcança uma melhoria de +5,4% no VideoHolmes, demonstrando maior eficiência e forte generalização em diversas tarefas de compreensão de vídeo. Código, dados e modelos serão disponibilizados em https://github.com/1ranGuan/VST.
English
Online Video Large Language Models (VideoLLMs) play a critical role in supporting responsive, real-time interaction. Existing methods focus on streaming perception, lacking a synchronized logical reasoning stream. However, directly applying test-time scaling methods incurs unacceptable response latency. To address this trade-off, we propose Video Streaming Thinking (VST), a novel paradigm for streaming video understanding. It supports a thinking while watching mechanism, which activates reasoning over incoming video clips during streaming. This design improves timely comprehension and coherent cognition while preserving real-time responsiveness by amortizing LLM reasoning latency over video playback. Furthermore, we introduce a comprehensive post-training pipeline that integrates VST-SFT, which structurally adapts the offline VideoLLM to causal streaming reasoning, and VST-RL, which provides end-to-end improvement through self-exploration in a multi-turn video interaction environment. Additionally, we devise an automated training-data synthesis pipeline that uses video knowledge graphs to generate high-quality streaming QA pairs, with an entity-relation grounded streaming Chain-of-Thought to enforce multi-evidence reasoning and sustained attention to the video stream. Extensive evaluations show that VST-7B performs strongly on online benchmarks, e.g. 79.5% on StreamingBench and 59.3% on OVO-Bench. Meanwhile, VST remains competitive on offline long-form or reasoning benchmarks. Compared with Video-R1, VST responds 15.7 times faster and achieves +5.4% improvement on VideoHolmes, demonstrating higher efficiency and strong generalization across diverse video understanding tasks. Code, data, and models will be released at https://github.com/1ranGuan/VST.