Pensamiento en Transmisión de Video: Los VideoLLM Pueden Ver y Pensar Simultáneamente
Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously
March 12, 2026
Autores: Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai
cs.AI
Resumen
Los Modelos de Lenguaje Grandes para Video en Línea (VideoLLMs) desempeñan un papel crucial en el soporte de interacciones receptivas y en tiempo real. Los métodos existentes se centran en la percepción de flujo continuo, careciendo de una corriente de razonamiento lógico sincronizada. Sin embargo, la aplicación directa de métodos de escalado en tiempo de prueba incurre en una latencia de respuesta inaceptable. Para abordar esta disyuntiva, proponemos Video Streaming Thinking (VST), un paradigma novedoso para la comprensión de video en flujo continuo. Este soporta un mecanismo de "pensar mientras se ve", que activa el razonamiento sobre fragmentos de video entrantes durante la transmisión. Este diseño mejora la comprensión oportuna y la cognición coherente, preservando al mismo tiempo la capacidad de respuesta en tiempo real al amortiguar la latencia del razonamiento del LLM durante la reproducción del video. Además, introducimos una pipeline integral de post-entrenamiento que integra VST-SFT, que adapta estructuralmente el VideoLLM offline al razonamiento causal en flujo continuo, y VST-RL, que proporciona una mejora de extremo a extremo mediante auto-exploración en un entorno de interacción de video multi-turno. Adicionalmente, diseñamos una pipeline automatizada de síntesis de datos de entrenamiento que utiliza grafos de conocimiento de video para generar pares de preguntas y respuestas (QA) de flujo continuo de alta calidad, con una Cadena de Pensamiento (Chain-of-Thought) anclada en entidades y relaciones para reforzar el razonamiento multi-evidencial y la atención sostenida al flujo de video. Evaluaciones exhaustivas muestran que VST-7B tiene un rendimiento sólido en benchmarks en línea, por ejemplo, 79.5% en StreamingBench y 59.3% en OVO-Bench. Simultáneamente, VST se mantiene competitivo en benchmarks offline de formato largo o de razonamiento. En comparación con Video-R1, VST responde 15.7 veces más rápido y logra una mejora del +5.4% en VideoHolmes, demostrando una mayor eficiencia y una fuerte generalización en diversas tareas de comprensión de video. El código, los datos y los modelos se publicarán en https://github.com/1ranGuan/VST.
English
Online Video Large Language Models (VideoLLMs) play a critical role in supporting responsive, real-time interaction. Existing methods focus on streaming perception, lacking a synchronized logical reasoning stream. However, directly applying test-time scaling methods incurs unacceptable response latency. To address this trade-off, we propose Video Streaming Thinking (VST), a novel paradigm for streaming video understanding. It supports a thinking while watching mechanism, which activates reasoning over incoming video clips during streaming. This design improves timely comprehension and coherent cognition while preserving real-time responsiveness by amortizing LLM reasoning latency over video playback. Furthermore, we introduce a comprehensive post-training pipeline that integrates VST-SFT, which structurally adapts the offline VideoLLM to causal streaming reasoning, and VST-RL, which provides end-to-end improvement through self-exploration in a multi-turn video interaction environment. Additionally, we devise an automated training-data synthesis pipeline that uses video knowledge graphs to generate high-quality streaming QA pairs, with an entity-relation grounded streaming Chain-of-Thought to enforce multi-evidence reasoning and sustained attention to the video stream. Extensive evaluations show that VST-7B performs strongly on online benchmarks, e.g. 79.5% on StreamingBench and 59.3% on OVO-Bench. Meanwhile, VST remains competitive on offline long-form or reasoning benchmarks. Compared with Video-R1, VST responds 15.7 times faster and achieves +5.4% improvement on VideoHolmes, demonstrating higher efficiency and strong generalization across diverse video understanding tasks. Code, data, and models will be released at https://github.com/1ranGuan/VST.