TimeChat-Online: El 80% de los tokens visuales son naturalmente redundantes en videos en streaming

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Autores: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Resumen

El rápido crecimiento de las plataformas de video en línea, particularmente los servicios de transmisión en vivo, ha creado una necesidad urgente de sistemas de comprensión de video en tiempo real. Estos sistemas deben procesar flujos de video continuos y responder a las consultas de los usuarios de manera instantánea, lo que presenta desafíos únicos para los Modelos de Lenguaje de Gran Escala para Video (VideoLLMs) actuales. Si bien los VideoLLMs existentes sobresalen en el procesamiento de videos completos, enfrentan limitaciones significativas en escenarios de transmisión debido a su incapacidad para manejar eficientemente marcos densos y redundantes. Presentamos TimeChat-Online, un novedoso VideoLLM en línea que revoluciona la interacción con video en tiempo real. En su núcleo se encuentra nuestro innovador módulo de Eliminación Diferencial de Tokens (DTD, por sus siglas en inglés), que aborda el desafío fundamental de la redundancia visual en videos en streaming. Inspirándonos en el fenómeno de la Ceguera al Cambio de la percepción visual humana, DTD preserva los cambios temporales significativos mientras filtra el contenido estático y redundante entre marcos. Notablemente, nuestros experimentos demuestran que DTD logra una reducción del 82.8% en los tokens de video mientras mantiene un 98% de rendimiento en StreamingBench, revelando que más del 80% del contenido visual en videos en streaming es naturalmente redundante sin necesidad de guía lingüística. Para permitir una interacción en tiempo real sin interrupciones, presentamos TimeChat-Online-139K, un conjunto de datos completo de video en streaming que incluye diversos patrones de interacción, como escenarios de rastreo hacia atrás, percepción actual y respuesta futura. La capacidad única de Respuesta Proactiva de TimeChat-Online, lograda naturalmente mediante el monitoreo continuo de las transiciones de escenas de video a través de DTD, la distingue de los enfoques convencionales. Nuestra evaluación exhaustiva demuestra el rendimiento superior de TimeChat-Online en benchmarks de streaming (StreamingBench y OvOBench) y su capacidad para mantener resultados competitivos en tareas de video de larga duración, como Video-MME y MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.