TimeChat-Online: 80% dos Tokens Visuais são Naturalmente Redundantes em Vídeos em Streaming

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Autores: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Resumo

O rápido crescimento das plataformas de vídeo online, particularmente os serviços de transmissão ao vivo, criou uma necessidade urgente por sistemas de compreensão de vídeo em tempo real. Esses sistemas devem processar fluxos contínuos de vídeo e responder às consultas dos usuários instantaneamente, apresentando desafios únicos para os atuais Modelos de Linguagem de Grande Escala para Vídeo (VideoLLMs). Embora os VideoLLMs existentes se destaquem no processamento de vídeos completos, eles enfrentam limitações significativas em cenários de streaming devido à sua incapacidade de lidar eficientemente com quadros densos e redundantes. Apresentamos o TimeChat-Online, um novo VideoLLM online que revoluciona a interação em tempo real com vídeos. Em seu núcleo está nosso inovador módulo de Descarte Diferencial de Tokens (DTD), que aborda o desafio fundamental da redundância visual em vídeos de streaming. Inspirado pelo fenômeno da Cegueira à Mudança na percepção visual humana, o DTD preserva mudanças temporais significativas enquanto filtra conteúdo estático e redundante entre os quadros. Notavelmente, nossos experimentos demonstram que o DTD alcança uma redução de 82,8% nos tokens de vídeo enquanto mantém 98% de desempenho no StreamingBench, revelando que mais de 80% do conteúdo visual em vídeos de streaming é naturalmente redundante sem a necessidade de orientação linguística. Para permitir uma interação em tempo real perfeita, apresentamos o TimeChat-Online-139K, um conjunto abrangente de dados de vídeo de streaming que apresenta diversos padrões de interação, incluindo cenários de rastreamento para trás, percepção atual e resposta ao futuro. A capacidade única de Resposta Proativa do TimeChat-Online, naturalmente alcançada através do monitoramento contínuo das transições de cena de vídeo via DTD, o diferencia das abordagens convencionais. Nossa extensa avaliação demonstra o desempenho superior do TimeChat-Online em benchmarks de streaming (StreamingBench e OvOBench) e a manutenção de resultados competitivos em tarefas de vídeo de longa duração, como Video-MME e MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.