TimeChat-Online: l'80% dei Token Visivi è Naturalmente Ridondante nei Video in Streaming

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Autori: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Abstract

La rapida crescita delle piattaforme video online, in particolare dei servizi di live streaming, ha creato un'esigenza urgente di sistemi di comprensione video in tempo reale. Questi sistemi devono elaborare flussi video continui e rispondere alle query degli utenti istantaneamente, presentando sfide uniche per gli attuali Modelli Linguistici di Grande Dimensione per Video (VideoLLM). Mentre i VideoLLM esistenti eccellono nell'elaborazione di video completi, affrontano limitazioni significative negli scenari di streaming a causa della loro incapacità di gestire in modo efficiente frame densi e ridondanti. Introduciamo TimeChat-Online, un innovativo VideoLLM online che rivoluziona l'interazione video in tempo reale. Al suo cuore si trova il nostro innovativo modulo Differential Token Drop (DTD), che affronta la sfida fondamentale della ridondanza visiva nei video in streaming. Traendo ispirazione dal fenomeno del Change Blindness nella percezione visiva umana, il DTD preserva i cambiamenti temporali significativi filtrando i contenuti statici e ridondanti tra i frame. In modo notevole, i nostri esperimenti dimostrano che il DTD raggiunge una riduzione dell'82,8% nei token video mantenendo il 98% delle prestazioni su StreamingBench, rivelando che oltre l'80% del contenuto visivo nei video in streaming è naturalmente ridondante senza richiedere una guida linguistica. Per abilitare un'interazione in tempo reale senza soluzione di continuità, presentiamo TimeChat-Online-139K, un dataset completo di video in streaming che include diversi modelli di interazione, tra cui scenari di tracciamento all'indietro, percezione corrente e risposta futura. La capacità unica di Risposta Proattiva di TimeChat-Online, ottenuta naturalmente attraverso il monitoraggio continuo delle transizioni delle scene video tramite DTD, la distingue dagli approcci convenzionali. La nostra valutazione estensiva dimostra la superiorità delle prestazioni di TimeChat-Online sui benchmark di streaming (StreamingBench e OvOBench) e il mantenimento di risultati competitivi su compiti video di lunga durata come Video-MME e MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.