TimeChat-Online: ストリーミング動画における視覚トークンの80%は自然に冗長である

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

著者: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

要旨

オンラインビデオプラットフォーム、特にライブストリーミングサービスの急速な成長は、リアルタイムビデオ理解システムの緊急な必要性を生み出しています。これらのシステムは、連続的なビデオストリームを処理し、ユーザーのクエリに即座に対応する必要があり、現在のビデオ大規模言語モデル（VideoLLMs）にとって独特の課題を提示しています。既存のVideoLLMsは完全なビデオの処理に優れていますが、ストリーミングシナリオでは、高密度で冗長なフレームを効率的に処理できないため、大きな制限に直面しています。私たちは、リアルタイムビデオインタラクションを革新する新しいオンラインVideoLLMであるTimeChat-Onlineを紹介します。その中核には、ストリーミングビデオにおける視覚的冗長性の根本的な課題に対処する革新的な差分トークンドロップ（DTD）モジュールがあります。DTDは、人間の視覚知覚の「変化盲」現象に着想を得て、フレーム間の静的で冗長なコンテンツをフィルタリングしながら、意味のある時間的変化を保持します。驚くべきことに、私たちの実験では、DTDがビデオトークンを82.8％削減しながら、StreamingBenchで98％の性能を維持することが示され、ストリーミングビデオの視覚コンテンツの80％以上が言語ガイダンスを必要とせずに自然に冗長であることが明らかになりました。シームレスなリアルタイムインタラクションを可能にするために、後方追跡、現在の知覚、未来応答シナリオを含む多様なインタラクションパターンを特徴とする包括的なストリーミングビデオデータセットであるTimeChat-Online-139Kを提示します。TimeChat-Onlineの独自のProactive Response機能は、DTDを介したビデオシーンの遷移の継続的な監視を通じて自然に達成され、従来のアプローチとは一線を画します。私たちの広範な評価は、TimeChat-Onlineがストリーミングベンチマーク（StreamingBenchおよびOvOBench）で優れた性能を発揮し、Video-MMEやMLVUなどの長編ビデオタスクで競争力のある結果を維持することを示しています。

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.