TimeChat-Online: 80% визуальных токенов естественным образом избыточны в потоковых видео

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Авторы: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Аннотация

Быстрый рост онлайн-видеоплатформ, особенно сервисов прямой трансляции, создал острую потребность в системах понимания видео в реальном времени. Эти системы должны обрабатывать непрерывные видеопотоки и мгновенно реагировать на запросы пользователей, что представляет уникальные вызовы для современных Видео-Больших Языковых Моделей (VideoLLMs). Хотя существующие VideoLLMs отлично справляются с обработкой завершенных видео, они сталкиваются с серьезными ограничениями в сценариях потоковой передачи из-за неспособности эффективно обрабатывать плотные, избыточные кадры. Мы представляем TimeChat-Online — новую онлайн VideoLLM, которая революционизирует взаимодействие с видео в реальном времени. В ее основе лежит наш инновационный модуль Differential Token Drop (DTD), который решает фундаментальную проблему визуальной избыточности в потоковых видео. Вдохновляясь феноменом "слепоты к изменениям" в человеческом зрении, DTD сохраняет значимые временные изменения, отфильтровывая статичный, избыточный контент между кадрами. Примечательно, что наши эксперименты показывают, что DTD достигает сокращения видеотокенов на 82,8%, сохраняя при этом 98% производительности на StreamingBench, что свидетельствует о том, что более 80% визуального контента в потоковых видео естественно избыточны без необходимости языкового руководства. Для обеспечения плавного взаимодействия в реальном времени мы представляем TimeChat-Online-139K — всеобъемлющий набор данных потокового видео, включающий разнообразные шаблоны взаимодействия, такие как обратный поиск, текущее восприятие и реагирование на будущие сценарии. Уникальная способность TimeChat-Online к "Проактивному Ответу", естественно достигаемая за счет непрерывного мониторинга переходов сцен через DTD, выделяет ее среди традиционных подходов. Наши обширные оценки демонстрируют превосходную производительность TimeChat-Online на потоковых тестах (StreamingBench и OvOBench) и сохранение конкурентоспособных результатов на задачах с длинными видео, таких как Video-MME и MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.