RIVER: Бенчмарк для оценки взаимодействия в реальном времени для видео-больших языковых моделей
RIVER: A Real-Time Interaction Benchmark for Video LLMs
March 4, 2026
Авторы: Yansong Shi, Qingsong Zhao, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang
cs.AI
Аннотация
Быстрое развитие мультимодальных больших языковых моделей продемонстрировало впечатляющие возможности, однако почти все они работают в офлайн-парадигме, что ограничивает интерактивность в реальном времени. Для устранения этого пробела мы представляем бенчмарк Real-tIme Video intERaction Bench (RIVER Bench), предназначенный для оценки понимания видео в онлайн-режиме. RIVER Bench вводит новую структуру, включающую задачи ретроспективной памяти, восприятия в реальном времени и проактивного прогнозирования, что близко имитирует интерактивные диалоги вместо ответов на целые видео за один раз. Мы провели детальную разметку с использованием видео из различных источников и разной продолжительности, а также точно определили формат взаимодействия в реальном времени. Оценка различных категорий моделей показывает, что хотя офлайн-модели хорошо справляются с задачами ответов на единичные вопросы, они испытывают трудности с обработкой в реальном времени. Учитывая ограничения существующих моделей в интерактивном взаимодействии с видео, особенно их недостатки в долговременной памяти и прогнозировании будущего, мы предложили универсальный метод улучшения, позволяющий моделям более гибко взаимодействовать с пользователями в реальном времени. Мы считаем, что эта работа значительно продвинет разработку моделей понимания видео с интерактивностью в реальном времени и вдохновит будущие исследования в этой новой области. Наборы данных и код общедоступны по адресу https://github.com/OpenGVLab/RIVER.
English
The rapid advancement of multimodal large language models has demonstrated impressive capabilities, yet nearly all operate in an offline paradigm, hindering real-time interactivity. Addressing this gap, we introduce the Real-tIme Video intERaction Bench (RIVER Bench), designed for evaluating online video comprehension. RIVER Bench introduces a novel framework comprising Retrospective Memory, Live-Perception, and Proactive Anticipation tasks, closely mimicking interactive dialogues rather than responding to entire videos at once. We conducted detailed annotations using videos from diverse sources and varying lengths, and precisely defined the real-time interactive format. Evaluations across various model categories reveal that while offline models perform well in single question-answering tasks, they struggle with real-time processing. Addressing the limitations of existing models in online video interaction, especially their deficiencies in long-term memory and future perception, we proposed a general improvement method that enables models to interact with users more flexibly in real time. We believe this work will significantly advance the development of real-time interactive video understanding models and inspire future research in this emerging field. Datasets and code are publicly available at https://github.com/OpenGVLab/RIVER.