RIVER: Um Benchmark de Interação em Tempo Real para Video LLMs
RIVER: A Real-Time Interaction Benchmark for Video LLMs
March 4, 2026
Autores: Yansong Shi, Qingsong Zhao, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang
cs.AI
Resumo
O rápido avanço dos modelos de linguagem multimodal de grande escala demonstrou capacidades impressionantes, mas quase todos operam em um paradigma offline, dificultando a interatividade em tempo real. Para preencher essa lacuna, introduzimos o Real-tIme Video intERaction Bench (RIVER Bench), projetado para avaliar a compreensão de vídeos online. O RIVER Bench introduz uma estrutura inovadora composta por tarefas de Memória Retrospectiva, Percepção ao Vivo e Antecipação Proativa, imitando de perto diálogos interativos em vez de responder a vídeos inteiros de uma só vez. Realizamos anotações detalhadas usando vídeos de diversas fontes e comprimentos variados, e definimos precisamente o formato interativo em tempo real. Avaliações em várias categorias de modelos revelam que, embora os modelos offline tenham bom desempenho em tarefas de resposta única, eles lutam com o processamento em tempo real. Para abordar as limitações dos modelos existentes na interação com vídeos online, especialmente suas deficiências em memória de longo prazo e percepção futura, propusemos um método de melhoria geral que permite aos modelos interagir com os usuários de forma mais flexível em tempo real. Acreditamos que este trabalho avançará significativamente o desenvolvimento de modelos de compreensão de vídeo interativos em tempo real e inspirará pesquisas futuras neste campo emergente. Conjuntos de dados e código estão publicamente disponíveis em https://github.com/OpenGVLab/RIVER.
English
The rapid advancement of multimodal large language models has demonstrated impressive capabilities, yet nearly all operate in an offline paradigm, hindering real-time interactivity. Addressing this gap, we introduce the Real-tIme Video intERaction Bench (RIVER Bench), designed for evaluating online video comprehension. RIVER Bench introduces a novel framework comprising Retrospective Memory, Live-Perception, and Proactive Anticipation tasks, closely mimicking interactive dialogues rather than responding to entire videos at once. We conducted detailed annotations using videos from diverse sources and varying lengths, and precisely defined the real-time interactive format. Evaluations across various model categories reveal that while offline models perform well in single question-answering tasks, they struggle with real-time processing. Addressing the limitations of existing models in online video interaction, especially their deficiencies in long-term memory and future perception, we proposed a general improvement method that enables models to interact with users more flexibly in real time. We believe this work will significantly advance the development of real-time interactive video understanding models and inspire future research in this emerging field. Datasets and code are publicly available at https://github.com/OpenGVLab/RIVER.