RIVER: Ein Echtzeit-Interaktionsbenchmark für Video-LLMs
RIVER: A Real-Time Interaction Benchmark for Video LLMs
March 4, 2026
Autoren: Yansong Shi, Qingsong Zhao, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang
cs.AI
Zusammenfassung
Die rasante Entwicklung multimodaler großer Sprachmodelle hat beeindruckende Fähigkeiten demonstriert, doch arbeiten nahezu alle in einem Offline-Paradigma, was Echtzeitinteraktivität behindert. Um diese Lücke zu schließen, stellen wir den Real-tIme Video intERaction Bench (RIVER Bench) vor, der zur Bewertung des Online-Videoverständnisses konzipiert ist. RIVER Bench führt einen neuartigen Rahmen ein, der Aufgaben zum retrospektiven Gedächtnis, zur Live-Wahrnehmung und zur proaktiven Antizipation umfasst und damit interaktive Dialoge enger nachahmt, anstatt auf gesamte Videos auf einmal zu reagieren. Wir führten detaillierte Annotationen mit Videos aus verschiedenen Quellen und unterschiedlicher Länge durch und definierten präzise das Echtzeit-Interaktionsformat. Evaluationen über verschiedene Modellkategorien hinweg zeigen, dass Offline-Modelle zwar bei einzelnen Frage-Antwort-Aufgaben gut abschneiden, jedoch mit der Echtzeitverarbeitung kämpfen. Um die Grenzen bestehender Modelle bei der Online-Videointeraktion, insbesondere ihre Defizite im Langzeitgedächtnis und der Zukunfts-wahrnehmung, anzugehen, schlugen wir eine allgemeine Verbesserungsmethode vor, die es Modellen ermöglicht, flexibler in Echtzeit mit Nutzern zu interagieren. Wir sind überzeugt, dass diese Arbeit die Entwicklung von Echtzeit-Videoverständnismodellen erheblich voranbringen und zukünftige Forschung in diesem aufstrebenden Feld inspirieren wird. Datensätze und Code sind öffentlich verfügbar unter https://github.com/OpenGVLab/RIVER.
English
The rapid advancement of multimodal large language models has demonstrated impressive capabilities, yet nearly all operate in an offline paradigm, hindering real-time interactivity. Addressing this gap, we introduce the Real-tIme Video intERaction Bench (RIVER Bench), designed for evaluating online video comprehension. RIVER Bench introduces a novel framework comprising Retrospective Memory, Live-Perception, and Proactive Anticipation tasks, closely mimicking interactive dialogues rather than responding to entire videos at once. We conducted detailed annotations using videos from diverse sources and varying lengths, and precisely defined the real-time interactive format. Evaluations across various model categories reveal that while offline models perform well in single question-answering tasks, they struggle with real-time processing. Addressing the limitations of existing models in online video interaction, especially their deficiencies in long-term memory and future perception, we proposed a general improvement method that enables models to interact with users more flexibly in real time. We believe this work will significantly advance the development of real-time interactive video understanding models and inspire future research in this emerging field. Datasets and code are publicly available at https://github.com/OpenGVLab/RIVER.