VRBench: Ein Benchmark für mehrstufiges Schlussfolgern in langen narrativen Videos

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

June 12, 2025

Autoren: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang

cs.AI

Zusammenfassung

Wir präsentieren VRBench, den ersten Benchmark für lange narrative Videos, der speziell zur Bewertung der mehrstufigen Denkfähigkeiten großer Modelle entwickelt wurde. Er adressiert die Einschränkungen bestehender Evaluierungen, die zeitliches Denken und prozedurale Gültigkeit vernachlässigen. VRBench umfasst 1.010 lange Videos (mit einer durchschnittlichen Dauer von 1,6 Stunden) sowie 9.468 von Menschen annotierte mehrstufige Frage-Antwort-Paare und 30.292 Denkschritte mit Zeitstempeln. Diese Videos wurden durch einen mehrstufigen Filterprozess kuratiert, der eine Expertenbewertung zur Sicherstellung der Handlungskohärenz beinhaltet. Wir entwickeln ein Mensch-KI-Kollaborationsframework, das kohärente Denkketten erzeugt, die jeweils mehrere zeitlich verankerte Schritte erfordern und sieben Kategorien (z. B. Ereigniszuschreibung, implizite Schlussfolgerung) abdecken. VRBench entwirft eine mehrphasige Evaluationspipeline, die Modelle sowohl auf Ergebnis- als auch auf Prozessebene bewertet. Neben Multiple-Choice-Fragen (MCQs) für die Endergebnisse schlagen wir eine Fortschrittsbewertung vor, die durch ein LLM gesteuert wird, um die Qualität der Denkkette aus mehreren Dimensionen umfassend zu bewerten. Durch umfangreiche Evaluierungen von 12 LLMs und 16 VLMs auf VRBench führen wir eine detaillierte Analyse durch und liefern wertvolle Erkenntnisse, die das Feld des mehrstufigen Denkens voranbringen.

English

We present VRBench, the first long narrative video benchmark crafted for evaluating large models' multi-step reasoning capabilities, addressing limitations in existing evaluations that overlook temporal reasoning and procedural validity. It comprises 1,010 long videos (with an average duration of 1.6 hours), along with 9,468 human-labeled multi-step question-answering pairs and 30,292 reasoning steps with timestamps. These videos are curated via a multi-stage filtering process including expert inter-rater reviewing to prioritize plot coherence. We develop a human-AI collaborative framework that generates coherent reasoning chains, each requiring multiple temporally grounded steps, spanning seven types (e.g., event attribution, implicit inference). VRBench designs a multi-phase evaluation pipeline that assesses models at both the outcome and process levels. Apart from the MCQs for the final results, we propose a progress-level LLM-guided scoring metric to evaluate the quality of the reasoning chain from multiple dimensions comprehensively. Through extensive evaluations of 12 LLMs and 16 VLMs on VRBench, we undertake a thorough analysis and provide valuable insights that advance the field of multi-step reasoning.