VRBench: Een Benchmark voor Multi-Stap Redeneren in Lange Narratieve Video's

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

June 12, 2025

Auteurs: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang

cs.AI

Samenvatting

We presenteren VRBench, de eerste langdurige narratieve videobenchmark ontwikkeld voor het evalueren van de multi-stap redeneervaardigheden van grote modellen, waarbij beperkingen in bestaande evaluaties worden aangepakt die temporeel redeneren en procedurele geldigheid over het hoofd zien. Het bestaat uit 1.010 lange video's (met een gemiddelde duur van 1,6 uur), samen met 9.468 door mensen gelabelde multi-stap vraag-antwoordparen en 30.292 redeneerstappen met tijdstempels. Deze video's zijn samengesteld via een meerfasig filterproces, inclusief expertbeoordeling om plotcoherentie te waarborgen. We ontwikkelen een mens-AI-samenwerkingskader dat coherente redeneerketens genereert, elk vereist meerdere temporeel verankerde stappen, die zeven typen omvatten (bijv. gebeurtenistoeschrijving, impliciete inferentie). VRBench ontwerpt een meerfasige evaluatiepijplijn die modellen beoordeelt op zowel uitkomst- als procesniveau. Naast de meerkeuzevragen voor de eindresultaten, stellen we een voortgangsgerichte LLM-gestuurde scoringsmetriek voor om de kwaliteit van de redeneerketen vanuit meerdere dimensies uitgebreid te evalueren. Door uitgebreide evaluaties van 12 LLM's en 16 VLM's op VRBench, voeren we een grondige analyse uit en bieden we waardevolle inzichten die het veld van multi-stap redeneren vooruithelpen.

English

We present VRBench, the first long narrative video benchmark crafted for evaluating large models' multi-step reasoning capabilities, addressing limitations in existing evaluations that overlook temporal reasoning and procedural validity. It comprises 1,010 long videos (with an average duration of 1.6 hours), along with 9,468 human-labeled multi-step question-answering pairs and 30,292 reasoning steps with timestamps. These videos are curated via a multi-stage filtering process including expert inter-rater reviewing to prioritize plot coherence. We develop a human-AI collaborative framework that generates coherent reasoning chains, each requiring multiple temporally grounded steps, spanning seven types (e.g., event attribution, implicit inference). VRBench designs a multi-phase evaluation pipeline that assesses models at both the outcome and process levels. Apart from the MCQs for the final results, we propose a progress-level LLM-guided scoring metric to evaluate the quality of the reasoning chain from multiple dimensions comprehensively. Through extensive evaluations of 12 LLMs and 16 VLMs on VRBench, we undertake a thorough analysis and provide valuable insights that advance the field of multi-step reasoning.