VRBench: Un Benchmark per il Ragionamento Multi-Passo nei Video Narrativi Lunghi
VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos
June 12, 2025
Autori: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang
cs.AI
Abstract
Presentiamo VRBench, il primo benchmark di video narrativi lunghi progettato per valutare le capacità di ragionamento multi-step dei modelli di grandi dimensioni, affrontando le limitazioni delle valutazioni esistenti che trascurano il ragionamento temporale e la validità procedurale. Esso comprende 1.010 video lunghi (con una durata media di 1,6 ore), insieme a 9.468 coppie domanda-risposta multi-step etichettate manualmente e 30.292 passaggi di ragionamento con timestamp. Questi video sono selezionati attraverso un processo di filtraggio multi-fase che include una revisione inter-rater da parte di esperti per garantire la coerenza della trama. Sviluppiamo un framework collaborativo uomo-IA che genera catene di ragionamento coerenti, ciascuna delle quali richiede più passaggi temporalmente ancorati, abbracciando sette tipologie (ad esempio, attribuzione di eventi, inferenza implicita). VRBench progetta una pipeline di valutazione multi-fase che valuta i modelli sia a livello di risultato che di processo. Oltre ai MCQ per i risultati finali, proponiamo una metrica di punteggio guidata da LLM a livello di progresso per valutare la qualità della catena di ragionamento da molteplici dimensioni in modo completo. Attraverso valutazioni estensive di 12 LLM e 16 VLM su VRBench, conduciamo un'analisi approfondita e forniamo preziose intuizioni che fanno progredire il campo del ragionamento multi-step.
English
We present VRBench, the first long narrative video benchmark crafted for
evaluating large models' multi-step reasoning capabilities, addressing
limitations in existing evaluations that overlook temporal reasoning and
procedural validity. It comprises 1,010 long videos (with an average duration
of 1.6 hours), along with 9,468 human-labeled multi-step question-answering
pairs and 30,292 reasoning steps with timestamps. These videos are curated via
a multi-stage filtering process including expert inter-rater reviewing to
prioritize plot coherence. We develop a human-AI collaborative framework that
generates coherent reasoning chains, each requiring multiple temporally
grounded steps, spanning seven types (e.g., event attribution, implicit
inference). VRBench designs a multi-phase evaluation pipeline that assesses
models at both the outcome and process levels. Apart from the MCQs for the
final results, we propose a progress-level LLM-guided scoring metric to
evaluate the quality of the reasoning chain from multiple dimensions
comprehensively. Through extensive evaluations of 12 LLMs and 16 VLMs on
VRBench, we undertake a thorough analysis and provide valuable insights that
advance the field of multi-step reasoning.