VRBench : Un Benchmark pour le Raisonnement Multi-Étapes dans les Vidéos Narratives Longues

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

June 12, 2025

Auteurs: Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang

cs.AI

Résumé

Nous présentons VRBench, le premier benchmark de vidéos narratives longues conçu pour évaluer les capacités de raisonnement multi-étapes des grands modèles, en répondant aux limites des évaluations existantes qui négligent le raisonnement temporel et la validité procédurale. Il comprend 1 010 vidéos longues (d’une durée moyenne de 1,6 heure), ainsi que 9 468 paires de questions-réponses multi-étapes annotées manuellement et 30 292 étapes de raisonnement avec des horodatages. Ces vidéos sont sélectionnées via un processus de filtrage en plusieurs étapes, incluant une revue inter-évaluateurs par des experts pour privilégier la cohérence narrative. Nous développons un cadre collaboratif humain-IA qui génère des chaînes de raisonnement cohérentes, chacune nécessitant plusieurs étapes temporellement ancrées, couvrant sept types (par exemple, attribution d’événements, inférence implicite). VRBench conçoit un pipeline d’évaluation multi-phase qui évalue les modèles à la fois au niveau des résultats et du processus. Outre les QCM pour les résultats finaux, nous proposons une métrique de notation guidée par LLM au niveau des progrès pour évaluer la qualité de la chaîne de raisonnement sous plusieurs dimensions de manière exhaustive. À travers des évaluations approfondies de 12 LLM et 16 VLM sur VRBench, nous menons une analyse approfondie et fournissons des insights précieux qui font progresser le domaine du raisonnement multi-étapes.

English

We present VRBench, the first long narrative video benchmark crafted for evaluating large models' multi-step reasoning capabilities, addressing limitations in existing evaluations that overlook temporal reasoning and procedural validity. It comprises 1,010 long videos (with an average duration of 1.6 hours), along with 9,468 human-labeled multi-step question-answering pairs and 30,292 reasoning steps with timestamps. These videos are curated via a multi-stage filtering process including expert inter-rater reviewing to prioritize plot coherence. We develop a human-AI collaborative framework that generates coherent reasoning chains, each requiring multiple temporally grounded steps, spanning seven types (e.g., event attribution, implicit inference). VRBench designs a multi-phase evaluation pipeline that assesses models at both the outcome and process levels. Apart from the MCQs for the final results, we propose a progress-level LLM-guided scoring metric to evaluate the quality of the reasoning chain from multiple dimensions comprehensively. Through extensive evaluations of 12 LLMs and 16 VLMs on VRBench, we undertake a thorough analysis and provide valuable insights that advance the field of multi-step reasoning.